AI データセンター・ファブリックとネットワーク

全体像

AIデータセンター・ファブリックは、大規模学習・推論クラスタ専用に構築されたネットワーキング層である。通常のクラウドネットワークとの決定的な違いは、支配的なトラフィックが多数のテナントによる独立した小フローの集合ではなく、collective communication・パラメータ交換・エキスパートルーティング・リモート状態移動によって生成される、少数の同期したバースト性の高帯域フローである点にある。

重要な視点の転換は、ネットワークがML実行エンジンの一部になったということである。学習の進捗は最も遅い参加者によって律速されるため、輻輳の小さな発生・パケットロス・ルーティングの不均衡・障害特定の遅延が、数千デバイス規模でGPU利用率全体を低下させうる。これによりファブリック設計は単なる汎用インフラ問題ではなく、AIシステム設計そのものの第一級の問題になる。

AIファブリックは4層が協調設計されるべき対象として捉えられる。(1) バックエンドネットワーク: GPU間通信専用に分離されたネットワーク。Metaは分散学習を独立したバックエンドネットワークに分離し、一般トラフィックとは独立に進化させている。(2) トポロジーと経路選択: Alibaba HPNの2-tierデュアルプレーン設計やMetaのバックエンド集約は、ECMPハッシュ偏極を減らし、低エントロピーな学習トラフィックの経路選択を予測可能にする。(3) トランスポートと輻輳制御: ロスレス／準ロスレスEthernet、RoCE、PFC、DCQCN的制御、collective対応のペーシングが、UECのような標準化やAI特化トランスポートと競合する。(4) 運用と可観測性: 1万GPU超の規模では、可観測性・障害の局所化・ストラグラー診断そのものがファブリックの一部になる。MegaScaleは学習の安定性維持のために深い可観測性が不可欠だとしている。

学習ネットワークは単一のファブリックではなく、GPUカーネルからcollectiveライブラリ、NICトランスポート、ロードバランシング、輻輳制御、トポロジー、テレメトリ、運用へと続くスタックである。研究の重心は「ネットワークを速くする」ことから「学習ジョブを予測可能にする」ことへ移っており、これには学習ランタイムとネットワークを一体で設計することが求められる。collectiveは依存構造を露出し、トランスポートは信頼性と制御を露出し、テレメトリはGPU数か月分の浪費を招く前に障害を局所化できるだけの状態を露出する必要がある。

設計上の代表的パターンとして、専用バックエンドファブリック、低エントロピートラフィックの偏極回避、collective対応の輻輳制御、複数建屋を束ねるバックエンド集約、光学・再構成可能ファブリック、障害を意識したファブリック運用などが挙げられる。これらはいずれも、GPU帯域の伸びと電気スイッチングの物理的・電力的限界を折り合わせるための試みである。

主要な概念

技術・手法

Collective Communication Scheduling

all-reduce・all-to-all・broadcast・reduce-scatterなどが経路と時間をどう使うかを決める手法群。TACCLのアルゴリズム合成からMCCSのサービス化、ResCCLの資源効率化、SyCCLの対称性活用、コフロー的なスケジューリング、AutoCCLの自動チューニングへと発展している。

Collective-Aware Congestion Control

ML collectiveの同期フェーズやランク依存関係の知識を用いてネットワーク負荷を管理する輻輳制御。collectiveフェーズ情報をトランスポート／ランタイムに露出し、ランク依存に基づいてフローをペーシングし、RoCE/RDMAの輻輳制御と協調させることで、平均リンク利用率ではなくテールステップ時間の改善を狙う。

RDMA Reliability

RDMAの低レイテンシ・低CPUなデータパスを維持しつつ、損失・輻輳・仮想化・マルチテナンシー・大規模障害の下で堅牢にする問題。制御されたロスレスファブリックから、ロッシーファブリック向けRDMA、パケット粒度のソフトウェア制御へと研究系譜が発展し、単一の不安定な経路が学習ストラグラーやチェックポイント失敗を生むため、パケット到達率ではなくジョブ進捗とテールステップ時間で評価すべきとされる。

RoCE Monitoring

RDMA-over-Ethernetファブリックのテレメトリと診断層。サブシステム異常検知（Collie）、ホストローカル診断（Hostping）、サービス対応プロービング（R-Pingmesh）、PFC由来の異常追跡（Hawkeye）を経て、単なるメトリクスではなく「どのジョブ・ランク群・経路・デバイスを修復すべきか」という実行可能な局所化結果を出すことが設計原則とされる。

Network Telemetry

パケット／フローカウンタ、キュー信号、プロービング、サンプリングトレース、プログラマブルスイッチ信号、OpenTelemetry的分散トレースを含む測定基盤。カバレッジ対オーバーヘッド、粒度対ストレージコスト、ネットワーク中心対サービス中心の視点、汎用トレーシング対ネットワーク特化信号、そして事後分析だけでなく制御への入力としてのテレメトリという緊張関係がある。

主要論文

トレードオフ

レイテンシとスループットは、しばしば異なるバッチング・キューイング・配置の選択の下で改善する。危険なのは、平均スループットを最適化しつつテールレイテンシやユーザ体感の応答性を悪化させてしまうことである。LLMサービングでは大バッチがスループットを上げる一方でデコードレイテンシとTTFTが悪化し、ストレージでは書き込みバッチングが効率を上げる一方で読み取りやチェックポイント復旧が停滞しうる。トランスポートでは深いキューがリンク利用率を上げる一方でレイテンシを増大させ、collective communicationでは帯域効率とテールステップ時間が衝突しうる。設計原則としては、平均スループットとテール／進捗レイテンシを常に分離して評価すべきであり、AI学習ではステップ時間、サービングではTTFTとTBTが該当する指標となる。

未解決問題・研究の方向

• 輻輳制御の責務をcollectiveライブラリ・NIC・スイッチ・スケジューラの間でどう分担すべきか。
• Ethernetベースのファブリックは、脆弱なロスレス前提に頼らずにInfiniBand並みの予測可能な学習進捗を実現できるか。
• ジョブ配置は、特定のハードウェア世代に過学習することなくトポロジー情報をどう露出すべきか。
• リンクレベルの症状をランクレベルの学習症状にマッピングするテレメトリ抽象化はどうあるべきか。
• 光学・再構成可能ファブリックが電気的な過剰プロビジョニングより安価になるのはどのような条件か。
• トランスポートは、ワークロードごとの専用化なしにRPC・ストレージ・RDMA・AI collectiveを共通に支えられるか。
• ロジックをNICハードウェアとプログラム可能なホストソフトウェアのどちらに置くべきか、その境界線はどこにあるか。
• パケットスプレーは順序制御・輻輳制御・可観測性と両立できるか。
• 研究ロードマップとしては、AI学習向けEthernet/RoCEの予測可能性、collective対応トランスポートの置き場所、トポロジー認識配置、光学・再構成可能ファブリックの損益分岐点、ファブリック診断のランク粒度化が主要スレッドとして挙げられており、評価指標には学習ステップ時間・テールステップ時間・通信起因のGPUアイドル時間・障害局所化時間・障害あたりの損失GPU時間が用いられる。