全体地図

分類（Taxonomy）

Wiki全体は8つの領域に分類される。Networking（AIバックエンドファブリック、RDMA/RoCE、集合通信、テレメトリ、RPC/サービスメッシュ）、Serving（LLMサービングランタイム、サーバーレスAI推論、KVキャッシュ、prefill/decodeスケジューリング、MoEエキスパート配置）、Scheduling（GPUクラスタスケジューリング、グローバルキャパシティ管理、異種性認識スケジューリング、GPUフラグメンテーション）、Reliability（障害診断、トレーニングチェックポイント復旧、サイレント破損とfail-slowハードウェア、過負荷制御、グレースフルデグラデーション）、Architecture（disaggregation、CXL/composable infrastructure、アクセラレータ仮想化、ラックスケールプーリング）、Storage（データセンターストレージシステムとその系譜・比較）、Security（confidential AI serving）、そしてResearch Planning（各領域のロードマップ、フォーカスされた未解決問題、横断トレードオフ）である。

この分類は「論文深堀り（Paper Deep-Dives）」セクションでも裏付けられており、LLMサービング系（PagedAttention/vLLM, Sarathi-Serve, Llumnix）、AIファブリック系（RDMA over Ethernet at Meta, Alibaba HPN, MegaScale）、スケジューリング系（Sia, Shockwave）、信頼性系（Defcon）、disaggregation系（Hermit, DRack, Oasis）という代表論文が各カテゴリに紐づいている。

• NetworkingAIファブリック、RDMA/RoCE、集合通信、テレメトリ、RPC/サービスメッシュ
• ServingLLMサービング、サーバーレス推論、KVキャッシュ、prefill/decode、MoE配置
• SchedulingGPUクラスタスケジューリング、異種性認識、フラグメンテーション制御
• Reliability障害診断、チェックポイント復旧、過負荷制御、グレースフルデグラデーション
• Architecturedisaggregation、CXL/composable infrastructure、アクセラレータ仮想化
• Storageデータセンターストレージシステム全般
• Securityconfidential AI serving
• Research Planningロードマップ、未解決問題、横断トレードオフ

年表

Wikiは5つの時代区分でデータセンターシステムの進化を追う読書マップとして構成されている。

Pre-LLM Datacenter Systems

輻輳制御、負荷分散、テレメトリ、分散ストレージ、RPC、スケジューラが基盤層を形成した時代。SLO、過負荷保護、障害ドメイン、リモートメモリ、プログラマブルネットワーキングが鍵概念。

AI Cluster Era

GPUクラスタがデータセンターの第一級ワークロードとなった。スケジューリングはCPU/コンテナ配置からGPUトポロジ、異種性、集合通信へとシフトした。

LLM Training Era

単一ジョブが数千〜数万GPUを占有するようになった。ネットワーク設計は専用バックエンドファブリック、RoCE/RDMA、トポロジ認識配置、深い可観測性へと向かった（MegaScaleが代表例）。

LLM Serving Era

推論がステートフルでメモリ集約的、SLOに敏感になった。KVキャッシュ、prefill/decodeスケジューリング、リクエストマイグレーション、MoEエキスパート配置がコアなシステム課題になった。

Disaggregated AI Datacenter Era

CXL、PCIeプーリング、リモートメモリ、GPU disaggregation、ラックスケールアーキテクチャが「取り残された資源（stranded resources）」を狙うようになった（DRack、Oasisが代表例）。

トレードオフ横断整理

Wikiは5つの横断的トレードオフを軸に、個々の技術選択を相対化している。いずれも「単一指標の最適化が別の指標を静かに悪化させる」という構造を持つ。

Latency vs Throughput（レイテンシ対スループット）

バッチング・キューイング・配置の選択によってレイテンシとスループットは別方向に改善しやすい。LLMサービングでは大きなバッチがスループットを上げる一方でTTFT/decodeレイテンシを悪化させ、ストレージでは書き込みバッチングが効率を上げる一方で読み取りやチェックポイント復旧を停滞させる。設計原則は「平均スループットとテール／進捗レイテンシを常に分離して考える」こと。トレーニングではステップ時間、サービングではTTFT/TBTが該当する。

Utilization vs Isolation（利用率対分離性）

利用率はGPU/NIC/DPU/メモリ/ストレージ/アクセラレータの共有を後押しし、分離性はテナントや障害ドメイン、性能クリティカルなワークロードの分離を後押しする。GPU/NPU共有は利用率を上げるがタイミング・メモリ干渉を生み、KVキャッシュ共有はメモリを節約するがデータ漏洩やライフタイムバグのリスクを持つ。設計原則は「利用率の主張は、性能・セキュリティ・障害・制御プレーンの分離契約を明示しない限り不完全」というもの。

Disaggregation vs Predictability（disaggregation対予測可能性）

disaggregationは資源プーリングによって柔軟性と利用率を高めるが、アクセス経路にリモートリンク・共有ファブリック・追加キュー・新たな障害モードが加わるため予測可能性は損なわれやすい。CXLメモリ階層化はメモリを拡張するが配置とコンテンション制御を複雑にし、リモートメモリはDRAMを節約するがテールレイテンシを破壊しうる。設計原則は「disaggregatedシステムには明示的な性能契約が必要」というもの。

Locality vs Elasticity（局所性対弾力性）

局所性は状態を計算の近くに置くことで性能を高め、弾力性は空いている容量へワークロードを動かすことで利用率を高める。LLMサービングではKVキャッシュとモデル重みが局所性を好む一方オートスケーリングは弾力性を好み、GPUスケジューリングではトポロジ局所性が集合通信を改善する一方グローバルスケジューリングはキューイングを減らす。設計原則は「移動コストを第一級の資源として扱う」こと。

Failure Avoidance vs Recovery（障害回避対復旧）

障害回避はインシデントの発生を防ごうとし、復旧はインシデントの発生を前提に失われた作業を最小化する。AIトレーニングではチェックポイント/再起動が全コンポーネントの過剰設計より安価なことが多く、サービングではグレースフルデグラデーションが「全過負荷の回避」より「中核機能の維持」を優先する。設計原則は「失われたGPU時間・リクエスト・バイト・SLO予算という共通通貨で回避と復旧を比較する」こと。

未解決問題

Open Problemsマップは4領域にわたる横断的な研究課題を整理している。

AI Fabric

集合通信ライブラリ・NIC・スイッチ・スケジューラの間で輻輳制御責任をどう分担すべきか。EthernetベースのAIファブリックは脆弱なロスレスネットワーク前提なしに予測可能なトレーニング性能を提供できるか。ジョブ・障害・テナント分離が絶えず変化する中でトポロジ認識配置はどう機能すべきか。

LLM Serving

KVキャッシュをテナント間でどう配置・共有・マイグレーション・圧縮・保護すべきか。サービングシステムはコスト・品質・レイテンシのトレードオフをきれいなAPIとして公開できるか。マルチモデル・マルチアダプタ・MoE・長文脈サービングに適したスケジューリング抽象とは何か。

GPU Scheduling

スケジューラはフラグメンテーション・ネットワーク局所性・カーボン・信頼性リスクをどう価格付けすべきか。プリエンプティブルGPU容量は本番トレーニングで十分安全になり得るか。GPU・CPU・メモリ・NIC・ストレージ・電力をどう共同スケジューリングすべきか。

Reliability

過負荷制御ループは新たな正のフィードバック障害を生まずに合成できるか。機能デグラデーションのノブは自動的に発見・テストできるか。テレメトリシステムはカウンタ・アラート・派生シグナルの意味的変化をどうバージョン管理すべきか。

Disaggregation

どの資源をホスト・ラック・クラスタ・リージョンのどのスケールでプールすべきか。CXL/PCIeプーリングはマルチテナントクラウドにとって十分安全かつ予測可能になり得るか。disaggregationはいつSKU過剰供給より安価になるか。

主要論文一覧（全42本）