Datacenter Systems Wiki

Overview

Datacenter Systems Wiki ガイド

データセンターを動かす技術スタック — ネットワーク、計算資源管理、AI/LLM serving、ストレージ、分散システム、信頼性、セキュリティ、アーキテクチャ、エネルギーとコスト — を横断して整理した Karpathy 式 LLM Wiki を、読みやすい5つのテーマ別ページに要約・集約したガイドです。

これは何か

Datacenter Systems Wiki は、単一の学会や分野に閉じず、データセンターを動かす技術スタック全体を横断して整理する知識ベースです。SIGCOMM / NSDI / OSDI / SOSP / MLSys / ASPLOS / FAST など、ネットワーク・システム・AI serving 領域の主要会議から収集した一次資料をもとに、cross-cutting synthesis（背骨となる横断ページ）・concepts（概念）・techniques（技術・手法）・papers（論文deep-dive）・maps（分類・比較・トレードオフ・未解決問題・研究ロードマップ）の5種類のページ、合計148ページで構成されています。

元となる proceedings からの一次資料は537件（Networking 156件、AI Serving Infrastructure 99件、Storage and Data Systems 77件、Compute and Scheduling 61件、Architecture and Accelerators 61件、Distributed Systems 26件、その他 Operations/Cloud/Security/Energy 領域など）。そのうち特に重要な42本については、個別の論文deep-diveページで内容を詳細に分析しています。

148wiki pages
537raw proceedings sources
42paper deep-dives

このガイド自体は、148ページを1対1でHTML化するのではなく、テーマごとに元のMarkdownを実際に読み込んで要約・集約した、少数（6枚）の自己完結ページとして再構成したものです。各ページは他のwikiページへのリンクを持たず、必要な内容はすべてページ本文に埋め込まれています。

9つの Core Areas

Datacenter Systems Wiki が扱う領域は、以下の9つの Core Areas に分類されます。

  • Networkingtransport、congestion control、load balancing、RDMA、programmable switching、telemetry、WAN、AI cluster networking
  • Compute and Schedulingcluster scheduler、autoscaling、serverless、job placement、multi-tenancy、isolation、resource accounting
  • AI Serving InfrastructureLLM inference serving、continuous batching、KV cache管理、speculative decoding、GPU scheduling、model parallelism、inference cost
  • Storage and Data Systems分散ストレージ、object store、caching、SSD/NVM、レプリケーション、storage engine、data pipeline
  • Distributed Systems合意形成、レプリケーション、一貫性、トランザクション、地理分散システム、fault tolerance
  • Observability and Reliabilitytelemetry、tracing、debugging、failure prediction、incident mitigation、本番運用
  • Security and Isolationクラウド分離、sandboxing、confidential computing、side channel、supply-chain security
  • Architecture and Acceleratorsアクセラレータ、メモリ階層、SmartNIC/DPU、near-data processing、warehouse-scale co-design
  • Energy and Cost電力管理とコスト効率

テーマ別ガイド

元の148ページは、以下5つのテーマページに要約・再構成されています。それぞれ「全体像 → 主要な概念 → 技術・手法 → 主要論文 → トレードオフ → 未解決問題」という共通の構成で読み進められます。

AI Fabric

AIデータセンター・ファブリックとネットワーク。トポロジー、transport、RoCE/RDMA、collective communication、SmartNIC/DPU offload。

LLM Serving

LLM serving インフラ。KV cache、long-context serving、MoE serving、serverless AI inference、prefill/decode scheduling。

Cluster Ops

GPUクラスタ運用・スケジューリング・信頼性。GPU fragmentation、multi-tenancy、fail-slow hardware、checkpoint recovery、overload control。

Storage & Disaggregation

ストレージとディスアグリゲーション。CXL/composable infrastructure、remote/far memory、rack-scale pooling。

Landscape

全体地図。分類（taxonomy）、年表、5本のトレードオフ横断整理、未解決問題、全42論文の一覧。

読み方

初めてこの知識ベースに触れる場合は、まず本ページで9つの Core Areas を把握したうえで、興味のあるテーマページ（AI Fabric / LLM Serving / Cluster Ops / Storage & Disaggregation）から読み始めるのがおすすめです。全体像を先につかみたい場合は Landscape ページの分類・年表から入ると、どの論文がどの技術系譜に位置づけられるかが見渡せます。

各テーマページの構成は共通しています。

  • 全体像 — そのテーマを束ねる cross-cutting synthesis ページの要約。テーマの背骨。
  • 主要な概念 — テーマを構成する concept ページの要約。
  • 技術・手法 — 具体的な technique ページの要約。
  • 主要論文 — そのテーマに関連する paper deep-dive を、年・一言貢献つきの表で一覧。
  • トレードオフ — 設計上のトレードオフを扱う map ページの要約。
  • 未解決問題・研究の方向 — open problems と research roadmap の要約。

各ページの左側には固定のTOCサイドバーがあり、見出しをクリックすると該当セクションへジャンプできます。ページ内を読み進めると、現在地に対応するTOC項目がハイライトされます。