LLM Serving インフラ

全体像

LLM serving systemsの核心は「モデルを速く動かすこと」ではなく、ステートフルで反復的な自己回帰実行を、SLOを持つオンラインサービスへと変換することにある。リクエストはコンピュート負荷の高いprefillフェーズと、メモリ負荷の高いdecodeフェーズを行き来し、その過程でプロンプト長・生成長・バッチング・共有可能性に依存するKVキャッシュ状態を蓄積していく。これが従来のDNNサービングにはなかった「ステートフルかつ反復的」という性質である。

優れたサービングシステムは、3層のネストしたスケジューラを協調させて設計されている。クラスタスケジューラはリクエストをモデルインスタンスへ割り当て、migration・replication・splitを判断する。インスタンススケジューラはprefillとdecodeのイテレーションを順序付け、スループットとtime-to-first-token（TTFT）/time-between-tokens（TBT）のトレードオフを取る。メモリマネージャはKVキャッシュの割り当て・共有・圧縮・オフロード・プリフェッチ・エビクションを管理する。これらの層を独立に最適化すると、メモリだけを負荷分散するクラスタスケジューラが悪いコンピュートレイアウトを生んだり、バッチサイズを最大化するメモリマネージャがテールレイテンシを損なったりする。3層は密結合として設計する必要がある。

もう一つの軸はメモリ階層である。GPU HBM（アクティブな重み・KVキャッシュ・decode状態、最低レイテンシだが希少で断片化しやすい）、ホストDRAM（ウォームなチェックポイント・オフロードされたKV、NUMA/PCIeがボトルネック）、ローカルSSD（チェックポイントやキャッシュ済みコンテキスト、ロードレイテンシが課題）、リモートストレージ（永続チェックポイント、コールドスタートが課題）、ネットワークキャッシュ（リクエスト間で共有されるKV/コンテキストキャッシュ、配置・圧縮・プライバシーが課題）という5層で構成される。PagedAttentionがKV割り当てを明示化し、InfiniGenやDiffKVがKVの中身を選択的にし、CacheGenやHCacheがキャッシュの移動・復元を明示化し、ServerlessLLMなどがモデルロードとホストキャッシュをサービング制御プレーンの一部にした、という流れでこの階層全体が発展してきた。

ボトルネックはワークロードによって移動する。短いプロンプト・短い出力はスケジューリングオーバーヘッドとバッチングに負荷をかけ、長いプロンプトはprefillコンピュートとTTFTに、長い出力はdecodeスループットとKVキャッシュ増大に、マルチターン会話はキャッシュ再利用と状態復元に、MoEモデルはエキスパート配置とネットワーク通信に、マルチテナントAPIはアイソレーション・優先度・SLOアウェアなアドミッション制御に負荷をかける。総合すると、LLM servingはリクエストが作業集合・優先度・締切・状態移行・キャッシュ再利用・差別化されたサービスクラスを持つ、データベースに似たランタイムへと収斂しつつあり、OSやストレージシステムの設計思想をMLコンパイラと同等以上に借用している。

主要な概念

技術・手法

KV Cache Paging

KVキャッシュを固定サイズのブロックで管理し、論理シーケンスと物理メモリ配置を分離する（仮想メモリの発想の輸入）。連続割り当てによる断片化を避けてバッチサイズを増やし、continuous batching・request migration・long-context cache managementの土台となる。ブロックサイズの選択やプレフィックス共有時のライフタイム管理がトレードオフになる。

Chunked Prefill

長いプロンプトのprefill計算を小さな単位に分割し、その間に既存リクエストのdecodeを継続させる技術（Sarathi-Serve）。チャンクを小さくするとdecodeレイテンシは守られるがスケジューリングオーバーヘッドが増え、大きくするとprefill効率は上がるがdecode停滞が増えるというトレードオフを持つ。

Phase-Disaggregated Serving

prefillとdecodeを異なるワーカー・ストリーム・リソースプールへ分離する手法（WindServeなど）。コンピュート特性とレイテンシ目標が異なる両フェーズを1つの均一キューで扱う妥協を避けられるが、フェーズ間の状態転送オーバーヘッドとプールサイジングの誤りが新たな課題になる。

Prefill-Decode Scheduling

prefill（コンピュート負荷）とdecode（メモリ帯域負荷）の2フェーズを、スループットとユーザー可視レイテンシを犠牲にせず織り交ぜるスケジューリング。chunked prefill・stall-free batching・phase disaggregation・SLOカスタム型speculative decoding・preemptive streamingを手段として持ち、TTFT・TBT・テールレイテンシで評価される。

LLM Request Migration

稼働中のリクエストとその実行状態（主にKVキャッシュとスケジューラメタデータ）を別のモデルインスタンスへ移動する技術（Llumnix）。OSのプロセスマイグレーションに類似し、メモリのデフラグ・負荷再分散・高優先度リクエストの隔離・オートスケーリングのためのドレインに用いられるが、大きなKVキャッシュの転送コストとダウンタイムの隠蔽が課題となる。

MoE Expert Placement

エキスパートをGPU・CPU・メモリ階層・ネットワークドメイン間のどこに置くかを決める制御問題。ホットエキスパートのバッチ近傍への配置、人気エキスパートのレプリケーション、トポロジ単位での分割、コールドエキスパートのCPU/CXLへのオフロードとプリフェッチが主なノブであり、訓練最適な配置がサービング最適とは限らない点が失敗モードになる。

主要論文

トレードオフ

このテーマ専用の比較マップは存在しないが、読んだconceptsとtechniquesの各ページには共通するトレードオフが繰り返し現れる。

• レイテンシ vs スループット。 大きなバッチはdecode効率を高めるが、長いprefillが進行中のdecodeを停滞させかねない。decodeを優先すればTBTは守られるがGPU容量が無駄になり、prefillを優先すればスループットは上がるが生成が停滞する。Sarathi-Serveのchunked prefillやTokenFlowのpreemptive schedulingはこの緊張を緩和する手段だが、チャンクサイズの選択自体が新たなトレードオフになる。
• メモリ vs 再計算。 KVキャッシュをフルに保持すればattention再計算は不要だが、GPUメモリを消費し断片化を招く。InfiniGenやHCacheのようにオフロード・中間アクティベーションからの復元を選べばGPUメモリは節約できるが、転送・IO・予測精度に依存するコストが生じる。DiffKVの差別化圧縮も同様に、圧縮率とアクセスの不規則性の間でバランスを取る。
• 局所性 vs 弾力性。 ServerlessLLMやTorporが示すように、チェックポイントやモデルの局所性を高めるほどコールドスタートは減るが、リクエストを特定ホストに固定してしまい弾力的なスケールアウトの妨げになる。
• 専門化 vs 移行コスト。 phase-disaggregated servingやLlumnixのrequest migrationは、フェーズ・インスタンスを特化させることで効率を上げるが、状態転送のオーバーヘッドと失敗モードという代償を伴う。

未解決問題・研究の方向

• KVキャッシュをテナントをまたいでどう配置・移行・圧縮・共有・保護すべきか。
• long-context・MoE・アダプタ・マルチSLOサービングを統一的に扱えるスケジューラの抽象化とは何か。
• phase-disaggregated servingが統合サービングに勝るのはどのような条件下か。
• サーバーレスLLMサービングはウォーム状態の維持とscale-to-zeroをどうバランスすべきか。
• サービングAPIはコスト・レイテンシ・品質のトレードオフをどうクリーンに公開できるか。
• KVマイグレーションはオンラインデフラグに使えるほど予測可能にできるか。
• アドミッション制御は将来のdecode長やメモリ圧迫を見越して判断できるか。
• long-context servingとMoE servingは1つの配置モデルを共有できるか。
• 研究の出発点としては、LLM Serving Systems → 比較マップ → スケジューリング系譜 → KVキャッシュ管理系譜 → Long-Context Serving → MoE Serving and Training → Serverless AI Inferenceの順に読むことが推奨されている。研究テーマとしては、KVキャッシュのインフラ化（配置・共有・圧縮・移行・機密性）、フェーズアウェアなスケジューリング、long-contextのメモリ階層設計、MoEのエキスパート配置とオフロード、サーバーレスLLMのコールドスタート/ウォームプール、SLOアウェアなデコーディングが挙げられる。