GPU クラスタ運用・スケジューリング・信頼性

全体像

GPU クラスタスケジューリング

GPUクラスタスケジューリングは、希少なアクセラレータ・CPU・メモリ・ネットワーク・ストレージ・局所性の資源を学習・推論ワークロードに割り当てる問題である。GPUジョブはgang-scheduleされ、異種混在で、適応的で、ネットワークに敏感であり、しかもアイドル容量が高価であるため、通常のクラスタスケジューリングより難しい。目的は「コンテナを配置する」ことではなく、公平性・SLO・局所性・障害耐性を保ちながら有用なアクセラレータ時間を最大化することにある。GPU種別/台数、トポロジ（NVLink/PCIe/ラック局所性）、メモリと断片化、弾力性（バッチサイズやワーカー数の変更）、co-tenancy干渉という5つの資源軸が絡み合う。全体としてクラスタは「固定的な割り当て」から「適応的な割り当て」へ移行しており、admission control→配置→ランタイムスケジューリング→リカバリ→会計という階層構造を持つ。

AI データセンター制御プレーン

AIデータセンターの制御プレーンは、どこで仕事を実行し、いつ状態を移動し、いつ容量をスケールし、SLO・コスト・公平性の制約下でどのリクエストを受け入れるかを決める。配置・オートスケーリング・マイグレーション・プリエンプション・admissionという5つの制御ループがあり、それぞれ異なる入力信号（モデルサイズ、バーストロード、不均衡、優先度、SLO圧力）に応じて動作する。制御プレーンは「状態を意識する」方向に進化しており、リクエストを単なるタスクではなく、KVキャッシュサイズ、モデル常駐性、集合通信トラフィック、トポロジ、電力余裕、障害リスクを伴う存在として扱う必要がある。

データセンター信頼性と過負荷制御

データセンター信頼性は、ハードウェア・ソフトウェア・ネットワーク・ユーザー・ワークロードが変化する中で有用なサービス容量を維持する規律である。多くの大規模障害は正のフィードバックループ（部分障害→負荷移動→残存容量の飽和→レイテンシ上昇→リトライ増幅→障害拡大）であるため、過負荷制御が中心的な仕組みとなる。発想の転換は「エラーを避ける」から「劣化を制御する」への移行である。測定（レイテンシ・エラー・飽和度・SLOバーンレート）、保護（admission control・load shedding・クォータ・criticality）、graceful degradation（機能低下・キャッシュフォールバック）、診断と回復（アラートグルーピング・変更対応テレメトリ・障害局所化・ロールバック）という4層モデルを持つ。信頼性のあるシステムは複数の制御ループ（プロセス/ホスト保護、サービスSLO、ネットワーク検出、製品の機能低下、人間のオペレータ判断）を持ち、これらが互いに干渉し合わないようにする「フィードバック安定性」が鍵となる。

本番 AI クラスタ運用

本番AIクラスタ運用は、ハードウェア障害・ソフトウェアアップグレード・ワークロードバースト・容量圧力の下で、長時間の学習・推論ワークロードの効率を維持する実践である。オペレータが必要とする運用面は、ジョブ進捗（イテレーション時間、MFU、チェックポイント経過時間）、ファブリック健全性（PFC、ドロップ、RTT、congestion）、GPU健全性（fail-slow、ECC、サーマルスロットリング）、集合通信状態（停滞したランク、依存グラフ）、容量（空きGPU、トポロジ制約、電力余裕）、インシデント対応（根本原因、ブラスト半径）に及ぶ。本番論文から得られる最大の教訓は、コストが高い障害はしばしば明白なクラッシュではなく、静かな不整合・部分的な速度低下・悪いトポロジ配置・チェックポイント干渉であるという点である。

主要な概念

技術・手法

GPU 断片化制御

クラスタの集約GPU容量が十分でも次のワークロードに使える容量が足りない状況を防ぐ。Fragmentation Gradient Descentが断片化を明示的なスケジューリング目標に据え、Siaがgoodput意識のヘテロジニアス配置を示し、RLベースの再配置がアクティブな再編成を探索し、LlumnixやJengaがKVキャッシュなどサービング状態の断片化に踏み込む。

異種混在意識スケジューリング（Heterogeneity-Aware Scheduling）

複数世代のハードウェアが蓄積したクラスタで、生の割り当てではなく予測goodputに基づいてジョブをアクセラレータ種別・ホスト形状・ネットワーク局所性に割り当てる。安価なプロファイリングによる性能推定、未見GPU種別への性能予測、弾力的な資源適応、希少な高性能GPUの予約が主な手法。

グローバル容量管理

リージョン・データセンター・クラスタ・テナント・ワークロードクラス間でクラウド容量をどう予約・割り当て・回収・拡張・シフトするかを決める、GPUスケジューリングより上位の経済・運用レイヤ。Fluxのような制御システム、未割り当て容量の商品化、DVFSブースティングによる施設余力拡張、可変容量データセンター向けVMスケジューリングなどが含まれる。

学習チェックポイント回復

大規模分散学習ジョブが障害・プリエンプション・fail-slow緩和を過度なGPU時間の浪費なく生き延びる仕組み。Geminiのインメモリ回復、Bamboo/Parcaeのプリエンプティブル学習、FlowCheckのクリティカルパスからの分離、AdaCheckの冗長性利用適応チェックポイント、ByteCheckpointの統合基盤化という研究系譜を持つ。

障害局所化（Failure Localization）

観測された症状を最小の実行可能な原因（リンク・スイッチ・NIC・ランク・ホスト・コンテナ・集合通信フェーズ）に対応付ける。Mycroftの依存トレーシング、SkeletonHunterとR-Pingmeshのトポロジ対応付け、Holmesの不整合局所化、SkyNetのアラートフラッド分析、NetVigilの異常フィルタリングが代表的手法。目的は検出だけでなく、ドレイン・再ルーティング・再起動・アラート抑制などのアクション可能な出力を出すことにある。

Straggler Mitigation（遅延participant緩和）

同期分散学習・サービングで遅い参加者の影響を減らす。クリーンな障害よりstragglerの方が資源を消費し続けながら全体進捗を落とすため危険。検出と原因特定（Holmes）、トポロジ対応の再ルーティング、チェックポイントベースの回復、冗長性・予備容量、サービングにおけるgraceful degradationの4クラスの対応がある。

過負荷制御（Overload Control）

需要が安全な容量を超えたときにサービスを有用に保つフィードバック制御問題。admission control、テナント別クォータ、request criticality、クライアント側スロットリング、load shedding、キュー上限、劣化応答、ゾーン/リージョン間のトラフィックシフトが手段。原則は「早く安く拒否する」こと。

Graceful Degradation（優雅な機能低下）

資源が乏しいときにオプション機能・品質・鮮度・完全性を落とすことでコア製品の可用性を守る。単なるload sheddingと異なり、劣化した形でも製品を提供し続ける。Defconパターンでは製品機能をテスト済みの劣化ノブに変換し、緊急時に事前計測済みの節約効果と製品影響を踏まえて有効化する。

主要論文

トレードオフ

利用率 vs アイソレーション

利用率はGPU・NIC・DPU・メモリ・ストレージ・アクセラレータの共有をデータセンターに促すが、アイソレーションはテナント・障害ドメイン・性能クリティカルなワークロードの分離を促す。GPU/NPU共有は利用率を上げるがタイミングとメモリの干渉を生み、SmartNIC/DPU共有はホストCPUを節約する代わりに新たなマルチテナントコンピュータを追加し、RDMAとカーネルバイパスは通常のカーネル経路外での性能アイソレーションを要求し、KVキャッシュ共有はメモリを節約するがデータ漏洩とライフタイムバグのリスクを負う。設計原則として、利用率の主張は性能・セキュリティ・障害・制御プレーンのアイソレーション契約を明示しない限り不完全である。

障害回避 vs 回復

障害回避はインシデントを未然に防ごうとし、回復はインシデントが起きることを前提に失われた作業を最小化する。学習ではチェックポイント/再起動が全コンポーネントの過剰設計より安上がりになりうる。ストレージではレプリケーションと修復が容量と回復可能性をトレードし、ネットワークでは高速フェイルオーバーが障害を隠すが積極的な再ルーティングはチャーンを招きうる。サービングではgraceful degradationがすべての過負荷を回避するのではなく核機能を保存し、ハードウェアではfail-slow検出がドレインか劣化許容かを決める。設計原則は失われた作業（GPU時間・リクエスト・バイト・SLO予算）を共通通貨として回避と回復を比較可能にすることである。

障害分類学と診断の比較

データセンター障害はハード障害（クラッシュ、ホスト喪失）、fail-slow（イテレーション遅延）、サイレント不整合（エラーなしで繰り返す遅いイテレーション）、ネットワーク異常（RTT・ドロップ・PFCストーム）、チェックポイント障害、制御プレーンインシデントに分類できる。重要な軸は「ネットワークか計算か」ではなく、障害が可視か、局所化可能か、システムが影響を予防すべきか回復すべきかという点にある。R-Pingmesh・SkeletonHunter・Holmes・Gemini・FlowCheckを比較すると、診断と回復は収束しつつあり、鍵となる区別は障害発見・根本原因局所化・障害後回復のどれに最適化されたシステムかである。プローブカバレッジ対プローブオーバーヘッド、汎用テレメトリ対ワークロード固有構造、影響予防対迅速回復、オペレータの説明可能性対自動隔離が残る設計上の緊張である。

未解決問題・研究の方向

• 状態爆発なきプリエンプション。 LLMサービングのKVキャッシュ・CUDAコンテキスト・アダプタ・モデル状態があるため、リクエストの移動や一時停止はCPUプロセスのプリエンプションより複雑である。
• 断片化を意識した公平性。 高利用率はGPUメモリとトポロジの断片化を生み、将来の大規模ジョブを不可能にしうる。
• 異種アクセラレータの共通コストモデル。 XPU・GPU・NPU・混在GPU世代を横断する共通のスケジューリング基準が必要。
• マーケットとクラスタポリシーの相互作用。 価格付け・優先度・予約・SLOと配置の相互作用の多くは既存スケジューラで露出されていない。
• サイレントな不整合。 クラスタは失敗しなくても、一部のランク・リンク・スイッチがイテレーション時間を静かに延ばしうる。
• クロスレイヤの原因帰属。 GPU・NIC・スイッチ・カーネル・ランタイム・集合通信ライブラリの症状が混ざり合う。
• 自動隔離ポリシー。 疑わしいコンポーネントを正しく特定することと、稼働中ジョブから安全に除去することは別問題である。
• 回復トラフィックのスケジューリング。 チェックポイントと回復は学習が必要とするのと同じファブリックを使う。
• 電力を意識したAIスケジューリング。 GPU配置は電力キャップ・熱余裕・性能変動を考慮すべきである。
• カーボンとレイテンシのポリシー。 グローバルな推論ルーティングはコストと炭素を最適化できるが、レイテンシやデータ局所性を損なう可能性がある。
• モデル群の変化に対する容量予測。 新しいモデルファミリーはメモリ・計算・ネットワーク比率を急速に変える。
• 研究ロードマップは、goodput意識の配置・断片化価格付け・プリエンプティブル容量・トポロジ意識スケジューリング・電力/カーボン意識スケジューリング（GPUクラスタスケジューリング）と、fail-slow検出・ランク意識診断・アラートフラッド要約・graceful degradation・回復オーケストレーション（データセンター信頼性）という2つの方向で、トレースドリブンなシミュレータ構築や合成インシデントトレース生成を出発点として提案している。