ストレージとディスアグリゲーション

全体像

データセンターストレージは、ブロック・オブジェクト・アーカイブ・分散ファイルシステム・NVMe/NVMe-oF・キャッシュ層、そしてストレージとネットワークの協調設計にまたがる領域である。信頼性・コスト・テールレイテンシ・ネットワークトラフィック・ハードウェアの進化がすべてここで交差するため、データセンター研究の中核的な軸のひとつになっている。研究の流れを追うと、まずAzure Storage with RDMAやNVMe-oF系の仕事が「クラウドストレージ性能はネットワークとオフロードパスに強く依存する」ことを示し、続いてRackBloxがラック内でネットワークとストレージの制御プレーンを協調させるべきだと論じる。さらにDPUやEBOFアーキテクチャがファストパスに入り込み、Burstable Cloud Block StorageやEBOFベースのブロックストレージが容量と性能を切り離す。McQueenのような地理分散オブジェクトストアはエクサバイト規模でメタデータ・配置・複製・障害ドメインを中心課題に据え、最後にProject Silicaがコールドストレージを持続可能性の問題として提起する。

もう一方の軸がディスアグリゲーション(disaggregation)である。従来サーバーに固定されていたメモリ・NIC・SSD・アクセラレータ、そして時にはストレージ制御プレーンまでも、ラックやクラスタ規模でプール化し、動的に組み合わせ可能にする発想だ。狙いは資源の座礁(stranding)を減らし、各コンポーネントを独立にスケールさせ、サーバー筐体ではなく実際のボトルネックを中心にシステムを組むことにある。ただし対立は単純明快で、ディスアグリゲーションは利用率と柔軟性を高める一方、リモートアクセスは必ずレイテンシ・帯域制約・新しい障害モード・制御プレーンの複雑さを持ち込む。

ディスアグリゲーションはリモートメモリ(Hermit)、デバイスプーリング(Oasis)、GPUディスアグリゲーション(推薦モデル向けPrism)、ラックスケールストレージ(RackBlox)、コンポーザブルファブリック(routable PCIe)という複数の資源クラスにまたがる。これらは「透過性 vs 制御」「細粒度 vs 粗粒度の合成」「ローカルに見えるセマンティクス vs 分散システムとしての現実」という3軸のトレードオフ族として整理できる。AI datacenterにとってこの分野が特に重要なのは、アクセラレータクラスタがCPU・メモリ・NIC・ストレージ・GPUの座礁比率がそれぞれ異なる形で発生しやすいためであり、追加されるファブリックとソフトウェアの複雑さが、全サーバーを過剰プロビジョニングするコストを下回るかどうかが根本的な問いになる。

主要な概念

技術・手法

CXL Tiering Policy

ローカルDRAM・CXL接続メモリ・リモート/far memory・プール化されたラックメモリのどこにデータを置くかを決める制御問題。ページ/オブジェクトのホットネス、レイテンシ感度、テナント/VM境界、CXLリンクの帯域競合、障害ドメインと移行コスト、電力とDRAM容量の圧力を入力に、ホットページの昇格・コールドページの降格・レイテンシ重要データのピン留め・アプリケーションヒントの提供・ラックスケールプーリングとの調整を出力する。Canvas/Edenのようなアプリケーション側ヒントの研究、仮想化クラウドにおけるVM対応ポリシー、HybridTierのような軽量適応ティアリング、DRack/OasisのようなCXLをNIC/PCIeプーリングのラックスケールデータパスとして使う研究、という系譜がある。

主要論文

トレードオフ

ディスアグリゲーション vs 予測可能性

ディスアグリゲーションは資源をプール化することで柔軟性と利用率を向上させる。しかしアクセス経路にリモートリンク、共有ファブリック、追加のキュー、より多くの障害モードが加わるため、予測可能性の確保は難しくなる。CXLメモリティアリングはメモリ容量を拡張する一方で配置・競合ポリシーを追加し、リモートメモリはDRAMを節約する一方でテールレイテンシを破壊しうる。デバイスプーリングは利用率を高めるが障害・セキュリティ境界を複雑化し、DPUオフロードはホストCPU負荷を取り除く一方で新しいボトルネックを見えにくくし、ストレージディスアグリゲーションは容量と計算を分離する一方でネットワーク依存を追加する。設計原則として、ディスアグリゲートされたシステムは明示的な性能契約(performance contract)を必要とする。それがなければスケジューラは実行時に資源を安全に合成できない。

ローカリティ vs 弾力性

ローカリティは状態を計算の近くに置くことで性能を向上させ、弾力性(elasticity)は空いている容量に処理を移すことで利用率を向上させる。現代のデータセンターシステムはこの2つを絶えずトレードオフしている。LLM serving ではKV cacheとモデル重みがローカリティを好む一方でオートスケーリングは弾力性を好み、GPUスケジューリングではトポロジのローカリティが集団通信を改善する一方でグローバルスケジューリングはキューイングを削減する。ストレージではデータのローカリティがネットワーク負荷を減らす一方、オブジェクトストアは柔軟な配置を必要とし、サーバーレスではスケールトゥーゼロがウォームな状態保持と衝突し、CXL/ディスアグリゲーションではプール化された資源が弾力性を改善する一方でリモートアクセスを追加する。設計原則は、移動コストを一級の資源として扱うこと。空き容量しか見ないスケジューラは繰り返しローカリティを破壊し、隠れた転送コストを支払うことになる。

未解決問題・研究の方向

• AIチェックポイントの同期バーストをストレージシステムはどう吸収すべきか。チェックポイント認識型のストレージスケジューリングはGPU時間の損失を減らせるか。
• ブロックストレージをいつDPU/オフロードパスへ移すべきか。ホストCPUパスとDPU/オフロードパスの比較が研究課題になる。
• ストレージ配置がネットワークホットスポットを避けるにはどうすべきか。ストレージ配置がネットワークホットスポットに与える影響の研究。
• オブジェクトストアはAIワークロードに対してローカリティと修復コストをどう露出すべきか。エクサバイト規模でのメタデータ・複製・修復の研究。
• モデルアーティファクトや長寿命の学習データに適したコールドストレージ設計とは何か。エネルギー効率の高いアーカイブシステムは低コストで検証可能な耐久性を提供できるか。
• どの資源をホスト・ラック・クラスタ・リージョンのどのスケールでプール化すべきか。CXLやリモートメモリはスケジューラに対してどのような性能契約を提示すべきか。
• プール化されたメモリやデバイスは予測不能な干渉なしにマルチテナントで使えるか。アプリケーションヒントは混合ワークロード下で透過的CXLティアリングに勝てるか。
• ディスアグリゲーションはいつSKU過剰プロビジョニングより安くなるか。ディスアグリゲートされた資源をリスクとレイテンシで課金し、容量だけで課金しないことは可能か。
• 研究ロードマップとしては、CXLディスアグリゲーション側ではメモリティアリングのオンライン昇格/降格、ラックスケールデバイスプーリング、リモートメモリAPI、性能契約、分離・セキュリティが主要スレッドとなり、ストレージ側ではDPUオフロードストレージ、ストレージ・ネットワーク協調設計、チェックポイント認識ストレージ、地理分散オブジェクトストレージ、持続可能なアーカイブストレージが主要スレッドとなる。