GPUスナップショットでGVisorのコールドスタートを削減
Reduce GVisor Cold Starts with GPU Snapshotting (cerebrium.ai)
要約
Cerebriumは、AIモデルのプロダクション運用におけるGPUコールドスタート問題に対処するため、CPUおよびGPUメモリのスナップショット技術を開発しました。この技術は、GVisorベースのカスタムランタイム内で動作し、完全に初期化されたコンテナの状態を保存・復元することで、コールドスタート時間を最大80%以上短縮します。これにより、大規模なカスタムAIモデルを運用する企業は、モデルをトラフィックに応答可能な状態にするまでの時間を大幅に削減できます。
全文翻訳
メモリスナップショットによるGPUコールドスタートの削減:CUDAワークロードを数秒で復元
プロダクションでAIモデルを実行しているなら、望むと望まざるとにかかわらず、コールドスタートとの付き合いがあるはずです。
3分間の起動時間は、スケーリングの方法を変えます。解放できたはずのGPUをウォーム状態に保ちます。ユーザーを待たせないために過剰にプロビジョニングします。次のスパイク時に迅速なスケールダウンが困難になるため、クールダウン期間を延長します。アプリケーションは、一つの問題を中心に複雑さを蓄積し始めます。それは、モデルを十分に速くトラフィック提供可能にする準備を整えることです。
Cerebriumでは、創業初日からコールドスタート問題に執着してきました。その執着が、インフラストラクチャのほぼすべてのレイヤーを再考する原動力となりました。
- カスタムVMイメージによるノードの高速スケールアップ
- サブ秒コンテナイメージのコールドスタートを実現するカスタムイメージランタイム
- グローバルリアルタイムAIワークロード向けの、高可用性・低遅延オーケストレーター
- CPUおよびGPUメモリのスナップショットによる、完全にウォームアップされたコンテナの数秒での復元
より多くの企業が大規模なカスタムAIモデルをプロダクションに移行するにつれて、同じ壁にぶつかります。当社の顧客は、大規模言語モデル、リアルタイムアバター、文字起こしモデル、拡散モデル、その他のGPU負荷の高いワークロードを実行しており、起動時間は数秒から5分以上まで様々です。
その時間のほとんどは、コンテナをリクエスト提供可能にするための作業に費やされます。ライブラリのインポート、モデルウェイトのロード、CUDAの初期化、カーネルのコンパイル、ランタイムのウォームアップなどです。それがチェックポインティングが解決する中核的な問題です。新しいコンテナが起動するたびに同じランタイムをゼロから再構築する代わりに、CPUメモリ、GPUメモリ、プロセス状態、モデルウェイト、コンパイル済みカーネルを含む完全に初期化されたコンテナのスナップショットを取得し、それをわずかな時間で新しいコンテナに直接復元します。
一部のワークロードでは、これによりコールドスタート時間が80%以上削減されます!
この記事では、CerebriumでCPUおよびGPUメモリのチェックポインティングをどのように構築したか、それが当社の高度にカスタマイズされたgVisorベースのランタイム内でどのように機能するか、そしてvLLMのような実際のCUDAワークロードを確実に、かつ迅速に復元するために何が必要だったかを説明します。
分単位の時間は実際どこへ行くのか?
コールドスタートを単に「イメージのプル」と考えるのは誘惑的です。つまり、コンテナを実行するマシンにアプリケーションイメージをダウンロードすることです。しかし、AIワークロードにとって、それはモデルをトラフィック提供可能にする準備をするための最初の部分に過ぎず、もはやボトルネックではありません。私たちはすでにコンテナダウンロードの問題を解決しています。CPUまたはGPUコンテナの真のコストは、イメージがマシンに配置され、アプリケーションの初期化が開始された後に発生するすべてのことです。
[画像: コールドスタートの初期化パスのフローチャート]
その初期化パスには、Pythonモジュールのインポート、PyTorchのロード、モデルウェイトのアセンブル、GPUへのコピー、そしてフレームワークのウォームアップパスの実行が含まれます。torch.compile、CUDAグラフキャプチャ、KVキャッシュの初期化、そしてサービングスタックがトラフィックを受け取れるようになる前に必要とするその他のすべてです。
これらの各ステージは決定的です。
PyTorchのインポートは、毎回同じロード済みモジュールを生成します。モデルの構築とGPUへのウェイトのコピーは、毎回GPUメモリに同じバイトを生成します。torch.compileとCUDAグラフキャプチャは、毎回同じカーネルを生成します。
しかし、スケールアップのたびに、既知の結果を再計算するためのコストを支払っています。
それがチェックポインティングが変えるものです。
アイデアはシンプルです。高コストな起動作業を一度行い、結果をフリーズし、オンデマンドで復元します。
具体的には、チェックポイントを取得することは以下を意味します。
- 実行の一時停止: すべてのアプリケーションプロセス、スレッド、そして特にGPUワークを一時停止します。
- メモリのダンプ: CPUとGPUの両方からインメモリ状態をファイルにシリアライズします。
- アップロード: これらのファイルを高速で耐久性のあるストレージにプッシュします。
復元は逆のプロセスを実行します。チェックポイントファイルをダウンロードし、CPUとGPUメモリを再水和し、移動に耐えられない状態の断片を修復し、ワークロードを再開します。
復元されたアプリケーションプロセスは、以前にフリーズしたウォームアップ済みのランタイムと同じです。PyTorchはすでにインポートされており、モデルウェイトはすでにGPU上に存在し、カーネルはすでにコンパイルされており、アプリケーションはトラフィック提供の準備ができています。
メンタルモデルは単純明快です。実際のGPUワークロードでこれを確実に機能させることは、そうではありません。
ハイレベルアーキテクチャ
ハイレベルで見ると、チェックポインティングは、コンテナのライフサイクル全体を制御できる唯一の場所に配置する必要があります。それはコンテナランタイムとワークロードを実行するサンドボックスの間です。
Cerebriumは、分離のためにユーザーワークロードをgVisorサンドボックス内で実行します。チェックポインティングをサポートするために、ランタイムパスを拡張しました。これにより、コンテナが起動する際に、通常のブートシーケンスが完了する前に、次の決定を下すことができます。
このコンテナはゼロから起動すべきか、それともチェックポイントから復元すべきか?
チェックポイントが存在しない場合、コンテナは通常のパスに従います。イメージが起動し、アプリケーションがブートし、モデルがロードされ、GPUメモリがロードされ、ワークロードが準備完了になります。コンテナが完全にウォームアップしたら、ユーザーはチェックポイントをトリガーできます。その時点で、ワークロードを一時停止し、CPUとGPUの状態をキャプチャし、チェックポイントをディスクに書き込み、高速ストレージにアップロードします。
チェックポイントが存在する場合、通常の起動パスをスキップします。コンテナを起動してPythonのインポート、モデルのロード、GPU転送、torch.compile、CUDAグラフキャプチャを待つ代わりに、保存された状態を直接サンドボックスに復元します。プロセスは、ウォームアップを終えた直後であったかのように再開します。
これは単純に聞こえますが、ランタイムが正確なタイミングでいくつかの質問に答える必要があります。
- どのワークロードが起動されていますか?
- このイメージ、GPUタイプ、マシンタイプ、ランタイムバージョンと互換性のあるチェックポイントは存在しますか?
- チェックポイントはどこに保存されていますか?
- チェックポイントはすでにホストにローカルキャッシュされていますか?
- 復元すべきか、それともクリーンブートにフォールバックすべきか?
これを機能させるために、ノードランタイムに2つのコンポーネントを追加しました。
最初のコンポーネントは、各ホストで実行される小さなチェックポイントサービスです。これはチェックポインティングの運用面を処理します。チェックポイントのダウンロード、新しいもののアップロード、ローカルでのキャッシュ、古いまたは破損したチェックポイントの追放、復元ステータスの報告などを行います。
2つ目は、変更されたgVisor containerd shimです。これはコンテナ起動パスに位置する部分です。コンテナ作成をインターセプトし、チェックポイントが復元可能かどうかを確認し、通常のブートフローを続行するか、そのフローを復元に置き換えます。
言い換えれば、チェックポイントサービスはスナップショットファイルを移動・管理し、shimは新しいコンテナが通常起動すべきか、スナップショットから復帰すべきかを決定します。
これらの2つのコンポーネント間のAPIは、最も難しい部分ではありませんでした。それはタイミングでした。
containerdは固定シーケンスでサンドボックスを開始します。
サンドボックス作成 → サンドボックス開始 → コンテナ作成 → コンテナ開始
復元するかどうかを決定する自然な場所はサンドボックス開始時ですが、その時点ではコンテナイメージに関する十分な情報がなく、チェックポイントが存在するかどうかを知ることができません。イメージ情報は、コンテナ作成中に後で利用可能になります。
そのため、起動シーケンスをわずかに並べ替える必要がありました。
containerdがサンドボックスの開始を要求したとき、実際の開始を延期します。期待されるステータス応答でcontainerdを満足させ続けますが、どのイメージが起動されているか、および一致するチェックポイントが存在するかどうかを知った後のコンテナ作成まで、実際のサンドボックス起動を遅延させます。
その時点で、次の2つのパスのいずれかを選択します。
- 通常のブート: サンドボックスを開始し、コンテナを起動し、アプリケーションを初期化させ、オプションでウォームアップ後にチェックポイントを取得します。
- チェックポイント復元: チェックポイントをダウンロードまたは特定し、CPUとGPUメモリをサンドボックスに復元し、移動に耐えられないランタイム状態を修復し、プロセスを再開します。
作業は、ランタイムがすでに実行するであろう作業とほとんど同じです。主な変更点は、復元決定をサンドボックス開始からコンテナ作成へと移動させたことです。そこではイメージ情報が最終的に利用可能になり、一致するチェックポイントが存在するかどうかを判断できます。
この小さな並べ替えが、ユーザーの視点からチェックポインティングを透過的に感じさせることを可能にします。彼らは同じようにワークロードを開始しますが、チェックポイントが存在すると、将来のスケールアップはウォームアップされたプロセスをゼロから再構築するのではなく、それを復元します。
この機能のテストと開発を進める中で、利用可能なドキュメントからは明らかではなかったいくつかのエッジケースに遭遇しました。可能な限り、これらの修正をアップストリームに移行するよう努めており、これにより、この技術を採用する次のチームは同じ問題を再発見する必要がなくなります。
発見した問題の一部には以下が含まれます。
- チェックポインティングプロセス中にコンテナが多数のパケットを受信した際に、ネットワークが機能しなくなるTCPネットワークスタックの競合状態。
- チェックポイントが数秒以上かかった場合に、containerd内で実行中にgVisorがクラッシュする競合状態。
- Nvidia GPU用のコンテナデバイスインターフェイス注入のサポート。
チェックポイントの配布:ストレージレイヤーが予想以上に重要な理由
ウォームアップされたGPUコンテナのチェックポイントは大きいです。当社のテストワークロードの一つは約9GiBですが、vLLMを使用したDeepseek V4 FP8の復元では640GBになります。復元は、コンテナが単独でコールドスタートした場合よりも速くその量のデータを移動できる場合にのみ価値があります。これにより、ストレージとネットワークパスがシステム全体の最も重要な設計上の決定となります。
計算は容赦ありません。
9GBのコンテナサイズの場合、g5.12xlargeで、完全なvLLMコールドスタートは約50秒かかりました。9GiBのチェックポイントからの復元は、S3からは2.25秒、ローカルNVMeからは9秒に短縮されました。
S3をデフォルトの復元パスとして使用しています。これは十分に高速で、Cerebriumがサポートするクラウドやリージョン間でポータブルだからです。ローカルNVMeは、チェックポイントがすでにノードにキャッシュされている場合に高速ですが、オブジェクトストレージは真実の耐久性のあるソースとして残ります。
これらの結果はg5.12xlargeに固有のものです。ネットワーク帯域幅が高いノードや、より高速なローカルストレージを備えたノードでは、復元時間はさらに改善されます。
[画像: チェックポイント復元時間の比較グラフ]
難しい部分:実際のワークロードは複雑
チェックポインティングは、ワークロードの状態がメモリに自己完結している場合に最も簡単です。実際のGPUワークロードは、それほどクリーンであることはめったにありません。
スナップショットはウォームアップされたランタイムを保持できますが、周囲のすべての外部依存関係を盲目的に保持することはできません。復元後、アプリケーションは、移動前は有効だったが移動後は無効になったファイルシステムパス、ソケット、IPアドレス、デバイスハンドル、またはドライバー状態への参照を保持している可能性があります。そこからほとんどのデリケートな動作が発生します。
ネットワーク状態は最初の明白な例です。開いているTCP接続は、元のランタイム環境に紐づいています。復元後、これらの接続は終了しており、コンテナは異なる外部IPを持っている可能性もあります。これは、コンテナの外部IPを内部ハートビート、ワーカー調整、またはコントロールプレーン通信に使用するフレームワークを壊します。例えばvLLMでは、プロセスは正常に復元できても、ランタイムの一部がもはや有効でないアドレスを通じて通信しようとしていたため、内部的に失敗する可能性がありました。修正は、VLLM_HOST_IP=127.0.0.1を使用して内部フレームワーク通信をループバックにピン留めすることでした。これにより、ワーカー調整がコンテナに割り当てられた外部IPに依存しなくなりました。
マルチプロセッシングは別のクラスの問題を作成します。多くのPythonサービングフレームワークはワーカープロセスを使用しており、それらのプロセスがforkで作成された場合、親プロセスからNVIDIAドライバーのファイルディスクリプタを継承できます。これは、チェックポイントシステムがGPU状態を実際に所有するプロセスをクリーンに理解する必要があるため重要です。リークしたドライバーファイルディスクリプタは、ランタイムが、チェックポインティングをブロックすべきでないプロセスによってGPUがまだ使用されていると信じ込ませたり、推論が困難な復元動作を引き起こしたりする可能性があります。vLLMの場合、修正はGPUワーカーに対してforkの代わりにspawnを使用することでした(VLLM_WORKER_MULTIPROC_METHOD=spawn)。これにより、子プロセスは親からGPUドライバー状態を継承するのではなく、クリーンに開始されます。
ローカルランタイムファイルはもう一つの微妙なエッジケースです。フレームワークはしばしばUnixソケット、一時ファイル、ロックファイル、調整状態をローカルディスク上に作成します。そのローカルファイルシステムがチェックポイントとともに復元されない場合、プロセスは存在しなくなったファイルが期待される状態で起動する可能性があります。これは、プロセスが外部からは健全に見えても、ワーカーが内部的に通信できずにサイレントに失敗する可能性があるため、最も厄介な障害モードの一つです。vLLMでは、復元クリティカルなRPC状態を、VLLM_RPC_BASE_PATH=/run/cuda-ckptを使用して小さな保持パスに移動させることでこれを解決しました。
チェックポイントのタイミングも重要です。チェックポイントは、CPUとGPUメモリの一貫したビューを必要とします。スナップショットが取得されている間にCUDAワークがまだ実行されている場合、チェックポイントは不整合または安全でない可能性があります。実際には、これはワークロードがウォームアップを終えて既知のアイドル状態に達した後でチェックポインティングが発生する必要があることを意味します。一部のフレームワークでは、これは明示的な準備完了ステップを必要とします。モデルをロードし、ウォームアップパスを実行し、コンパイルまたはCUDAグラフキャプチャが完了するのを待ち、それからチェックポイントをトリガーします。
もう一つの最適化は、チェックポイントすべきでないものを決定することです。vLLMのスリープモードは、チェックポイントが取得される前にKVキャッシュのような一時的な状態をドロップできるため、ここで役立ちます。KVキャッシュは大きくなる可能性があり、それを保持するとチェックポイントが大きくなり、アップロードと復元が遅くなります。多くのワークロードにとって、キャッシュはリクエスト固有であり、トラフィックが再開されれば自然に再構築できるため、復元間で持ち運ぶ価値はありません。そのような場合、チェックポインティングの前にvLLMをスリープモードに置くことで、スナップショットサイズが劇的に減少し、復元パフォーマンスが向上します。これは、単一の動作を強制するのではなく、選択肢として提供されます。ユーザーは、この状態を復元間で保持するか、チェックポインティングを高速化するために破棄するかを決定できます。
最後の制約は互換性です。GPUメモリのチェックポイントは、コンテナイメージのようなポータブルな成果物ではありません。それは作成された環境に紐づいています。GPUタイプ、CPUアーキテクチャ、マシンタイプ、ドライバー/ランタイムの互換性、gVisorバージョンなどです。あるハードウェアとランタイム形状で作成されたチェックポイントは、任意の別のものに安全に復元することはできません。そのため、チェックポイントは単にアプリケーションだけでなく、互換性によってキー付けしています。復元パスは、ターゲット環境が元のチェックポイント環境と一致する場合にのみチェックポイントを使用します。
より大きなパターンは、GPUメモリチェックポインティングは単に「メモリをダンプして再ロードする」だけではないということです。それは、フリーズできる状態と、再作成、再接続、またはチェックポイントセーフな場所に移動する必要がある状態を分離することです。
また、この機能がオプトインであり、ワークロードを認識するものである理由でもあります。異なるサービングスタックは、異なるファイルシステム、ソケット、デバイスハンドル、ネットワーキングの仮定、フレームワークの内部構造に依存します。チェックポインティングをプロダクションレディにするということは、すべてのGPUワークロードを一時停止、移動、再開できるかのように扱うのではなく、それらの仮定を明示的に検証することを意味します。
結果:コールドスタートを71%削減
CerebriumをBasetenおよびModalと比較し、様々な機能を持つ6つのワークロードでベンチマークを行いました。各ワークロードについて、24時間で100回のコールドスタートリクエストを、プロバイダー間で同じGPUクラス(A10、L40sなど)で実行しました。
これは完璧な直接比較ではありません。各プラットフォームは独自の基盤となるノード形状を制御しており、g6e.48xlargeで実行されるワークロードは、同じワークロードがg6e.12xlargeで実行される場合と比較して、コールドスタートの観点から異なるパフォーマンスを示す可能性があります。プラットフォーム間では、ユーザーは常にその正確な配置を制御できるわけではありません。それでも、これは顧客が気にする実際の体験を反映しています。プラットフォームがコールドからスケールアップする必要があるときに、ワークロードがどれだけ速く一貫して準備完了になるかです。
Basetenは一部の資料でスナップショットについて言及していますが、ベンチマーク中に一般的に利用可能なセルフサービス機能として使用することはできませんでした。その結果、再現可能なパスとして利用できたキャッシュコールドスタートの動作と比較しました。キャッシュはイメージとモデルのダウンロード時間を短縮するのに役立ちますが、フレームワークの初期化やGPUウォームアップの作業を削除するものではありません。CUDAグラフキャプチャ、torch.compile、SGLang起動、またはサービングランタイム準備が支配的なワークロードでは、そのダウンロード後の作業がしばしば高コストな部分となります。
ベンチマークスイート全体で、Cerebriumのスナップショットは、同じワークロードをスナップショットなしでCerebriumで実行した場合と比較して、平均71%のコールドスタート削減を達成しました。vLLMでは最大88%の削減となりました。Basetenのキャッシュコールドスタートの数値と比較すると、Cerebriumのスナップショットは平均で85%高速で、vLLMでは最大94%高速でした。
Modalのスナップショットと比較すると、Cerebriumは6つのワークロードのうち4つでp0復元時間が低く、スイート全体での平均p0復元時間は約21%低かったです。より重要なのは、Cerebriumは6つのワークロードすべてで最悪ケースの復元時間が低く、平均最大復元時間は約27%低かったです。この一貫性はコールドスタートにとって重要です。単一の遅い復元でも、エンドユーザーに悪い体験をもたらす可能性があります。当社の完全なベンチマーク実装はこちらで確認できます。
[画像: 複数のプラットフォームとワークロードにおけるコールドスタート時間の比較グラフ]
チェックポインティングは、すべてのワークロードに適したツールではありません。アプリケーションがすでに数秒で起動する場合、キャッシュで十分かもしれません。しかし、コールドスタートが決定論的な初期化、フレームワークのインポート、モデルのロード、カーネルのコンパイル、CUDAグラフのキャプチャ、またはKVキャッシュのウォームアップによって支配されている場合、チェックポインティングはスケーリングモデルを変えます。トラフィックが減少したときに、より積極的にスケールダウンし、需要が戻ったときに迅速に復元し、ユーザーをコールドスタートから保護するためだけにGPUをウォーム状態に保つことを避けることができます。これは、より良い利用率、低いインフラコスト、そして需要を満たすのに十分な速さで容量をオンラインにできるため、エンド顧客にとってより良い体験を意味します。
チェックポインティングを試したい場合は、ドキュメントをこちらで、および例リポジトリで確認してください。
数分ではなく数秒で起動するサーバーレスGPUをご希望ですか?Cerebriumにサインアップして、数行のコードで最初のモデルをデプロイしてください。