GPUバブルを弾けさせる
Popping the GPU Bubble (moondream.ai)
要約
Moondreamの推論エンジンであるPhotonは、GPUの動作を最適化することで、VLM推論において最大35%高いデコードスループットを実現し、ほぼリアルタイム(NVIDIA B200で約33ミリ秒)のパフォーマンスを達成しています。この記事では、CPUがGPUに次の処理を指示するまでの間にGPUがアイドル状態になる「GPUバブル」という現象を、パイプラインデコーディングという技術を使って解消する方法について解説しています。この技術により、CPUとGPUの作業をオーバーラップさせ、GPUのアイドル時間を削減することで、全体の推論速度を大幅に向上させています。
全文翻訳
GPUバブルを解消する
AIモデルを可能な限り高速に実行するにはどうすればよいでしょうか?これはMoondream HQで私たちが熱中している問いです。GPUはモデル推論に関わるすべての計算を処理するため、一見すると単純なように思えます。ただ指示を出して、答えを待つだけだと。しかし、それが実際にどのように機能するかを掘り下げてみると、GPUはしばしばアイドル状態になっていることがわかります。それは仕事がないからではなく、CPUが次に何をすべきかをまだ指示していないからです。この現象はGPUバブルと呼ばれます。
典型的なAIモデルがテキストを生成する際、一度に1つのトークン(トークンとはテキストの断片で、おおよそ数文字に相当します)を生成します。各トークンはそれ以前のトークンに依存するという自己回帰的な性質を持つため、生成は逐次的です。2番目のトークンがなければ、3番目のトークンを計算することはできません。このデコードループは、CPUとGPUの間で往復処理を伴います。GPUは実際のモデルを実行するための重い処理の大部分を担い、次のトークンを生成するために数十億もの算術演算を実行します。しかし、CPUによって行われる驚くほどの量の作業もあります。CPUは次に実行するリクエストを選択し、GPUが必要とするメタデータを設定し、モデルの出力から実際のトークンを選択して記録するなど、多くのことを行います。
課題は、1トークン分のGPU処理は小さいのに対し、CPUのハウスキーピングは各往復で支払われる固定コストであることです。GPUが次のトークンの処理を開始する前にそのハウスキーピングを待たなければならない場合、ループの各所でアイドル状態になります。これがGPUバブルが発生する理由です。
この記事では、Photonがパイプライン化されたデコードと呼ばれる技術を使用して、これらのバブルをどのように隠しているかを詳しく見ていきます。その考え方は、2種類の作業を重ね合わせることです。CPUが最後のトークンの処理を終える間に、次のトークンのGPU処理を開始します。
バブル
問題の形状は次のとおりです。
[画像: Blocking vs pipelined decode timelines]
ブロッキングバージョン(上)では、各ステップはバトンの受け渡しのようなものです。CPUがフォワードパスを計画して起動し、GPUがそれを実行し、次にCPUが同期して、結果が着地するのを待ち、コミットしてから、次のステップの計画を開始します。これは、計画が選択したトークンに依存するためです。たとえば、モデルが回答を終了したことを示した場合、キューから新しい保留中のリクエストをスケジュールする必要があります。GPUはCPUがコミット・計画・起動の作業を終えるのを待ってアイドル状態になります。
修正策はループをパイプライン化することです。現在のステップのトークンが戻ってきてコミットされている間に、次のフォワードパスを起動します。これがパイプライン化されたバージョン(下)です。フォワードパスはバック・ツー・バックで実行され、CPUの作業はそれらの下に重ねられます。
できる理由は、サンプリングされたばかりのトークンがGPUを離れる必要がないからです。次のフォワードパスは、GPUメモリから直接入力として読み取ります。最終的にはCPU上にコピーを保持したいと考えています。それをデトークン化し、ストリーミングし、リクエストが完了したかどうかを判断するためですが、それは後でバックグラウンドで行うことができるハウスキーピングです。そのコピーを待たないことが、バブルを取り除く動きです。
安全に行うには3つのことが必要です。これについては、この記事の残りで説明します。ステップバッファの衝突を防ぐ(ピンポン・スロット)、制約付きデコードのサンプリング順序を正しく保つ(フォワード・ナウ、サンプル・レイター)、リクエスト完了後のクリーンアップ(ゾンビ)です。
メカニズム1:ピンポン・スロット
デコードステップを実行するために、GPUは作業セットのバッファを必要とします。入力(生成された最後のトークンとそのシーケンス内の位置)をステージングする場所、モデルが出力を書き込む場所(語彙の各単語に対するスコアであるロジット)、サンプリングされたトークンを着地させる場所、そしてアテンションカーネルが各シーケンスのキャッシュされたキーと値(KVキャッシュ)を見つけるために必要ないくつかのハウスキーピングです。両端にピン留めされた(ページロックされた)ホストバッファを保持しているため、GPUとのコピーはCPUをブロックするのではなく、バックグラウンドDMA(ダイレクトメモリアクセス)転送として実行されます。
これらのバッファは一度割り当てられ、各ステップで再利用されます。実行時にGPUメモリ割り当てを実行しないように懸命に努力しています。なぜなら、それらはデバイス同期を引き起こし、バブルを導入する可能性があるからです。固定バッファアドレスは、デコードステップをCUDAグラフとして一度キャプチャし、再再生してカーネル起動オーバーヘッドを削減するためにも必要です。このバンドルをDecodeSlotと呼んでいます。
これは機能しますが、パイプライン化のブロッカーを導入します。バッファはステップが完了するまで使用中のままなので、現在のステップが完了するまで次のステップを開始できません。2つのステップを重ね合わせるには、2番目のステップは独自の作業セットが必要です。そうしないと、CPUが読み取る前に最初のステップの結果を上書きしてしまう可能性があります。そのため、2つのスロットを保持し、ピンポン・スタイルで交互に使用します。
[画像: Ping-pong slots]
起動に関して注意すべき点が1つあります。CPUから起動を発行した瞬間にカーネルを実行するわけではありません。代わりに、GPUが順序通りにドレインする順序付けられたキューであるストリームにエンキューします。同じストリーム上の作業は逐次的に実行されますが、別のストリーム上の作業は重ね合わせることができます。両方のスロットがフォワードパスを同じコンピュートストリームに配置します。スロットはGPU並列処理のためではありません。CPUが一方のスロットの結果を処理している間にGPUが他方のスロットのフォワードパスを実行できるようにするためだけに存在します。
フォワードパスはすべてその1つのコンピュートストリームを共有しますが、コピーは共有しません。各ステップのデバイスからホストへのコピー(サンプリングされたトークンをハウスキーピングのために戻すもの)は、別のコピー・ストリームで行われるため、GPUが次のフォワードパスでビジーの間実行できます。それが待たないことを可能にしている理由です。ステップの出力が書き込まれた瞬間に記録されたイベントにコピーをアンカーしているため、そのステップの作業とそれに続くキューに入れられた作業のみを待ちます。
[画像: The copy runs in the background]
スロットは、GPUが処理を終えただけでなく、結果が読み取られた場合にのみ解放されます。そのピン留めされたホストバッファは、まだインフライト中のコピーの着地点であるため、スロットを新しいステップに早すぎると、転送中のコピーを上書きしてしまい、デバッグが困難な破損バグを引き起こす可能性があります。そのため、スロットはそれを読み取るコミットを通じて予約されたままになり、そのコミットが完了したときにのみ解放されます。
メカニズム2:フォワード・ナウ、サンプル・レイター
次のフォワードパスは、最後のトークンに対するCPUの処理に何も依存しないため、先行して実行できます。しかし、次のステップの2つのことは、コミットされた最後のステップの結果に依存します。1つは、どのシーケンスがまだバッチ内にあるかです。リクエストが完了した場合、次のフォワードパスに含まれるべきではありません。それは次のセクション(ゾンビ)です。もう1つは、次のステップで実際にサンプリングできるトークンであり、それはこのセクションです。
これは制約付きデコードから来ています。Moondreamの空間スキルは、自由形式のテキストではなく構造化された出力を返します。pointは座標を返し、detectはボックスを返し、segmentはアウトラインを返します。各ステップでモデルが生成できるトークンを制限することにより、同じデコードループからそれらを取得します。許可されていないトークンのスコア(ロジット)をサンプリングする前に負の無限大に強制します。pointステップは座標を生成する必要があり、detectリクエストはx、y、サイズのサイクルをウォークします。許可されるトークン(マスク)は、これまでに生成されたものに依存するため、ステップt+1のマスクはtでサンプリングされたトークンに依存します。
依存関係はフォワードパスではなくサンプリングにあります。
[画像: The forward needs no mask; only sampling does]
各スケジューラーティックは、起動、コミット、ファイナライズの3つのフェーズを経ます。
- t+1のフォワードパスを起動します。マスクに依存しないため、すぐに実行されます。
- ステップtをコミットします。インフライト中のコピーを待ち、リクエストのデコード状態を進めます。これはt+1のマスクを決定するために必要です。
- t+1のファイナライズ・サンプリングを行います。状態が最新になったら、マスクを構築してサンプリングします。
t+1のサンプリングは、tのコミットの後に行われます。なぜなら、コミットがt+1のマスクを正しくするためのものだからです。これを「コミット・ビフォー・ファイナライズ」順序と呼びます。GPUはステップ2と3を通じてt+1のフォワードパスを実行するため、コミットはクリティカルパスから消えます。
プレーンテキストの場合、マスクはありません。そのため、フォワードパスとサンプリングの両方を1ステップ先まで実行できます。制約付きシーケンスの場合、フォワードパスは引き続き先行しますが、サンプリングは前のコミットを待つため、特別な場合を除いて先行できる距離が制限されます。1つのループで両方を処理します。
メカニズム3:ゾンビ:早期ファイナライズ、遅延解放
フォワード・ナウ、サンプル・レイターに戻り、次のステップがコミットされた最後のステップの結果に依存する2つの方法を指摘しました。サンプリングマスクが1つでした。バッチメンバーシップがもう1つであり、それを正しく処理するには少し注意が必要です。
ステップt+1を起動するために、まずバッチを決定します。どのシーケンスがバッチに含まれるかを、ステップtをコミットする前に決定します。では、シーケンスがtで停止トークンにヒットした場合、すでにt+1のフォワードパスに組み込まれている場合はどうなるでしょうか?GPU作業をキャンセルすることはできません。シーケンスは完了していますが、実行中のバッチに物理的に存在しています。
Photonではこれらをゾンビと呼びます。キャンセルロジックを追加する代わりに、各シーケンスの2つのフィールドから動作を発生させます。
finalized:シーケンスがEOSまたは長さキャップに達した後Trueになります。inflight_refs:まだこのシーケンスを参照しているインフライトステップの数(0、1、または2)。
[画像: A finished sequence rides step t+1 as a zombie]
ステップtがコミットされEOSを検出すると、シーケンスはfinalizedとマークされ、結果が出力されます。しかし、inflight_refsがまだゼロでない(ステップt+1が参照している)ため、破棄されません。ステップt+1のコミット時に、シーケンスはすでにfinalizedになっているため、コミットはスキップされます。トークンは追加されず、状態も変更されません。ゾンビは無害に乗っていただけです。スロットを占有し、誰も読まないKVを書き込みました。inflight_refsが最終的に0になったときにのみ、KVページとLoRAスロットが解放されます。
この早期ファイナライズ、遅延解放のダンスは、そうでなければ「キャンセル・ザ・ロウ・ミッドフライト」の特別なケースの群れに取って代わる、少量の参照カウントです。
プリフィルも同じパイプラインに乗る
これまでの話はすべてデコードステップに関するものでしたが、実際のサービングループは常に2つの異なる種類の作業を行っています。プリフィル(新しいリクエストのプロンプト+画像を処理する、多くのトークンにわたる高コストなワンショット・フォワードパス)とデコード(実行中のすべての人に対する1トークンずつの処理)です。
Photonはそれらを分離しません。プリフィルは、同じ2スロット・パイプライン内の別の`kind=