より小さく、より速く、より安全に:KimiとGLMを大規模で実行する
Smaller, faster, safer: running Kimi and GLM at scale (blog.cloudflare.com)
要約
Cloudflareは、KimiやGLMのような大規模言語モデルを効率的に実行するために、KVキャッシュの量子化(FP8)、モデルウェイトの圧縮(INT4)、およびKVキャッシュの整合性チェックという3つの技術を導入しました。これらの最適化により、GPUメモリの制約を克服し、より多くのリクエストを同時に処理できるようになり、コストを削減しつつモデルの精度を維持しています。特に、KVキャッシュの量子化はメモリ使用量を半分にし、モデルウェイトの圧縮はチェックポイントサイズを約40%削減します。これらの技術は、SGLangフレームワークと連携して実装されています。
全文翻訳
より小さく、より速く、より安全に:KimiとGLMを大規模に実行する
Workers AIは、ユーザーに近いCloudflareのデータセンターにあるGPU上で、世界中の優れたオープンモデルの推論を実行しています。最も高性能で、最も要求の厳しいモデルの2つが、MoonshotのKimi KシリーズとZ.aiのGLMです。これらは大規模で、長文コンテキストに対応し、Mixture-of-Expertsモデルであり、非常に優れた性能を発揮します。しかし、メモリの制約から、効率的にサービスを提供するのは非常に困難です。
以前、Workers AIで大規模モデルをサービス提供する方法や、GPUあたりの性能を最大限に引き出すための推論のプリフィルとデコードフェーズの分離について説明しました。この記事では、これらのモデルをメモリに収め、高速に保つために、その上に重ねて適用した3つの技術に焦点を当てます。それは、KVキャッシュの量子化、モデル重みの圧縮、そして、これら2つの技術により共有ハードウェアへのリクエスト数が増加するため、それらのリクエストが共有するキャッシュの保護です。これらの最適化により、モデルの精度を変更することなく、より多くの顧客をより低コストでサポートできるようになります。
すべての実験と本番トラフィックは、オープンソースの推論サービングフレームワークであるSGLangで実行およびベンチマークされています。SGLangは市場で最高のパフォーマンスを提供しており、私たちはSGLangチームと密接に連携し、パッチや新機能をアップストリームして、私たちの作業をオープンソースコミュニティで利用できるようにしています。
KVキャッシュの量子化
モデルがテキストを生成する際、処理済みの各トークンのアテンションキー(K)とバリュー(V)をKVキャッシュと呼ばれる構造に保存します。このキャッシュにより、モデルは毎回全コンテキストを再読み込みすることなく、長い会話を続けることができます。長文コンテキストモデルの場合、KVキャッシュは急速に増大し、通常はモデルの重みではなく、KVキャッシュが最初にGPUメモリを使い果たします。
デフォルトでは、キャッシュは16ビット精度(BF16)で保存されます。私たちは代わりに8ビット浮動小数点(FP8、e4m3)で保存することで、サイズを半分にしました。Kimi K2.6の場合、メモリに保持できるコンテキスト量は約686,000トークンから約137万トークンに増加し、2倍になります。
その利点がどこから来るのかを正確に把握しておく価値があります。それは生の速度ではありません。FP8アテンションカーネルは読み取り時に値を変換する必要があるため、キャッシュの量子化はトークンあたりの作業をわずかに増加させます。しかし、それが変更するのは、一度に保持できるリクエストの数です。以下の測定値は、非集約型H200デプロイメントでのKimi K2.6デコードに関するもので、アテンションカーネルを直接比較しています。
| 同時リクエスト数 | BF16 KVキャッシュ(トークン/秒) | FP8 KVキャッシュ(トークン/秒) |
|---|---|---|
| 1 | 137 | 125 |
| 8 | 731 | 689 |
| 16 | 1,106 | 1,028 |
| 32 | 1,558 | 1,489 |
| 64 | メモリ不足 | 2,192 |
任意の同時実行レベルにおいて、BF16はトークンあたり数パーセント高速です。しかし、BF16は32の同時リクエストでキャッシュを使い果たし、33番目のリクエストを受け入れることができません。一方、FP8は64まで継続し、BF16のピーク時と比較して約41%高い毎秒2,192トークンに達し、トークンあたりのコストは約30%削減されます。プリフィルとデコードを別々のプールとして実行するため、最も効果のある箇所にこれを適用できます。プリフィルは計算バウンドでありメモリバウンドではないため、そこではキャッシュをBF16のままにして、わずかに高いスループットを維持します。
モデルの回答が変わらなければ、これらのことは問題になりません。そこで、私たちはそれを確認しました。評価スイート全体で、FP8とBF16キャッシュは区別がつきません。
| ベンチマーク | BF16 KV | FP8 KV |
|---|---|---|
| GSM8K | 94.24 | 94.09 |
| ARC-Easy | 89.06 | 89.14 |
| ARC-Challenge | 66.72 | 67.49 |
| MMLU | 89.11 | 89.04 |
| MMLU-Pro | 80.29 | 79.29 |
| mcxams (内部ベンチマーク) | 61 / 63 | 61 / 63 |
| Tool-call validity | 92.2% | 92.6% |
モデル重みの圧縮
KVキャッシュはGPUメモリへの要求の1つですが、モデルの重みももう1つです。GLM 5.2では、精度を損なうことなく、重みを8ビット浮動小数点から4ビット整数(INT4)に圧縮します。チェックポイントは705 GBから421 GBへと約40%縮小し、8ウェイテンソル並列デプロイメント全体でのGPUあたりのメモリ使用量は約88 GBから52 GBに減少します。これにより、同じハードウェアで約118万トークンのKVキャッシュのためのスペースが残ります。
評価スイート全体で、INT4とFP8の重みは区別がつきません。
| ベンチマーク / 機能 | メトリック | FP8 | INT4 |
|---|---|---|---|
| GSM8K | 正確一致 | 94.39% | 93.56% |
| GSM8K | 柔軟 | 94.24% | 93.48% |
| ARC-Easy | 正確度 | 86.62% | 86.15% |
| ARC-Easy | Acc (正規化) | 84.51% | 85.19% |
| ARC-Challenge | 正確度 | 64.93% | 64.85% |
| ARC-Challenge | Acc (正規化) | 67.24% | 66.64% |
| MMLU | 平均 | 86.60% | 86.54% |
| MMLU-Pro | 正確 | 80.80% | 80.47% |
| mcxams (内部ベンチマーク) | 合格 | 62 / 63 | 62 / 63 |
重みが小さいとデコードフェーズが高速になります。その理由は明らかです。各トークンを生成するには、モデルの重みをGPUメモリからストリーミングする必要があるため、デコード速度はメモリ帯域幅によって制限されます。より少ないデータを移動すれば、各トークンはより早く到着します。この効果は、リクエストあたりのレイテンシが最も重要となる低同時実行数で最大になります。
| 同時リクエスト数 | GLM FP8(トークン/秒) | GLM INT4(トークン/秒) | INT4の増加 |
|---|---|---|---|
| 1 | 60 | 92 | +55% |
| 8 | 425 | 513 | +21% |
| 16 | 683 | 825 | +21% |
| 32 | 994 | 1,267 | +27% |
| 64 | 1,672 | 1,933 | +16% |
プリフィルは異なる動作をします。これは計算バウンドであり、INT4重みはモデルがそれらと乗算する前に展開し直す必要があるため、その追加ステップによりプリフィルは遅くなります。GLMは、FP8で毎秒約10,160トークン、INT4で8,660トークンのプリフィルを維持します。KVキャッシュと同様に、非集約型設計はこれを妥協ではなく選択に変えます。私たちは、勝利するデコードにはINT4を使用し、勝利するプリフィルにはFP8を使用します。モデルの精度は、実行するすべてのベンチマークでFP8モデルから0.8ポイント以内に収まっており、その品質は区別がつきません。
共有KVキャッシュの保護
上記の2つの技術は同じ効果をもたらします。それは、より多くのリクエストが1つのGPUメモリを同時に共有できるようになることです。その効率性が目的そのものですが、数百ものリクエストが同じ物理KVキャッシュのページを読み書きすることにもなります。これを高速にするメカニズム(ページングアテンション、連続バッチ処理、キャッシュ再利用など)はすべて、ブックキーピングを正確に行うことに依存しています。私たちのリクエスト量では、10億回に1回の間違いでも定期的に発生します。
そこで、私たちはKVキャッシュの整合性チェックを防御層として構築しました。アイデアは単純です。各物理キャッシュページには、ページが再割り当てされるたびに変化するタグが付けられ、サーバーは各リクエストが使用すると予想するページとタグを記録します。サポートされているデコード操作がキャッシュから読み取る前に、それらのマッピングがチェックされます。一致しない場合は、影響を受けたリクエストは、間違ったページからのデータを返すことを許可されるのではなく、中止されます。
安全チェックを出荷するかどうかを決定する質問は、そのコストです。私たちは、中規模の本番モデルで、8,192トークンの入力と1,000トークンの出力を備えた2つのプリフィル、2つのデコード構成でこれを測定しました。
| 同時実行数 | スループット変化 | p95レイテンシ変化 |
|---|---|---|
| 1 | −0.53% | +0.42% |
| 2 | −0.38% | +0.54% |
| 4 | −0.79% | +0.63% |
| 8 | −0.43% | +0.80% |
コストはスループットとテールレイテンシの両方で1%未満であり、95%信頼区間の上限でさえ1%近くに留まります。検証をアテンションカーネルに統合するのではなく、別のバッチチェックとして実行することで計算コストを低く抑えました。これにより、GPUスレッドグループ間の競合が発生するのを防ぎました。これはデプロイメントごとに有効化され、デフォルトパスは測定可能なオーバーヘッドのないno-opトラッカーを使用するため、必要としないデプロイメントは何も負担しません。
今後の展望
最先端モデルを効率的にサービス提供することは、常に変化する目標であり、これはその背後にある継続的な作業です。私たちは、FP8 KVキャッシュをフリート全体に拡大し、Blackwell(NVIDIAのGPUアーキテクチャ)でNVFP4重みを検証し、整合性チェックを negligible なコストで常に有効にできるようにすることに取り組んでいます。これらの最適化により、より多くの顧客を、より低コストで、同じ精度でサポートし続けることができるようになります。
最高のオープンモデルをGPUに搭載し、それを何百万人もの開発者に提供することに興味があるなら、私たちと一緒に働きませんか。