HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Kimi K3をMI355XでB300よりも優れたコストパフォーマンスで実行する

Running Kimi K3 on MI355X at Better Performance per Dollar Than B300 (wafer.ai)

192 pointsby ilreb94 コメント

要約

この記事では、大規模言語モデルKimi K3をAMDのMI355X GPUで実行する際のコストパフォーマンスについて論じています。MI355Xの288GB HBM容量は、2.8兆パラメータを持つKimi K3のような巨大モデルの搭載に不可欠であり、NVIDIAのB300/B200と比較して優れたコスト効率を実現できる可能性を示唆しています。ソフトウェアサポートの課題は残るものの、AMDがKimi K3向けにゼロデイサポートを提供したことで、実用的な性能向上が達成されました。

全文翻訳

メモリが堀(Moat)なのか?

過去数ヶ月間、オープンソースモデルの能力が爆発的に向上しました。DeepSeek V4-ProやGLM5.2がOpusレベルに近い知能に達し、オープンソースは、私たちがこれまで依存してきたクローズドソースモデルに代わる、現実的で費用対効果の高い選択肢として台頭してきました。

しかし、Kimi K3のようなモデルはまだ登場していませんでした。Kimi K3はFable/Solレベルの知能を約束しており、オープンソースの新しい時代の幕開けを告げるものです。

しかし、より賢いモデルはより大きいモデルを意味します。これらのモデルは、その能力と同様の速さでサイズも拡大しています。GLM5.2は753Bパラメータ、DeepSeek V4-Proは1.6T、そしてKimi K3は2.8T(!!)パラメータを誇ります。これは、100万トークンのコンテキストに対するKVキャッシュを割り当てる前のVRAMだけで1.5TBを超えます。B200ノード(GPU 8基)でさえ、Kimi K3を収容することはできません。そのため、選択肢は限られます。GPUあたり288GBのVRAMを持つB300ノードでサービスを提供するか、Kimiのサービス提供に2つのB200ノード(TP16)を割り当てるかのどちらかです。

しかし、他に288GBのVRAMを持つ非NVIDIA GPUは何でしょうか?AMDのMI355Xです。もうお気づきでしょうか?MI355Xは、B300と比較してGPUあたり平均で約2.4倍安価であり、B200よりも約1.7倍安価で、Blackwellに代わる費用対効果の高い選択肢であり、ハードウェア仕様も同等です。AMDの唯一の問題はソフトウェアサポートです。カーネルの速度が遅く、推論フレームワークでのゼロデイサポートが少ないため、AMDで最先端モデルをサービス提供するのは実際のエンジニアリング作業となります。Waferでの私たちの主張は、エージェントがカーネルとモデルの最適化を改善しており、このギャップを埋めつつあるということです。しかし、AMDがKimi K3のゼロデイサポートを出荷したため、作業のほとんどは私たちにとって完了していました。

結果は素晴らしいです。1024トークンの入力/400トークンの出力ベンチマークでは、MI355Xはノードあたり952トークン/秒、シングルストリームで118トークン/秒を達成しました。これは、TP16 B200デプロイメント(498トークン/秒は16 GPU、合計2ノードで約249/ノード)のノードあたりの集約スループットの3.8倍以上、シングルストリームデコードの1.3倍以上です。B300ノードは集約スループットでMI355Xを約1.65倍上回りますが、価格が2.4倍であることを考えると、MI355Xはパフォーマンス・コスト比でB300を圧倒します。

8× MI355X (TP8)2×8 B200 (TP16)B300 (TP8+DCP8)
デコードトークン/秒/ストリーム118 tok/s90 tok/s172 tok/s
ピーク集約スループット952 tok/s498 tok/s1,568 tok/s
ピーク集約スループット/GPU119 tok/s31 tok/s196 tok/s
ピーク集約スループット/$/GPU-hr48 tok/s/$7 tok/s/$33 tok/s/$

パフォーマンス・コスト比は、MI355XがGPUあたり2.50ドル/時、B300が6.00ドル/時、B200が4.25ドル/時です。

[画像: Kimi K3のサービス提供スループット対インタラクティビティ、ノードあたり — MI355X、B300、およびB200(2ノードTP16)]

B200の弁護をすると、その数値はデコードのクリティカルパス(RoCE v2、約195 Gb/s)でクロスノードのall-reduceを支払っているという事実によっていくらか低下しています。これは、Kimi K3の重みと100万トークンのKVプールが単一の8×192GBノードに収まらないため、この中で唯一2つのノードにまたがる構成です。しかし、まさにそこがポイントです。Kimi K3はそのサイズにおいて、MI355XがHBM容量に焦点を当てていることが、B200に対する実用的で測定可能な優位性を与えている最初のモデルの1つです。

実現方法

Kimi K3はそのままサービス提供できましたが、現在のスループット数を得るためにはまだ作業が必要でした。

主なテコはスペキュラティブデコードでした。K3はゼロドラフトテンソル(MTP、EAGLEなし)を出荷するため、唯一のスペキュラティブパスは外部ブロック拡散ドラフトです。RadixArkのKimi-K3-DSparkです。CUDAではそのまま動作します。ROCmでは、最初の実際の要求でスケジューラがこのエラーでクラッシュします。

NameError: name 'top_k_renorm_prob' is not defined. Did you mean: 'top_p_renorm_prob'?

sglangのアクセプトサンプリング検証器には、ターゲット分布を構築する2つの方法があります。top_k_renorm_probを呼び出す密なパスと、torch.topkを直接ルーティングする疎な高速パスです。CUDAビルドはsgl_kernelからtop_k_renorm_probをインポートします。ROCmビルドはTritonのtop-pカーネルのみをエイリアスし、top_k_renorm_probを未定義のままにします。gfx950用のtop-k renormカーネルはありません。そのため、要求が密なパスに着地した瞬間、検証器はそのNameErrorに遭遇し、スケジューラをダウンさせます。

修正は単一のPyTorch関数です。Top-k renormは小さな操作です。モデルの確率ベクトルを取り、上位k個のエントリを保持し、残りをゼロにして、残りを1になるように再スケーリングします。sort、masked_fill、除算を行います。これをsglangのROCmサンプリングブランチに直接ドロップすると、CUDAビルドがsgl_kernelから取得するのと同じ計算になります。カスタムカーネルは不要です。ROCmでの反射は、カスタムカーネルが必要だと仮定することですが、ここではカーネルではなく定義が欠落していました。

スペキュラティブデコードを修正し、強化することで、シングルストリームで約2.2倍、中程度の負荷でストリームあたり約1.7倍、ピーク集約スループットで+18%のパフォーマンス向上を得ました。より重要なのは、ピーク集約スループットがより高い同時実行性(スペキュラティブデコードなしのc64対c24)で達成されたことです。

[画像: MI355X上のKimi K3:スペキュラティブデコードなし対DSparkスペキュラティブデコード、スループット対インタラクティビティ]

Prefill最適化

モデルパフォーマンスに関する議論では、デコードトークン/秒が強調されがちです。しかし、多くの場合、デコードトークン/秒は「見かけ倒し」です。デコードは過度に称賛される一方で、ユーザーが最も体感する「最初のトークンまでの時間(time-to-first-token)」が見過ごされています。

MI355Xはここで苦戦します。同様の172kトークンのコールドプリフィルは、MI355Xで約51秒、B300で約23秒かかりました。100万コンテキストモデルでは、多くのワークロードでプリフィル(時にはコールド)が巨大になり、GPUがプリフィルに数分間費やすと、ノードフリート全体が無駄になる可能性があります。

このギャップは、ほぼ完全に1つのカーネルによるものでした。ROCm上のK3は、高速なAITER MLAプリフィルカーネルがロードされなかったため、低速な汎用Tritonアテンションにフォールバックしていました。問題はカーネルの欠落ではなく、形状の不一致でした。TP8のK3はランクあたり12のアテンションヘッドを提供しますが、AITERのMLAパスは4、8、または16の倍数用に構築されています。修正は非常に簡単でした。ヘッド数をゼロパディングして12→16にし、高速カーネルを実行し、出力から実際の12ヘッドを抽出しました。

結果として、同じ172kコールドプリフィルで、AITER MLAプリフィルASMはTritonフォールバックの約4〜7kに対して約13kトークン/秒の定常状態速度で実行され、プリフィルを2〜3倍高速化しました。これは集約スループットの数値ではなく、TTFTのレバーです。デコードは変更されないため、上記の数値は変わりませんが、最初のトークンが表示される前にユーザーが待つ時間を短縮します。

まとめ

MI355Xでの最高のパフォーマンス・コスト比の達成は、比較的そのまま実行できました。予想されるフレームワーク関連のバグはいくつかありましたが、GLM5.2よりも少なく、今回はカスタムカーネルを必要としませんでした。

AMDでのSOTA(State-of-the-Art)は目前です。CUDAの堀は死んだのでしょうか?