HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

GLM5.2がAMD MI355Xで2626トークン/秒/ノードを達成、Blackwellより2倍以上低コスト

GLM5.2 on AMD MI355X at 2626 tok/s/node at over 2x lower cost than Blackwell (wafer.ai)

321 pointsby latchkey128 コメント

要約

この記事では、AMD MI355X GPU上でGLM5.2モデルの推論性能を最適化し、NVIDIA Blackwell GPUと比較して2倍以上の低コストで2626トークン/秒/ノードという高いスループットを達成したことを報告しています。ソフトウェアの最適化とAMDハードウェアの活用により、コストパフォーマンスに優れたAI推論ソリューションの可能性を示しています。

全文翻訳

パフォーマンス・パー・ドルは、より速く、より安くなっている

AMDがお好きだとお気づきですか?

推論の需要は急増しており、供給を上回っています。Claude Fable、GLM5.2、Minimax M3など、最先端のモデルがほぼ隔週でリリースされているため、トークンへの熱狂はますます激しくなり、それを支えるBlackwellが十分に出回っていません。そのため、NVIDIA GPUの価格は急騰し、トークンは非常に高価になっています。

そこでAMDの登場です。GPUあたりの平均コストは約2.75倍安く(MI355X vs B300)、ハードウェア仕様も同等であるため、安価な推論の解決策は目の前に隠されているのです。これは、Waferが数ヶ月間訴え続けてきたメッセージです。しかし、AMDのInstinct MI350シリーズはシリコンレベルでBlackwellと競合しますが、NVIDIAのソフトウェアの優位性とゼロデイサポートにより、通常、プロバイダーはより少ない摩擦で、より高速に推論を提供できます。

逆に、MI355X / ROCmスタックでは、これらの最先端モデルで箱出しのSOTA(State-Of-The-Art)パフォーマンスが得られることはめったにありません(時々ありますが!)。実際、それらを実行できるイメージを見つけられたら幸運な方です。このゼロデイサポートがないと、最新モデルの構築と最適化には数週間のエンジニアリングとコンピューティングが必要になる場合があります。その頃には、最新モデルはすでにリリースされており、AMDは常に追いつこうとしている状態です。

しかし、エージェントがカーネルとモデルの最適化で向上するにつれて、このギャップはリアルタイムで縮まっています。Waferでは、これを何度も証明してきました。

そして再び、20k in / 1k out、キャッシュヒット率60%のワークロードで、ノードあたり2626 tok/s @ 2.4 rpsの集約スループットを達成し、TTFT(Time To First Token)は≤5秒という定義された膝(ニー)を記録しました。これはB200で測定されたパフォーマンスのわずか80%でありながら、2倍以上のコストです。

持続RPS集約 tok/s/nodeTTFT p50 / p95成功
0.54490.59s / 0.60s100%
1.09740.60s / 0.81s100%
1.519130.62s / 1.03s100%
2.019440.62s / 1.05s100%
2.2520890.63s / 1.23s100%
2.4 (飽和)26260.81s / 2.22s100%

また、TensorWaveのAMD MI355X容量で提供されたGLM5.2で、10k入力トークン/1.5k出力トークンのシングルストリームで213 tok/sを達成しました。これはArtificial Analysisの基準に従っています。この数値はAAリーダーボードのトップではありませんが、パフォーマンス・パー・ドルでは依然として優位に立っています。

どうやって達成したか

モデル作業の最初のステップは、量子化とフレームワークの選択です。bf16のベースGLM-5.2をAMD QuarkでMXFP4に量子化しました。z-aiの公式FP8量子化と比較して、当社のMXFP4はロスレスでした(GPQA-Diamond、tau2、GSM8K)。

評価FP8 ベースラインMXFP4Δ (MXFP4 − FP8)
GSM8K (200q, 5-shot, greedy)0.965 ± 0.0130.955 ± 0.014−0.010
GPQA-Diamond (198q × 2 seeds, temp 1.0)0.9217 ± 0.0270.9026 ± 0.029−0.019
tau2 マクロ0.8190.834+0.015

推論フレームワークとしては、vLLM、ATOM、sglangの3つの選択肢がありました。その中でsglangを選択しました。vLLMはMXFP4 + GlmMoeDsaパスが動作せず、MXFP4ウェイトはメリットがなく、ATOMは長コンテキストで出力が劣化しました。sglangは、量子化を活用しつつ一貫性を保つことができる、ネイティブサポートへの摩擦が最も少ない推論エンジンでした。

スループットを向上させる次の自然なステップは、sglangで投機的デコード(speculative decode)を有効にすることでした。しかし、sglang ROCmイメージは、箱出しではこれをサポートしていません。MTP(Multi-Turn Prediction)が正しく機能する前に、2つの修正が必要でした。

まず、MTPヘッドは、他のすべてのレイヤーと同様に、bf16で保存された単一の共有エキスパートを保持しており、MXFP4ではありません。しかし、MTPヘッドは、メインデコーダスタックとは異なるモジュールプレフィックスの下で登録されています(Quarkはbf16共有エキスパートをmodel.layers.78.mlp.shared_experts.*と名付け、MTPレイヤーの実際のプレフィックスはmodel.decoder.*です)。この不一致により、sglangの量子化ルックアップが失敗し、デフォルトで共有エキスパートがMXFP4として構築されます。ロード時に、フル幅のbf16ウェイトを半幅の4ビットスロットに読み込もうとし、形状の不一致で初期化がクラッシュします。Quarkは、どのウェイトを量子化しないでおくかをレイヤー名のリストとして記録するため、レイヤー78のエントリをsglangが実際に使用するデコーダ名の下に再度コピーしました。この修正により、投機的デコードがブロック解除され、シングルストリームスループットで約3倍のゲインが得られました。

次に、ディープ投機的デコード(z-aiが推奨する5/1/6構成など)がまだブロックされていました。ドラフト深度≥4に必要な融合マルチステップメタデータカーネルは、ROCmガードなしで#include <cuda_runtime.h>を書き込んでいました。修正:1つの#ifdef USE_ROCMガード。

投機的デコードを最大限に活用するために必要な、些細だが不可欠な2つの変更です。spec decが正しく機能するようになり、いくつかの設定最適化(--kv-cache-dtype fp8_e4m3や--enable-aiter-allreduce-fusionなど)と合わせて、213 tok/sというヘッドラインのシングルストリームデコード数に到達しました。

しかし、集約スループット、特に定義されたワークロードにおいては、デコード最適化は必要ですが、それだけでは不十分です。20k in @ 60%キャッシュでは、ワークロードは主にプリフィルバウンドです。

TP8では、シングルストリームデコード用に最適化された構成でしたが、MI355XはGLM5.2-MXFP4をノードあたり1461 tok/sで実行できます。このワークロードではTP4×DP2に切り替えることで大幅な改善が得られ、2.0 RPSでノードあたり1944 tok/sに達しました。これは、測定されたBlackwellパフォーマンス(3.0 RPSでノードあたり3192 tok/sを達成)と比較すると、依然として比較的遅いです。MI355Xでのプリフィルパフォーマンスが低い大きな理由の1つは、sglangイメージ上では、GLM-5.2のfp4 MoEが、遅いFlyDSLヒューリスティックフォールバック(aiterはa8w8/fp8パスのみでチューニングされた構成を出荷していました)でサイレントに動作していたことです。GLMのfp4形状(model_dim 6144, moe_inter 2048, E=256, topk=8)でMoEカーネル選択を独自にチューニングした結果、ノードあたり2626 tok/s @ 2.4 RPSに到達することができました。はるかに改善されました。

なぜこれが重要なのか

ある程度の摩擦はあったものの、MI355Xで最高のパフォーマンス・パー・ドル比を達成することは、特に難しいことではありませんでした。Qwen3.5 397Bでの作業とは異なり、今回はカスタムカーネルを実際に記述する必要はありませんでした。この調査ではマルチノードパフォーマンスは考慮されていませんが、シングルノードデプロイメントは依然として実務で非常に一般的です。

AMDでのSOTAは、ソフトウェアではなくサポートの問題になりつつあります。CUDAの堀はリアルタイムで侵食されています。