HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

DeepSeek V4 Flash を単一の AMD MI300X で実行する

DeepSeek V4 Flash on a Single AMD MI300X (github.com)

205 pointsby zhoutong50 コメント

要約

本リポジトリは、DeepSeek V4 Flash モデルを単一の AMD MI300X GPU 上で本番環境実行するために必要な設定とパッチを提供します。FP8フォーマットの不整合、高並列時のMoEルーティング、CPU-KV同期などのMI300X特有の問題を解決し、vLLMのROCmナイトリービルドとAITERライブラリを用いて、256Kコンテキスト長で高いスループットを実現しています。

全文翻訳

DeepSeek V4 Flashを単一のAMD MI300Xで実行

このリポジトリには、deepseek-ai/DeepSeek-V4-Flash-0731 を1基のAMD MI300Xで本番稼働させるために使用している設定とパッチが含まれています。Docker Composeスタック、SHA-256で固定されたファイルオーバーレイ、アップストリームとの差分、JITコンパイルされたgfx942カーネルソース、およびチューニングテーブルが含まれています。チェックポイントは、追加の重み量子化やオフロードなしでそのまま動作します。

固定されたスタック(vLLM ROCm nightly 0.26.1rc1.dev229+g124154a88.rocm723、AITER 0.1.19)からの結果:

メトリック結果
キャッシュなし C1 プリフィル11.69K トーク/秒(安定時、中央値11.53K、元の5.26Kの2.19倍)
シングルストリームデコード、静的 DSpark-7152.6 トーク/秒(全体)、158.8 トーク/秒(ストリームあたり中央値)
ネイティブ(非投機的) C1 デコード67.3 トーク/秒(全体)
64ストリームバースト1,278 トーク/秒(全体、K7)、OOMなし、エンジンエラーなし
コンテキスト384K 検証済み(393,216 トークン、アーキテクチャは1Mをサポート)
GPU KV プール16 GB fp8_ds_mla(1.95Mトークン長相当) + 96 GiB ネイティブCPUティア
HBM 内の重み156.67 GiB — 追加の量子化または重みオフロードなし

公式のvLLMレシピはNVIDIAおよび新しいAMDハードウェアを対象としています。MI300Xでモデルを確実に実行するには、FP8フォーマット、高同時実行時のMoEルーティング、チェックポイントのエキスパートアクティベーションクランプ、因果的投機的検証、CPU-KV同期の修正、およびプリフィルとデコードカーネルの長期にわたるチューニングが必要でした。このリポジトリはそれらの修正を収集し、本番で使用されているバージョンを固定し、日付付きのレポートでチューニングの旅を文書化しています(チューニングレポートを参照)。


なぜMI300Xか

MI300Xは192 GBのHBM3と5.3 TB/秒のメモリ帯域幅を持ち、H100 SXM5のHBM容量の2.4倍です(AMD)。Doubleword の記事によると、リスト価格で約半額と推定されています。この304Bパラメータのチェックポイントでは、メモリ容量によりシンプルな単一GPU展開が可能です:

  • PCIe重みストリーミングやレイヤーオフロードなしで、モデル全体がHBMに収まります。
  • 16 GBのGPU KVプールと、エビクトされたプレフィックスキャッシュエントリ用の96 GiB CPUティアのためのスペースがあります。
  • 1枚のカードで、通常のストリーム2〜8本、および最大64ストリームのバーストを処理します。

MI300X (CDNA3) は、AMD/Graphcore の fnuz バリアントの E4M3 を実装していますが、MI325X 以降は OCP 標準の FP8 を使用します(背景)。MI300X 上で OCP セマンティクスを想定したカーネルは、スケールドメインで2倍の間違いを犯す可能性があります。このFP8実装での正確性が最優先事項であり、その後のパフォーマンスチューニングが行われました。

先行研究と本リポジトリの追加点

Fergus Finn の MI300X 作業ログとそれに付随するDoubleword リポジトリは、FP8 の非互換性、gfx942 上での AITER 高速パスの欠如、スパースMLAデコードでのHIPグラフの危険性、および MoE ルーティングのバグを特定しました。公式 vLLM レシピは NVIDIA ハードウェアと新しい AMD GPU(4K コンテキストの MI325X および MI355X)をカバーしていますが、0731 チェックポイントの単一 MI300X 本番構成はカバーしていません。

このリポジトリは以下を追加します:

  1. 正確性オーバーレイ:固定された ROCm nightly 用で、まだアップストリーム vLLM に含まれていない修正が含まれています:MXFP4 パディングレーンルーティング修正、FNUZ FP8 インデクサーバイト、64ビットページ化 MQA オフセット、決定論的スパーストップK、因果的 DSpark 検証、および DeepSeek エキスパートアクティベーションクランプの復元。
  2. 検証済みサービング設定:確率的 DSpark ドラフト、ブロック拒否、および静的 K=7 を備えています。競合を考慮したスケジューラは、単一のプリフィルに完全な 3,712 トークン量子を割り当てますが、他のリクエストが遅延する可能性がある場合は長いプリフィルを 1,024 トークンに制限します。
  3. カスタム gfx942 カーネル(初回起動時に JIT コンパイル):行非対称 INT8 MoE W1/W2(アダプティブ BM16/BM64+BM48 タイル付き)と N-スプリット低同時実行バリアント、正確な BF16 SwiGLU+クランプカーネル、OPUS スパースプリフィルカーネル、およびパッケージ化されたテーブルが欠落していた gfx942 の繰り返し形状に対する AITER GEMM チューニングテーブル。
  4. ハイブリッド KV 戦略:16 GB の fp8_ds_mla GPU キャッシュ + 96 GiB ネイティブ CPU オフロード、アップストリームのissue #47282で文書化されているがPR #47291ではマージされなかったロードパスフェンシング修正。

リポジトリレイアウト

.
├── compose.yaml         # 本番スタック (vLLM ROCm + Caddy)、ダイジェスト固定
├── Caddyfile.example   # Caddyfile にコピーし、ホスト名、メールアドレス、ソース CIDR を設定
├── vllm-entrypoint.sh  # 古い CPU-KV mmap をクリーンアップし、OPUS モジュールをステージング
├── prepare-artifacts.sh # コンパイル済み libtorch 拡張を(SHA-256 検証済みで)展開
├── SHA256SUMS          # 全てのランタイムアーティファクトの SHA-256 ピン
├── artifacts/          # 検証済み安定 libtorch トップK 拡張の圧縮ファイル
├── patches/
│   ├── *.py           # バイト単位の本番オーバーレイ(読み取り専用でマウント)
│   ├── *.cu, *.patch # トップK 拡張ソースとそのアップストリーム画像との差分
│   ├── diffs/*.patch # アップストリームベースリビジョンとの統一差分
│   └── README.md     # 出所と再生成手順
├── kernel-dev/hip-a8w4/  # 初回起動時に JIT ビルドされる gfx942 MoE/OPUS/SwiGLU HIP ソース
├── tuning/
│   └── *.csv        # gfx942 用 AITER A8W8 ブロックスケールチューニングテーブル
└── *.md             # 日付付きチューニングおよび正確性レポート(下記参照)

ランタイム設定

スタックは、以下の設定でダイジェスト固定された公式 vLLM ROCm nightly を使用します:

  • --trust-remote-code および DeepSeek V4 トークナイザー、推論、ツールパーサー
  • fp8_ds_mla KV キャッシュ(UE8M0 ブロックスケール FP8、汎用非スケール FP8 ではない)で、256 トークンブロック、16 GB GPU プール、および 96 GiB の native CPU オフロードティアを使用
  • VLLM_ROCM_USE_AITER=1、VLLM_ROCM_OPUS_PREFILL=1、および --moe-backend triton:AITER がアテンションと密線形を担当し、256 エキスパート/トップ6 MoE 形状はカスタム gfx942 W1/W2 カーネルにディスパッチされ、グループ化された Triton OGS がフォールバックとして機能します。
  • DSpark-7 投機的デコード(確率的ドラフトとブロック拒否を使用)
  • 4,096 トークンのスケジューラバジェット(DSpark 用に 384 トークン予約、通常のプリフィルは最大 3,712 トークンを使用)と、競合を考慮したロングプリフィルキャップ
  • M=3,712 を介したフル/ブレーク可能 CUDA グラフキャプチャ。安定デコード中はトークンごとに1回のグラフ起動を行います。
  • Caddy を IP許可リスト登録された HTTPS プロキシとして使用

デプロイ方法

1. ホストの前提条件

MI300X 1基(gfx942、304 CU、約192 GiB HBM)、動作する AMD カーネルドライバー、最近の Docker Compose、CPU KVティア用に約235 GiB RAM、および約500 GB のディスク(モデルキャッシュだけで約156 GB)。

2. 固定されたランタイムとモデルのプル
VLLM_IMAGE='vllm/vllm-openai-rocm@sha256:e68d18b2ba50298661bfc49baf01158fbf036645c2362cccf3e8a7a79fe6c69a'
MODEL='deepseek-ai/DeepSeek-V4-Flash-0731'
REVISION='7872f01b1d1fe23eabc4c98b48bffcef5a386062'

docker pull "$VLLM_IMAGE"
docker run --rm --entrypoint hf \
  -v /root/.cache/huggingface:/root/.cache/huggingface \
  "$VLLM_IMAGE" download "$MODEL" --revision "$REVISION"
3. ファイルの準備
cp Caddyfile.example Caddyfile   # ホスト名、メールアドレス、リモートIP CIDR を設定
mkdir -p aiter-cache crash-dumps profiles-current
chmod +x vllm-entrypoint.sh prepare-artifacts.sh
./prepare-artifacts.sh           # コンパイル済み libtorch 拡張を(SHA-256 検証済みで)展開
sha256sum -c SHA256SUMS        # 初回起動前に全てのアーティファクトを検証
4. 起動
docker compose config -q
docker compose up -d
docker compose logs -f inference

初回起動時には gfx942 カーネルの JIT コンパイルとグラフセットのキャプチャが行われるため、約10分かかります。正常な起動は、以下の全てを示す必要があります:

Model loading took 156.67 GiB
DSpark draft model loaded: 96 params
GPU KV cache size: 1,945,846 tokens
Maximum concurrency for 393,216 tokens per request: 4.95x
Created mmap file /dev/shm/vllm_offload_...mmap (103.08 GB)
Capturing CUDA graphs (FULL)
Graph capturing finished ... took 6.47 GiB
Application startup complete

グラフキャプチャ後、rocm-smi --showmeminfo vram を実行してください。検証済みの高水準は、ロングコンテキストと C64 ゲートの後で約 205.8 GB 中 199.9 GB です。数百 MB しか残っていない場合、サーバーは起動しても最初の要求で失敗する可能性があります。

5. スモークテスト
HOST='your-host.example.com'
curl -fsS "https://$HOST/v1/models"
curl -sS "https://$HOST/v1/completions" \
  -H 'Content-Type: application/json' \
  -d "{"model": "deepseek-ai/DeepSeek-V4-Flash-0731",
       "prompt": "Calculate 17 * 23. Answer with the number only.",
       "temperature": 0, "max_tokens": 32}"

パッチ

各 patches/*.py ファイルは、コンテナ内の対応するファイルに対するフルファイルオーバーレイであり、読み取り専用でマウントされます。compose.yaml にターゲットパスが含まれています。対応する diffs/*.patch は、アップストリームベースからの変更を記録します。kernel-dev/hip-a8w4 のカスタムカーネルはアップストリームファイルではなく、gpt_oss_triton_kernels_moe.row-i8asym-candidate.py が初回起動時にそれらを /opt/cj-moe に JIT ビルドします。ベースイメージはダイジェスト固定されたままなので、アップグレードにはイメージ参照の変更とスタックの再検証が必要です。

オーバーレイマウント先修正内容必要時期
gpt_oss_triton_kernels_moe.row-i8asym-candidate.pyvllm/.../fused_moe/experts/gpt_oss_triton_kernels_moe.pyMXFP4 パディングレーンルーティング修正 + 行非対称 INT8 アクティベーション + カスタム gfx942 W1/W2 カーネルへのディスパッチMoE パスには必須;マスク修正はまだアップストリームにない
mxfp4.fused-silu.pyvllm/.../fused_moe/oracle/mxfp4.py融合 SiLU パスのゲート/アップインターリーブレイアウト融合 SiLU オーバーレイと共に必要
triton-kernels-matmul-ogs-opt-flags.dsv4-mi300x.pyvllm/third_party/triton_kernels/matmul_ogs_details/opt_flags.pygfx942 MXFP4 OGS タイルジオメトリ(最大 1,536 行ルーティング)gfx942 上でのパフォーマンス;標準ジオメトリは 768 行を超えると急激に低下
fused_compress_quant_cache.fnuz-shuffle.pyvllm/models/deepseek_v4/common/ops/fused_compress_quant_cache.pyLightning Indexer キャッシュライターにおける FNUZ FP8 + 16×16 プリシャッフルMI300X で必須;MI325X/MI355X は OCP FP8 を使用し、標準バイトを維持する必要がある
aiter_pa_mqa_logits.i64.pyaiter/ops/triton/gluon/pa_mqa_logits.pyChunkK=256 ページ化 MQA カーネルの 64 ビットオフセットKV オフセットが 4 GiB を超える可能性がある場合に必要
rocm_aiter_mla_sparse.decode-h32-k16.pyvllm/v1/attention/ops/rocm_aiter_mla_sparse.pyデコードタイル 32 ヘッド × 16 KV + 標準トップ512ソート + OPUS プリフィルフック必須(決定論性)およびパフォーマンス
rocm_aiter_mla.dspark-causal.pyvllm/v1/attention/backends/mla/rocm_aiter_mla.py因果的マルチトークン投機的検証ROCm 小ヘッド MLA での DSpark に必要 — 現在はアップストリーム;オーバーレイはアップストリームファイルと完全に同一
dspark-speculator.independent-draft-gumbel.py + spec-decode-utils.independent-draft-gumbel.pyvllm/v1/worker/gpu/spec_decode/dspark/speculator.py + .../spec_decode/utils.pyドラフト提案 Gumbel ノイズを拒否/回復ノイズから分離draft_sample_method=probabilistic の場合のみ必要
kv_offload_cpu_gpu_worker.load-war.pyvllm/v1/kv_offload/cpu/gpu_worker.pyCPU→GPU KV リストアをインフライトコンピューティングの背後にフェンスする(#47282、PR #47291)--kv-offloading-backend native の場合のみ必要
activation.rocm-exact-swiglu.pyvllm/model_executor/layers/activation.pygate=min(gate,10)、up=clamp(up,-10,10) を swiglu_clamp.hip 経由で実現する正確な BF16 SwiGLUチェックポイントに忠実な共有エキスパート出力に必須
scheduler.contention-aware.pyvllm/v1/core/sched/scheduler.py他のリクエストを遅延させない場合にのみ完全な 3,712 トークンプリフィル量子を使用;競合下では 1,024 トークンチャンクを使用パフォーマンス;レイテンシ回帰なしで 4,096 トークンバジェットを有効にする
block_table.active-width-copy.pyvllm/v1/worker/block_table.pyデコードステップごとにアクティブなブロックテーブル列のみをコピーパフォーマンス(デコード;M64 グラフあたり約 0.76 ms と 40 MB を節約)
deepseek_v4_amd_model.router-bf16.pyvllm/models/deepseek_v4/amd/model.pyルーターロジットを BF16 で保持(43 回の FP32 ラウンドトリップを削除)パフォーマンス(デコード)
deepseek_v4_attention.wqb-bpreshuffle.py + deepseek_v4_rocm.wqb-bpreshuffle.pyvllm/models/deepseek_v4/attention.py + .../amd/rocm.pywq_b をリクエストごとではなく、ロード時に一度プリシャッフルパフォーマンス(プリフィル;リクエストあたり約 9.5 ms)
cache_utils.gather2048.pyvllm/models/deepseek_v4/common/ops/cache_utils.pyBLOCK_K=2048 K ギャザーとグローバルトップKインデックス準備パフォーマンス(プリフィル)

決定論的なトップKパスをサポートする追加のアーティファクトが2つあります:sampler.topk-tiebreak-sanitize.cu(vllm-124154a-topk-tiebreak.patch、固定イメージの csrc/libtorch_stable/sampler.cu との差分)は、prepare-artifacts.sh が展開してマウントするコンパイル済み _C_stable_libtorch 拡張のソースです。rocm_aiter_mla_sparse.topk-tiebreak.py は、監査用に保持されている、廃止された拡張前のバリアントです。

3つの重要な正確性修正

MXFP4 ルーティング。 MoE ビットマトリックスカーネルはブロック列を Triton ブロックサイズにパディングしますが、パディングレーンは論理ブロックサイズではなくグローバルテンソル境界に対してマスクされていました。負荷下では、パディングされたレーンがルーティング行列を破損させ、長いプロンプトでニアマッチツール名やスキーマの忘れを引き起こしました。1行の修正は mask = (offs_local < BLOCK_SIZE) & (offs_global < nonzero_indx_size) で、これはDoubleword コミット c32932bb9から取得されました。

FP8 フォーマット。 DeepSeek V4 の Lightning Indexer キャッシュは FP8 を使用します。標準ライターは行メジャー順で OCP E4M3 バイトを出力しますが、MI300X 上の AITER はプリシャッフルされた 16×16 タイルレイアウトの AMD FNUZ E4M3 バイトを消費します。最悪の場合、一方のフォーマットを他方として解釈すると、2倍のスケールエラーが発生します。オーバーレイは、ROCm 上で float8e4b8 と FP8_MAX=224.0、およびシャッフルされた書き込みオフセットを選択し、他の場所では OCP パスをそのまま維持します。

エキスパートアクティベーションクランプ。 チェックポイントは、エキスパート SwiGLU 乗算(swiglu_limit=10)の前に gate=min(gate, 10) および up=clamp(up, -10, 10) を必要とします。最初のカスタム W1 カーネルは両方のクランプを省略していました。外れ値アクティベーションはロジットを変更し、繰り返し発生する )Skip トークン、まれな無関係な CJK、およびコードトークンエラーを引き起こしました。W1 カーネルと共有エキスパート SwiGLU カーネルは、SiLU の直前にクランプを適用するようになりました。61,440 トークンの生コンプリーション回帰(120 シード × 512 トークン、ネイティブおよび DSpark-7)では、)Skip 0 回、誤った CJK 0 回を示しました。以前のカーネルでは、3/120 の応答でこれらが発生していました。完全な再現性は CORRECTNESS-20260815.md にあります。

投機的デコード

このスタックは、ブロック拒否を伴う確率的ドラフトを使用します。2つの Gumbel オーバーレイは、ドラフト提案ノイズを拒否/回復ノイズから独立に保ちます。静的 K=7 は全ての同時実行性で必要です。チェックポイントは dspark_block_size: 5 を宣言しているため、5 トークン未満の動的バンドはサポートされていないマルコフヘッドレイアウトであり、破損した出力を生成する可能性があります。

パフォーマンス

プリフィル

キャッシュなし 8.9K トークンプロンプト:元のデプロイメントは C1 で5.26K トーク/秒でしたが、現在のプロファイルは安定時11.69K トーク/秒(中央値11.53K、2.19倍)です。マイルストーン:競合考慮スケジューラ 6.96K → カスタム HIP MoE 約7.9K → アテンション/サポートスタック 8.30K → 非対称行 INT8 W1 8.99K → OPUS プリフィル 約9.36K → BM64/デルタスケール W1 9.57K → バッチ 4,096 + M=3,712 チューニング 10.97K → 正確な W2 11.09K → グラフバケット + A8W8 ASM 11.24K → OPUS ノーパディング 11.39K → 決定論的トップK 11.53K。完全な年表と却下されたパス:PREFILL-EXPERIMENT-LOG-20260808-09.md、要約は PREFILL-OPTIMIZATION-20260809.md にあります。

ストリーム数実効プリフィル トーク/秒
111.66K
210.19K
411.20K
811.36K
デコード

3回のデコードラウンド(レポート:DECODE-OPTIMIZATION-20260812.md、DECODE-OPTIMIZATION-20260814.md、DECODE-OPTIMIZATION-20260815.md)は、起動バウンドの低同時実行レジームを対象としていました。維持された作業:アダプティブ BM16/BM64+BM48 MoE タイル(MOE-REWRITE-20260812.md)、正確なデコードサポートフュージョンと安定トップK拡張(M64 グラフ 32.62 → 27.76 ms、GPU 操作を 508 個削減)、N-スプリット W1/W2 カーネルと M≤8 のデコード M GEMM 行(ネイティブ C1 +10%)、および C8+ 検証とドラフター範囲の中間 M GEMM 行。最終的な修正済み中央値:

同時実行数ネイティブ全体 トーク/秒ネイティブ トーク/秒/ユーザーK7 全体 トーク/秒K7 トーク/秒/ユーザーK7 承認/ドラフト
167.2868.31152.56158.752.167
2123.4863.45207.00132.861.703
4223.3258.33327.7295.221.532
8393.0253.83510.4679.801.558
16571.3746.78728.0153.771.530
321,079.0837.91975.6236.981.485
641,649.8029.641,278.2325.141.563

これらは、本番トラフィックよりも承認率が低い合成ランダムワードワークロードを使用しています。この正確なイメージのゲートとして扱い、普遍的なモデルベンチマークとして扱わないでください。

混合負荷とコンテキスト

競合考慮キャップ付きの 4,096 トークンバジェットは、コールドプリフィルが他のストリームを停止させないようにします。ライブデコードの後ろにある約 52K のコールドプリフィルは、約 0.3 秒の遅延ショートリクエスト TTFT と、最大約 0.16 秒のバックグラウンドデコードギャップで完了します。スタックは 384K リクエストを処理します。379K トークンのコールドリコールは、約 51〜53 秒(ネイティブ)または 120〜125 秒(DSpark)で完了します。ウォームリコールは 0.64〜2.65 秒で 379,904 トークンをキャッシュし、バイト単位で同一の出力を生成します。393,051 トークン(制限より 165 個少ない)のリクエストは、全てのニードルを正確にリコールしました。16 GB プール + 96 GiB ティアは、1,945,846 トークン長相当のメトリックを報告します。

本番ノート

  • HBM ヘッドルームは限られています。 380K リコールと C64 ゲート後の検証済み高水準は、205.8 GB 中約 199.9 GB(空き 5.9 GB)です。30 GB の KV プールはロードされますが、グラフキャプチャ中に HSA_STATUS_ERROR_OUT_OF_RESOURCES で失敗します。メモリゲートを繰り返さずにプールサイズを変更しないでください。
  • 起動前に prepare-artifacts.sh を実行してください。 これはコンパイル済みトップK拡張を展開し、その SHA-256 を検証します。sha256sum -c SHA256SUMS は他の全てを検証します。初回起動時には gfx942 カーネルの JIT コンパイルが行われるため、コールドリカバリには約10分かかります。このウィンドウに対してヘルスチェックを寛容にしてください。
  • AITER フォールバックメッセージは情報提供のみです。 shape ... not found tuned config ... will use default config は無害です。任意のプロンプト長がテーブル外の形状を作成します。HSA_STATUS_ERROR、OOM、トレースバック、または HTTP 5xx はそうではありません。
  • CPU ティアは機会的なキャッシュであり、スケジューラ容量ではありません。ロードパスフェンシングオーバーレイはマウントされたままにする必要があります。フェンスされていないリストアは、インフライトコンピューティングによってまだ読み取られている KV を上書きする可能性があります。
  • 生コンプリーションテストを維持してください。 これらはチャットエンコーディングからサービングを分離するためです。生の /v1/completions ゲートは、アクティベーションクランプバグを捉えたものです。

チューニングレポート

レポート内容
PREFILL-OPTIMIZATION-20260809.md最終プリフィルプロファイル、中間値マイルストーン、決定論的トップK、却下されたパス
PREFILL-EXPERIMENT-LOG-20260808-09.md制御された A/B テストによる完全な 5.26K→11.53K の年表
DECODE-OPTIMIZATION-20260812.mdデコードラウンド 1:スパースアテンションタイル、正確なデコード GEMM 行
MOE-REWRITE-20260812.mdアダプティブ BM16/BM64+BM48 MoE カーネルと却下されたアーキテクチャ
DECODE-OPTIMIZATION-20260814.mdデコードラウンド 2:固定グラフレジャー、正確なサポートフュージョン(32.62→27.76 ms)
DECODE-OPTIMIZATION-20260815.mdデコードラウンド 3:ビット単位で正確な低同時実行 N-スプリットカーネルと中間 M GEMM 行
CORRECTNESS-20260815.mdエキスパートアクティベーションクランプバグ:根本原因、再現、修正済みゲート