vLLM v0.28.0 リリース

vLLM v0.28.0 v0.28.0 ハイライト このリリースには、270人の貢献者（76人が新規）からの584コミットが含まれています！ Kimi-K3 パフォーマンス強化：スタック全体にわたる Kimi-K3 のための主要な最適化作業 — Decode Context Parallel (DCP) サポート (#50484)、融合された FlashKDA デコードおよびプリフィルカーネル (#50654, #51311, #52458)、MegaMoE の SiTU アクティベーションサポート (#50510)、シーケンス並列化のための GEMM-RS (#52079)、1.5〜3倍のカーネルレベル速度向上を伴う all-gather の結合 (#51070)、約60%向上した DSpark TTFT を実現する適応型スペキュラティブトークンバジェット (#51725)、および GPU あたり約17 GiB のメモリを節約するオプションの共有エキスパートシャーディング (#50912)。Kimi-K3 は V2 モデルランナー (#51653) で ROCm 上でも実行できるようになりました。 DeepSeek V4：スパース MLA がプレーンデコード、MTP、および DSpark スペキュラティブデコード (#51538) でエンドツーエンドで動作するようになり、AMD Quark NVFP4 サポート (#47972)、推論負荷プロンプトとマッピング (#50580)、スパース top-k メタデータカーネル最適化 (#52084, #51967)、狭いイーガーCUDAグラフ領域 (#51430, #52401)、および ROCm の gfx11 および gfx950 での有効化 (#47017, #52212) が追加されました。 スペキュラティブデコーディングの進歩：ローカル畳み込みと候補セレクターを備えた DFlash2 (#52816)、信頼度スケジューリングされた DSpark 検証 (#47808)、およびドラフトモデル用の非同期スケジューリング自動有効化 (#48341)。 Model Runner V2 の成熟：E/P/D の分離 (#38390)、重みオフロード (#51413)、マルチレイヤー MTP KV キャッシュサポート (#50062)、エンコーダーCUDAグラフ (#49852)、デコーダーのトークン単位プーリング (#50931) および Transformers プーリングモデル (#52425)、アテンションフリーモデル (#52374)、thinking_token_budget サポート (#46727)。 階層化 KV キャッシュオフロード：ディスクオフロードサポート (#49644)、module_path を介したツリー外のセカンダリ階層マネージャー (#51007)、部分的なセカンダリ階層ロード結果 (#50321)、階層化メトリクス (#48798)、および並列化に依存しないオフロードのための標準的なCPUレイアウト (#48414)。 Rust フロントエンド & gRPC：スタンドアロンレンダラー (#50289)、gRPC を介したマルチモーダル画像推論 (#50368)、明示的なデータ並列ランクルーティング (#51178)、および RL ライフサイクル制御 (#51316) が含まれ、protobuf スキーマは Buf (#51276) に公開されました。 新しいデフォルト：max_num_batched_tokens が 8192 から 16384 に増加 (#51726)、Mamba モデルのプレフィックスキャッシングがデフォルトで有効化 (#50991)、Blackwell CUDA グラフキャプチャのデフォルトが 1024 に増加 (#49390)。 破壊的変更：bitsandbytes サポートがツリー外プラグインに移行 (#43529)；Transformers が 5.15.0 に更新 (#51668)；非推奨の calculate_kv_scales ランタイム KV スケール計算が削除 (#49389)；override_attention_dtype が削除 (#48684)。 リリース成果物 Python Wheels プラットフォーム インストール PyPI (CUDA 13.0) pip install vllm PyPI (CUDA 13.0, uv) uv pip install vllm --torch-backend=auto ROCm pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/0.28.0/ Docker イメージ プラットフォーム Docker イメージ CUDA 13.0 (デフォルト) docker pull vllm/vllm-openai:v0.28.0 (v0.28.0-cu130 も動作します) CUDA 12.9 docker pull vllm/vllm-openai:v0.28.0-cu129 CUDA 13.0 + Ubuntu 24.04 docker pull vllm/vllm-openai:v0.28.0-ubuntu2404 CUDA 12.9 + Ubuntu 24.04 docker pull vllm/vllm-openai:v0.28.0-cu129-ubuntu2404 ROCm docker pull vllm/vllm-openai-rocm:v0.28.0 CPU docker pull vllm/vllm-openai-cpu:v0.28.0 XPU docker pull vllm/vllm-openai-xpu:v0.28.0 その他の成果物 プリビルドされたリリース成果物は、このページの最下部にあるアセットセクションで入手できます。これには以下が含まれます： ソース配布tarball CUDA 12.9 Python wheels (x86_64 および arm64 用) CUDA 13.0 Python wheels (x86_64 および arm64 用) CPU Python wheels (x86_64, arm64, および macOS 用) モデルサポート 新モデル：Muse Glimmer (#51655)、Ling 3.0 Flash (BF16, MTP, およびパーサーサポート付き) (#51045) および FP8 バリアント (#51265)、ハイブリッド MXFP4 ルーティングエキスパート (#52114)、Dots3 NOTE ネイティブマルチモーダルサポート (#51255)、および Interns2mobius (#51149)。 Qwen：Qwen3.8 が AMD ROCm で有効化 (#50068)、Qwen3.5 GDN 用の融合 CUDA ポストコンブ MTP デコードカーネル (#51674)、GDN ゲートがスペキュラティブトークンと整列 (#51812)、およびテキストのみのチェックポイント用の Qwen3.5 修正 (#50734, #50355)。 Transformers モデリングバックエンド：MLA サポート (#48250)、ハードウェアに依存しないモデル定義 (#49458)、完全に汎用化された入力埋め込み処理 (#51247)、ロジットソフトキャッピング (#52173)、および強化されたマルチモーダルパス (#51408, #51657)。 LoRA：Gemma4 用のビジョンタワー LoRA (#42662)、Keye (#51780) および Ultravox (#48215) 用のタワー/コネクタ LoRA。 ビジョンエンコーダー：Kimi-K2.5 (#50929) および Ernie-4.5-VL (#45254, #51461) 用の ViT フル CUDA グラフ、Qwen3-VL エンコーダー用の torch.compile (#40116)、および ViT でのロングブロッキング H2D コピーの回避 (#51841)。 MoE：Mistral Large 3 および追加の MoE バックエンド (#48355) のための EPLB サポート拡張、GLM-5.2 への CuTe DSL スキニー GEMM 拡張 (#49791)。 スペキュラティブデコーディングカバレッジ：KimiLinear (#52171) での EAGLE3 サポート宣言、Qwen3.6 dSpark 受け入れカバレッジ (#51310)。 正確性：MiniMax-M3 NVFP4 推論 (#48929) および圧縮テンソル FP8 MoE SwiGLU パラメータ (#46845)、Gemma3n/Gemma4 可変長オーディオバッチパディング (#50958)、今後の Transformers バージョンとの Gemma 4 互換性 (#49797)、およびオーディオトラックなしのビデオでの Qwen3-Omni クラッシュ (#48420)。 マルチモーダルパフォーマンス：融合されたオンデバイスマルチモーダル前処理正規化 (#50411)、高速なプレースホルダーおよびトークンマッチスキャン (#50716)、および繰り返しプロンプト更新スキャンの回避 (#51774)。 エンジンコア スペキュラティブデコーディング：信頼度スケジューリングされた DSpark 検証 (#47808)、top-k DSpark マルコフ投影 (#49969)、ローカル畳み込みと候補セレクターを備えた DFlash2 (#52816)、ドラフトモデル用の非同期スケジューリング自動有効化 (#48341)、融合 MTP トレーリング all-reduce とローカル argmax ドラフトトークン (#49793)、およびスペキュラティブスケジューリング入力トークン用の適応バジェット (#51725)。 KV キャッシュ & スケジューリング：MLA チャンクコンテキスト用のリクエストごとのスケジューリング (#50613)、きめ細かなプレフィックスマッチングによる部分的なテールプレフィックス再利用 (#50507)、KV キャッシュレイアウトリファクタリングでのバックエンド公開 KV パッキング (#51612, #51704)、プレフィックスキャッシングが無効な場合の LIFO フリーブロック再利用順序の復元 (#51482)、および優先度スケジューリングでのサイレントリクエストスキップの修正 (#49206)。 パフォーマンス：実行パスでの GPU<->CPU 同期処理の継続的な排除 (#51458, #51738, #52369) が CI 同期チェック (#43107) によって保護されるようになりました。述語フィルタリングを備えた新しい JIT ウォームアップインフラストラクチャ (#49315)、8 ワープで起動された top-k/top-p Triton サンプラー (#51507)、オフラインビームサーチでのデトーケナイゼーションスキップ (#50333)、Mask Replay (#49577)、最適化されたロングコンテキスト MLA キャッシュギャザー (#51739)、および HF リビジョンがモデルロードごとにコミットハッシュに解決されるようになりました (#49990)。 ハイブリッド/Mamba：プレフィックスキャッシングがデフォルトで有効 (#50991)、Mamba アテンションモジュールのリファクタリングの最終部分 (#44857)、ステートコピー Triton カーネルの 3D グリッドタイリング (#49436)、およびエンコーダーキャップの前に Mamba アライメントが適用 (#51603)。 RL ワークフロー：NCCL およびスパース NCCL を介したステートフル トレーナー送信 (#50902)、タグ選択的 GPU メモリ解放のための CuMemAllocator.discard() (#52514)、LoRA が有効な場合のレベル-2 スリープ/ウェイク/リロードの修正 (#39935)、および標準化された例による重み転送ドキュメントの書き直し (#51729)。 起動時の堅牢性：単一ノードエグゼキューター用の file:// ランデブーが起動ポート競合を排除 (#50999, #51652)、エンジン起動中にフロントエンドプロセスが監視されます (#43417)、DP 予約ポートでの get_open_port() ライブロックが修正されました (#50965)、および NVML はデバイス機能チェックごとに再初期化されなくなりました (#50393)。 ハードウェア & パフォーマンス NVIDIA：SM12x (#49718) での FlashInfer XQA デコードサポート、CuTeDSL 融合クエリカーネル o