DFlash 2: ドラフトを並列に維持する
DFlash 2: Keep Drafting Parallel (inco.ai)
要約
この記事は、大規模言語モデル(LLM)の推論におけるボトルネックを解消するための新しい技術「DFlash 2」を紹介しています。DFlash 2は、以前のDFlash技術をさらに進化させ、推論速度を向上させるために、ドラフトモデルがトークンブロック全体を一度に並列予測する能力を強化しました。これにより、検証パスあたりの出力が20%以上増加し、全体のスループットが大幅に向上します。既に主要な推論エンジンに統合されており、様々なモデルで利用可能です。
全文翻訳
DFlash 2: 並列ドラフトを継続
2026年8月18日
推論はエージェント時代のボトルネックです。エージェントは読み込み、計画し、ツールを呼び出しますが、それはしばしば数時間または数日に及びます。それらはチャットがかつて到達しなかった速度でトークンを消費します。それらのトークンはすべて、モデルに対する完全なフォワードパスを必要とします。Inco AIでは、明日のトークン経済学に合わせてスケーリングされた推論スタックを構築しています。この記事はそのプレビューです。
私たちのチームは1月にDFlashをリリースしました。これは現在、SGLang、vLLM、TensorRT-LLM、llama.cppで動作しています。NVIDIAは Blackwell GPUで最大15倍のスループットを測定し[1]、GoogleはTPUで毎秒3倍のトークンを報告し[2]、CoreWeaveのKimi K2.7 Codeエンドポイントは、Artificial Analysisで最速のモデルであり、デフォルトでDFlashを実行しています[3]。エコシステムは現在、それに構築されています。NVIDIA、Red Hat、ModalはすべてDFlashドラフターを公開しています。Meta(Muse Glimmer)、Poolside(Laguna)、Xiaomi(MiMo-V2.5-Pro)、NVIDIA(Nemotron 3.5 Lightning)は、独自のモデルとともに公式ドラフターを出荷しています。Hugging Faceでは、DFlashモデルは350万回以上ダウンロードされています(2026年8月現在)。
投機的デコーディングは、現代の推論スタックのコアピースです[4]。小さなドラフトモデルがトークンのブロックを予測し、ターゲットモデルがそのブロック全体を1回のフォワードパスで検証します。良い予測は1回のパスを数トークンに変えます。悪い予測は単に破棄されます。しかし、長年、ドラフト自体は自己回帰的であり続けました。つまり、1トークンずつでした。DFlashはそれを1パスにしました。つまり、ブロック全体、すべての位置を並列で予測します。
DFlash 2は、並列ドラフトをさらに一歩進めます。検証パスあたりの出力が20%以上増加し、サイクルレイテンシは約1%増加するだけで、出力は証明済みで変更されません。ベンチマーク全体でゲインは16〜25%です。本日リリースされたQwen3.8-27Bドラフターにより、SGLangはバッチサイズ1で自己回帰デコーディングのスループットの2.7〜3.4倍でサービスを提供します。各位置を独立して予測することは、2つの領域でヘッドルームを残します。それは、正しいトークンを選択することと、ブロックの最後まで精度を維持することです。DFlash 2は、1パス設計を犠牲にすることなく、両方を回復します。
今すぐ実行
DFlash 2はすでに主流の推論エンジンで動作しています。
pip install -U "sglang[all]"
python -m sglang.launch_server \
--model-path Qwen/Qwen3.8-27B \
--speculative-algorithm DFLASH \
--speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \
--speculative-num-draft-tokens 8
pip install -U vllm
vllm serve Qwen/Qwen3.8-27B \
--speculative-config '{ \
"method": "dflash", \
"model": "incoai/Qwen3.8-27B-DFlash2", \
"num_speculative_tokens": 7 \
}'
brew install incoai/tap/splash
splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M
SplashはApple Silicon(M3以降、macOS 26.4以降)向けのエンジンです。DFlash 2ドラフトを自動的に選択します。
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
# NVIDIA CUDA
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON
cmake --build build -j
# Apple Silicon
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=ON
cmake --build build -j
./build/bin/llama-server \
-hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \
-hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \
--spec-type draft-dflash \
--spec-draft-n-max 7
git clone https://github.com/ollama/ollama.git
cd ollama
git fetch origin pull/17865/head:dflash2
git switch dflash2
cmake -B build .
cmake --build build --parallel 8
TARGET="$(hf download mlx-community/Qwen3.8-27B-4bit)"
DRAFT="$(hf download incoai/Qwen3.8-27B-DFlash2)"
printf "FROM %s\nDRAFT %s\n" "$TARGET" "$DRAFT" > Modelfile
./ollama create qwen38-dflash2 \
--experimental \
--draft-quantize int4
./ollama serve
sleep 2
./ollama run qwen38-dflash2 --think high
DFlash 2サポート付きのプリビルドoMLXをダウンロードしてインストールしてください。
DFlash 2でQwen3.8-27Bを実行するには:
- oMLX モデルダウンローダーを開き、以下をダウンロードします:
- モデルマネージャーを開き、
mlx-community/Qwen3.8-27B-4bitを編集します。DFlashを以下の設定で構成します:- DFlash: 有効
- ドラフトモデル:
incoai/Qwen3.8-27B-DFlash2 - ドラフト量子化: 有効
- ランタイムブロックサイズ:
5 - 検証モード:
dflash
- 設定を保存し、ターゲットモデルをロードします。
正しいトークンはすでにそこにあります
DFlashは各位置を独立して並列に予測します。各選択はそれ自体で妥当です。しかし、それらが互いに適合するようには何もしていません。そして、不整合なブロックは検証で短縮されます。最近の方法、例えばDominoやDSparkは、シーケンシャルヘッドで各位置のフルボキャブラリ分布を書き換えることで整合性を購入します。しかし、その高価な自己回帰的な修正は本当に必要なのでしょうか?
いいえ。証拠はDFlash自身の候補リストにすでにあります。最初の位置を取り上げましょう。DFlashのトップピックは85.4%の時間で正しいですが、正しいトークンは99.5%の時間でトップ16の候補に含まれています。トップピックが間違っていても、正しいトークンは通常リストにあります。
| メトリック | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 受入長 |
|---|---|---|---|---|---|---|---|---|
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| Recall@1 | 85.4% | 80.3% | 79.4% | 78.3% | 77.5% | 75.9% | 72.9% | 4.27 |
| Recall@16 | 99.5% | 97.3% | 94.8% | 92.6% | 90.8% | 89.4% | 87.8% | 6.79 |
表1. 各ドラフト位置でのRecall@1(トップピックが正しい頻度)とRecall@16(正しいトークンがトップ16に含まれる頻度)、前のすべての位置が正しいことを条件とします。受入長には、検証者の次のトークンが含まれます。5層Qwen3-4B DFlashをGSM8Kで評価。
トップ16から常に正しい候補を選択するオラクルがあれば、受入長は4.27から6.79に向上します。そのギャップは純粋な選択ヘッドルームです。候補の中から正しいパスを選択するだけで済みます。
図1.セレクターが1サイクルで動作する様子。DFlash単独では、各位置はトップピックを保持します。ここでは2つの隣接する位置が同じ単語を選択し、その繰り返しは検証で死にます。DFlash 2は各位置のトップ候補を保持し、セレクターはそれらを横断する整合性のあるパスをトレースします。ここでは、ブロック全体が生き残ります。
軽量パスセレクター
整合性はほとんど局所的です。候補の適合性は主に直前のトークンに依存するため、隣接ペアをスコアリングするだけで十分です。DFlash 2は各位置でトップ16の候補を保持し、すべての隣接ペアをスコアリングします。先行者 a と現在の候補 b に対して、
$$S_t(a,b) = U_t(b) + \langle A(a) \odot H(h_t), B(b) \rangle$$
スコアは2つの部分からなります。最初の部分、$U_t(b)$はDFlash自身のロジットです。つまり、ドラフターがbを単独でどれだけ気に入っていたかです。2番目の部分は、bがaにどれだけ適合するかを尋ねます。AとBは各トークンにコンパクトな256次元の埋め込みを与え、2つの埋め込みは、一致のどの部分がカウントされるかを決定するコンテキストゲート$H(h_t)$の下で一致されます。本質的に、これは隣接候補に対する低ランク双線形アテンションです。
スコアリングは完全に並列のままです。各位置のすべての隣接ペアは、追加のバックボーンやLMヘッドパスなしで、一度にスコアリングされます。唯一のシーケンシャルな作業は、事前計算されたスコアに対する最終的なウォークです。最後の検証済みトークンから開始し、貪欲法は各ステップで最良のサクセサーをたどり、サンプリングは同じスコアから描画し、拒否サンプリングは正確なターゲット分布を復元します。
| メソッド | パラメータ | レイテンシ | T = 0 | T = 1 |
|---|---|---|---|---|
| --- | --- | --- | --- | --- |
| DFlash | — | — | 4.27 | 3.78 |
| + DSpark修正 | +77.8M | +9.6% | 4.49 | 4.08 |
| + パス選択(自社開発) | +2.0M | +0.6% | 4.61 | 4.25 |
表2. パス選択のみ(畳み込みなし)での受入長。5層Qwen3-4BをGSM8Kで評価。オーバーヘッドはプレーンDFlashに対する相対値です。パラメータはドラフターに追加され、ドラフト-検証サイクルレイテンシが追加されます。
セレクターは、T=0で0.34トークン、T=1で0.47トークン、DFlashを改善します。DSpark修正を、約40倍少ないパラメータと16倍低いレイテンシオーバーヘッドで両方の設定で上回ります。選択は予測よりも安価です。そしてまだ余地があります。オラクルは6.79に達します。ペアワイズスコアリングは、私たちが考えられる最も単純なセレクターであり、探求すべきことはたくさんあると信じています。
サフィックス減衰は局所的な問題
また、上記のRecallの行の両方がブロックの終わりに近づくにつれて低下することにも気づきました。オラクルでさえ減衰します。完璧な選択でも、精度は最初の位置の99.5%から最後の位置の87.8%に低下します。候補自体が不足しているため、どのセレクターもそれを修正することはできません。これをサフィックス減衰と呼び、これはバックボーンの問題です。
1つの疑念は容量です。5層バックボーンは、ブロック全体にわたる依存関係を維持するには小さすぎる可能性があります。それが正しい場合、深さは後半の位置で最も役立つはずです。そして、それは役立ちます!3層、5層、15層のDFlashモデルは、最初の位置ではほぼ同一であり、ブロックの下で分岐します。しかし、深さは無差別です。10個の追加のアテンションブロックは、すべての場所に容量を追加します。たとえ初期の位置であっても、ほとんど得るものがなかった場所であっても、DFlashを魅力的にする効率の多くを消去します。
図2. GSM8KでのQwen3-4B Recall@1。T=0で、前のすべての位置が正しいことを条件とします。すべてのドラフターは同じセットアップでトレーニングされています。畳み込みモデルはセレクターなしで評価されます。その畳み込みはパラメータを3%追加し、サイクルレイテンシを0.7%増加させます。15層の10個の追加レイヤーはパラメータを15.2%増加させます。
| ドラフト位置 | 0 | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|---|
| DFlash 3L | 85.21% | 79.26% | 77.18% | 75.75% | 73.96% | 70.4% | 64.97% |
| DFlash 5L | 85.39% | 80.31% | 79.39% | 78.27% | 77.39% | 76.03% | 72.86% |
| DFlash 15L (パラメータ3倍) | 86.42% | 81.61% | 80.68% | 80.34% | 80.59% | 79.66% | 78.73% |
| DFlash 5L + 畳み込み (+3% パラメータ) | 85.83% | 80.94% | 79.98% | 79.68% | 79.73% | 79.43% | 77.61% |
図2. GSM8KでのQwen3-4B Recall@1。T=0で、前のすべての位置が正しいことを条件とします。すべてのドラフターは同じセットアップでトレーニングされています。畳み込みモデルはセレクターなしで評価されます。その畳み込みはパラメータを3%追加し、サイクルレイテンシを0.7%増加させます。15層の10個の追加レイヤーはパラメータを15.2%増加させます。
私たちはターゲットを絞った修正を求めており、DFlashのアテンションはどこでそれを行うかを示しています。それは2つの仕事を持っています:ブロック前のコンテキストを読み、ブロック内の依存関係をモデル化します。しかし、後者への投資はますます少なくなっています。アテンションのブロックのシェアは、レイヤー1の30%からレイヤー5の8%に減少し、残りは数個のヘッドに集中します。そこで、仕事を引き受けます。専用モジュールがブロック内の作業を行い、アテンションはコンテキストの読み取りを続けます。
図3. 5層Qwen3-4B DFlashにおけるヘッドごとのブロック内アテンション。明るいセルはドラフトブロックに多くのアテンションを費やすヘッドを示しています。後期のレイヤーでは、ブロック内質量が減少し、少数のヘッドに集中します。
軽量ローカル畳み込み
ブロック内の作業は、そもそも短距離です。ブロックは4〜16トークンしかスパンせず、最もタイトな依存関係は隣接する間にあります。自然な演算子は短い畳み込みです。2つのタップを持ち、1つは現在の位置に、もう1つは1つ前の位置に到達し、コンテンツに適応する重みを持っています。Canon Layers、Dynamic Short Convolutions、Convolution for Large Language Modelsに続き、各アテンションおよびフィードフォワードサブレイヤーの前後にこの2タップ動的デプスワイズ畳み込みを挿入します。
$$ \operatorname{Conv}_k(x)_t = k_t,0 \odot x_t + k_t,1 \odot x_t-1. $$
各係数は、学習されたベースカーネルと現在の隠れ状態から計算された小さな補正を組み合わせます。16チャネルごとに1つの補正が共有されます。最初の位置は最後の検証済みトークンの表現を読み込み、それ以降の位置は先行者の表現を読み込みます。すべての位置がまだ並列で計算している間に、情報がブロックを横断します。
図4. 2タップ動的畳み込み。1つは各ドラフターレイヤーのアテンションおよびMLPサブレイヤーの前後に配置されます。その中で、各位置は自身の表現と先行者の表現を混合し、最初の位置は最後の検証済みトークンを読み込みます。
畳み込みはブロックローカルでステートレスであるため、アテンション、LMヘッド、検証を変更せずにDFlashにドロップインできます。
わずか1650万パラメータ(3%)で、畳み込みを持つ5層DFlashは15層DFlashに近づきます。サフィックス減衰を大幅に削減します。畳み込みはドラフト-検証サイクルレイテンシに0.7%を追加します。さらに10個のTransformerレイヤーは15.2%を追加します。レイヤー4および5全体での平均ブロック内アテンションも9.4%から0.5%に低下します。これは、畳み込みがローカル作業を吸収し、アテンションがコンテキストの読み取りに戻ることを一貫して示しています。1つ前の位置に到達するカーネルは、10個の追加レイヤーが購入するもののほとんどを回復します。サフィックス減衰は主に局所的な問題です。
まとめ
これまでのところ、セレクターと畳み込みは別々に測定されてきました。以下の完全な比較でそれらをまとめます。DFlashとDSparkドラフターは、一致したセットアップで自社でトレーニングしましたが、MTPはモデルに付属しています。
Qwen3.5-4B
| データセット | MTP | DFlash | DSpark | DFlash 2 |
|---|---|---|---|---|
| --- | --- | --- | --- | --- |
| GSM8K | 4.78 | 4.99 | 5.69 | 6.20 |
| MATH-500 | 5.04 | 5.42 | 6.20 | 6.76 |
| HumanEval | 4.84 | 5.43 | 5.80 | 6.28 |
| MBPP | 4.16 | 4.49 | 4.96 | 5.41 |
| MT-Bench | 3.90 | 4.26 | 4.77 | 5.20 |
| 平均 | 4.54 | 4.92 | 5.49 | 5.97 |
表3. Qwen3.5-4Bのリクエストあたりの平均受入長。サンプリング:思考有効、温度1.0、top-p 0.95、top-k 20、存在ペナルティ1.5、ロスレス拒否サンプリング付き。
DFlash 2はすべてのベンチマークでリードしています。それらを平均すると、DFlashより1.05トークン(21%)、DSparkより0.48トークン増加します。アップグレードは安価なままです。セレクターと畳み込みを組み合わせても、5層DFlashのドラフト-検証サイクルレイテンシに1.3%しか追加されません。
MATH-500では、ゲインは位置ごとに可視化されます。DFlash 2は最後の位置まで約86%で安定しており、すべてのベースラインはブロックの終わりに6〜9ポイント下回っています。
図5. MATH-500でのQwen3.5-4B条件付き受入率。サンプリングは上記と同じです。
| ドラフト位置 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| MTP | 84.57% | 80.23% | 79% | 78.42% | 78.63% | 78.17% | 77.36% | 77.74% | 77.91% | 76.96% | 78.06% | 77.4% | 77.49% | 77.48% | 77.85% |
| DFlash | 88.35% | 77.7% | 77.8% | 79.45% | 80.3% | 81.12% | 81.22% | 81.07% | 81.29% | 80.28% | 80.64% | 80.29% | 79.56% | 78.77% | 77.48% |
| DSpark | 87.24% | 84.59% | 83.79% | 83.63% | 83.6% | 83.27% | 82.97% | 82.54% | 82.21% | 82.39% | 81.58% | 80.7% | 81.35% | 80.57% | 79.86% |
| DFlash 2 | 88.3% | 85.3% | 84.98% | 84.88% | 85.41% | 85.3% | 85.36% | 85.13% | 85.95% | 85.99% | 86.41% | 86.46% | 86.43% | 86.02% | 86.48% |
図5. MATH-500でのQwen3.5-4B条件付き受入率。サンプリングは上記と同じです。
本日リリースされた2つのドラフター
本日、2つのDFlash 2ドラフターをリリースします。1つはQwen3.8-27B用、もう1つはMetaのMuse Glimmer用です。Qwen3.8-27Bについては、モデルネイティブのMTPパスとコミュニティDSparkドラフターと比較します。
Qwen3.8-27B
| データセット | MTP | DSpark | DFlash 2 |
|---|---|---|---|
| --- | --- | --- | --- |
| GSM8K | 5.02 | 4.36 | 5.46 |
| MATH-500 | 4.72 | 3.92 | 5.28 |
| HumanEval | 3.91 | 3.30 | 4.39 |
| MBPP | 3.99 | 3.51 | 4.79 |
| MT-Bench | 3.74 | 3.01 | 4.10 |
| 平均 | 4.28 | 3.62 | 4.80 |
表4. Qwen3.8-27Bのリクエストあたりの平均受入長。モデルのデフォルトサンプリングとブロックサイズ8を使用し、ネイティブMTPパスおよびコミュニティDSparkドラフターと比較。
MetaのMuse Glimmerについては、モデルに付属する公式DFlashドラフターとコミュニティDSparkドラフターと比較します。
Muse Glimmer
| データセット | DFlash | DSpark | DFlash 2 |
|---|---|---|---|
| --- | --- | --- | --- |
| GSM8K | 5.43 | 5.45 | 6.57 |
| MATH-500 | 5.39 | 5.01 | 6.56 |
| HumanEval | 4.11 | 4.33 | 5.66 |
| MBPP | 3.74 | 4.02 | 5.30 |
| MT-Bench | 3.52 | 3.59 | 4.42 |
| 平均 | 4.44 | 4.48 | 5.70 |
表5. Muse Glimmerのリクエストあたりの平均受入長。モデルのデフォルトサンプリングとブロックサイズ16を使用。DFlashはMetaがモデルに付属する公式ドラフター、DSparkはコミュニティドラフターです。
その差は大きく、両モデルともDSparkより平均で1トークン以上、各モデルの公式ドラフター(Qwen3.8-27BのMTP、Muse GlimmerのDFlash)よりも優れています。これは、Qwen3.8-27Bで2.7〜3.4倍、Muse Glimmerで3.1〜4.6倍の自己回帰デコーディングのスループットに相当します。モデルカードは、タスクと同時実行性ごとの速度向上を詳しく説明しています。
結論
エージェントは、チャットボットが1ヶ月で書くものを1日で書き、デコーディングはそれらのトークンの下にあります。DFlash 2は、自己回帰デコーディングの約3倍の速度、トークンあたりの計算量が約3分の1でデコードし、出力は同じです。
7ヶ月で、DFlashは論文から業界標準となり、350万ダウンロードを超えました。同じ設計の中で、DFlash 2は無料で、1パスあたりさらに1つの完全なトークンをデコードします。これはサービングスタックのコンポーネントの1つにすぎません。推論はそのフロアにはほど遠いです。
Inco AIでは、そのフロアをさらに下げるためにエンドツーエンドのサービングスタックを構築しています。DFlash 2はその最初のピースです。本日、2つのドラフターがHugging Faceで公開されました。
大規模にエージェントをサーブしており、スタックでDFlash 2を評価したい場合、または実行中のモデル(独自のファインチューンを含む)のドラフターが必要な場合は、contact@inco.aiまでご連絡ください。
現在、採用も行っています。このスタックの構築を手伝いたい場合は、私たちに連絡してください。
候補を接続し、並列ドラフトを継続します。
引用
この投稿は以下のように引用してください:
@misc{inco2026dflash2,
title = {{DFlash 2: Keep Drafting Parallel}},
author = {{Inco AI}},
year = {2026},
month = {August},
url = {https://inco.ai/blog/dflash2/}
}
脚注
- Modalの「Speculation Is All You Need」は、投機的デコーディングが低レイテンシサービングにとって重要な最適化であると指摘しています。私たちは彼らの仕事に大ファンであり、DFlashのリリース以来、彼らのサポートと議論に感謝しています。↩
- Googleのブログ投稿「Supercharging LLM Inference on Google TPUs: Achieving 3x Speedups with Diffusion-Style Speculative Decoding」を参照。
- CoreWeaveのブログ投稿「Kimi K2.7 Code Now Available on Serverless Inference with Leading Benchmark Price Performance」を参照。
- Modalの「Speculation Is All You Need」は、投機的デコーディングが低レイテンシサービングにとって重要な最適化であると指摘しています。私たちは彼らの仕事に大ファンであり、DFlashのリリース以来、彼らのサポートと議論に感謝しています。↩
Decodeニュースレター
私たちと一緒にデコードしましょう。
研究、リリース、効率的な推論の最前線に関するアイデアについてループを維持しましょう。
新しいものを公開するときに1通のメール。いつでも購読解除できます。