HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

幅 vs. 深さ:マージンでの推測

Width vs. Depth: Speculating on the Margin (blog.doubleword.ai)

7 pointsby somnial1 コメント

要約

大規模言語モデル(LLM)の推論において、スループットを向上させるための「幅」(バッチサイズを増やす)と「深さ」(トークンを先読みして推測する)のトレードオフについて考察します。特にMoE(Mixture of Experts)ルーティングの特性が、深さが幅よりも有利になる場合があることをデータ分析に基づいて説明しています。

全文翻訳

幅 vs. 深さ: マージンでの推測

楽しい(ある種の非普遍的な楽しさの定義において)面接の質問です。Qwen3.6-35B-A3Bをバッチサイズ11で、単一のGPUで実行していると想像してください。スループットを向上させたいと決めたとします。何らかの理由で、あなたのエンジンは一度に22トークンしか処理できません。あなたは2つの選択肢があります(ドラフトモデルのフォワードパスは無料であると仮定します。バッチ処理のために何かをプリフィルする必要がないと仮定します。シーケンスが十分に短く、KVキャッシュの移動が関係しないと仮定します)。

  1. 22個のランダムなユーザーシーケンスをまとめてバッチ処理することで、バッチサイズ22で実行する。
  2. バッチサイズ11で実行し、11トークン先を推測する — つまり、検証は22ポジション(ちょうどサンプリングされたトークンと1つのドラフト)で機能し、トークンごとの受け入れ率を α とする。

合計で1秒あたりに出力されるトークン数だけを気にする場合、どちらが優れていますか?

ここに sensible な答えがあります。

すべてがメモリバウンドであると仮定すると、α < 1 の場合、バッチサイズを増やすことによってワーキングセットに追加されたトークンが拒否される可能性がないため、バッチ処理は常に優れています。

しかし、モデリングを行うと次のような結果が得られます。

1つの推測シーケンスに2つのポジションを費やすことは、α = 0.9 であっても、グローバルには2つのシーケンスのバッチに費やすよりも、1秒あたりの出力トークンを多く生成します。

どうしてでしょうか?

最初の話: 深さは幅よりも安くなることがある

それを知るために、データを見るべきです(前回の投稿から収集したもの: 各ドラフトモデルの50万回のドラフトラウンドで、ドラフター自身の深度ごとの信頼度と実際にコミットされたトークン数を記録し、さらに各トークンがどのエキスパートを経由したかのキャプチャ — DeepSeek-V4-Flashについても同様のルーティングキャプチャを行いました(すべて specdec-calibration として公開されています)。答えはMoEルーティングにあります。MoEルーティングはLLMのパフォーマンス分析の奇妙な部分です。データの内容が実行される作業に影響を与える場所の1つです。原則として、ランダムデータでのベンチマークを代表しないものにするなど、混乱させる可能性があります。

まず、ルーティングされたエキスパートの実証分布です。以前は、一様なルーティングを仮定していましたが、これはクーポンコレクターの数学を与えます。

驚くほど不均一です!ランク対シェアのカーブにフィットさせると、ランクに対してほぼ指数関数的に減衰します。最も忙しいエキスパートは、公平なシェアの数倍をプルします(トレーニングデータ分布のプロキシメトリックがここにあるのではないかと疑問に思います。エキスパート負荷分散損失での事前トレーニングが与えられた場合、異なるタイプのデータでのエキスパートのバランスによってトレーニングデータの分布を決定できますか?)。それはドメイン、モデル、レイヤーによって異なります。

これだけでは何も説明できません。しかし、テーブル上の2つの選択肢の違いを見てみましょう。2つのランダムに選択されたトークンで作業するか、1つがもう1つに続く2つのトークンで作業するかです。

検証フォワードパスがニューラルネットワークの成長に触れる異なるエキスパートは、3つの方法で異なります。ニューラルネットワークが別々のシーケンス(幅)、ニューラルネットワークが連続するポジションを実行する(深さ)、そして一様なクーポンコレクターです。

したがって、答えはここにあります。バッチサイズ1ではメモリバウンドであり、2ポジションの推測実行を検証することは、2番目のシーケンスを追加することよりも少ないエキスパートウェイトを移動させます。それは共同活性化によって行われます — 推測された実行はランダムに選択されたデータよりも類似しているため、より多くの同じエキスパートを活性化します(Joshはバッチ処理のための共同活性化を回復しようと素晴らしい仕事をしました)。α = 0.9 で推測されたトークンの10%を破棄したとしても、深さは幅に勝ちます。

これはトイ問題ですが、洞察をどのように活用できるかを考えるのは興味深いです(実際のエンジンでは、ドラフトモデルのコストによって洗い流されます。KV読み取りでバウンドされる長いシーケンスでは戻ってきますが、ここでストーリーを伝えるために深さと幅を制御するのは難しくなります)。実際には、より大きなバッチサイズで実行し、エキスパートの活性化はバッチ全体に飽和し、効果は洗い流されるはずです。しかし、α税はそうではありません。推測された各トークンは、依然として拒否のリスクを負います。すべてのシーケンスに均等に支払う必要があるのでしょうか?それとも、支払う可能性が高い場所にのみ深さを費やすことができるのでしょうか?

2番目の話: 深さをどこに費やすべきか

推論エンジンのライフサイクル全体で形成されるバッチは均質ではありません。デコードリクエストの中には、他のものよりも推測しやすいものがあります。ドラフターがどれだけ自信を持っているかの感覚を得ることができれば、必要な場所にのみ深さを費やすことができ、ドラフター(EAGLEのような、トークンを逐次提案するドラフトシステム。DFlashではトークンはすべて取得されます)と検証者の両方の計算を節約できます。この節約分は、他の場所での推測、またはバッチへのシーケンスの追加に費やすことができます。

最初の質問は、受け入れられるトークンの数にシーケンス間でどれだけのばらつきがあるかです。もしばらつきがなければ、これは全くやる価値がありません。実際、ばらつきは大きいことが判明しました。コミットされたトークンの数は平均値の周りにクラスター化されていません。特定のラウンドでは、ドラフターはほとんどすべてをドラフトするか、すぐに間違えるかのどちらかです。ラウンドは「ほとんどミス」と「クリーンなスイープ」に分かれます(探求すべき質問: この最大ドラフト長でのスパイクは、モデルがさらに進むことができたが、できなかったという事実を代表しているのでしょうか?)。

バッチ全体で単一の固定深度は、これら2つの集団の間で妥協する必要があります。簡単なラウンドをキャッシュインするのに十分深く、ほとんどすべてが拒否されるリクエストに検証時間を浪費しすぎないように浅くします。

実際、検証者が実行される前に、ドラフターはすでにそれがどのようなラウンドであるかについて意見を持っています。以下に、ドラフター自身の深度ごとの信頼度(累積積の合計)が示唆する受け入れ長を、実際にコミットされた総長に対してプロットします。対角線は「完全にキャリブレーションされている」ことを意味します。つまり、実証された受け入れトークンは、ドラフターの信頼度が予測したものと同じです。対角線の下では、ドラフターは過信していました。上では、十分な自信がありませんでした。

MTP
DFlash

対角線に沿って多くの青い線があり、それは私たちがドラフトポリシーを改善するために使用できる無料の信号です。

どうすればそれができるでしょうか?

ラウンド ii の期待コミットトークンを、その深度ごとの信頼度 a_k^i からの深度 γ で書き出します。

$m_i(\gamma) = 1 + \sum extbackslash_{d=1} extbackslash^{}\gamma \prod extbackslash_{k=1} extbackslash^{d} a_k^i$

均一なポリシーは、バッチ全体を1つの深度に制約し、一度最大化します。コミットされたトークンを C(B, γ) で割ったものです。これはステップの壁時計コストです(コスト)。

$\gamma^\star = \arg\max extbackslash_{\gamma} \frac{\sum extbackslash_{i} m_i(\gamma)}{C(B, \gamma\mathbf{1})}$

自信度ゲーティングのアイデアは、信頼度がバッチ内のシーケンスごとであるため、より良くできるということです。シーケンスごとのゲーティングでは、オブジェクトは深度のベクトル γ = (γ₁, ..., γB) です。

$\mathbf{\gamma}^\star = \arg\max extbackslash_{\mathbf{\gamma}} \frac{\sum extbackslash_{i} m_i(\gamma_i)}{C(B, \mathbf{\gamma})}$

したがって、各ステップで、ドラフトモデルの分布の下でどれほど可能性が低いかに基づいて将来のトークンを適切に割引くことで、γ ベクトルを求めます。実際には、argmax を完全に解くのは難しすぎます。ライブ信頼度から単一のバッチ全体の γ を選択し、次にシーケンスごとに貪欲にトリミングします。これは、シーケンスを切り詰めることが期待スループットに利益をもたらすかどうかによります。γ がこのように選択されたシミュレーションを実行します。

3つの段階での、最適な均一深度に対するゲイン。1つのバッチ全体の深度がライブ信頼度から選択され、シーケンスごと(ラグ付き)の深度、そして完璧なキャリブレーション(ポリシーが事前に受け入れられるとわかっているトークンのみをドラフトするオラクルのケース)です。シミュレーション: B200 上の Qwen3.6-35B-A3B、デコードのみ。

MTP — ラグ付き検証 + ドラフト
DFlash — ラグ付き検証のみ

1つの幅ゲート + ラグ付き幅 + 完璧なキャリブレーション

ゲインは小さなバッチで大きくなります。そこでは、エキスパートクーポンコレクターが誤った推測を高くつきます。バッチが大きくなるにつれて、バッチ平均信号は洗い流され、信頼度から選択されたグローバル γ は固定されたものを打ち負かすのをやめます。なぜなら、より大きなバッチはより異質だからです。次に、推測がまだメモリバウンドであるモデルの部分でのみ役立つコンピューティングバウンドの崖の周りでゲインが再び現れます。

シミュレーションは、信頼度ゲーティングされた推測が、さまざまな動作点で実際のスループットに見合う価値があることを示しています。ただし、エンジンは効率的なラグ付き推測(1つの検証内で異なるドラフト深度)をサポートする必要があるという欠点があります。今日の vLLM と SGLang はこれをうまくできません。

したがって、深さをどこに費やすべきかという答えは、ドラフターがそれをどこに費やすべきだと考えているかに基づいて、不均一に、ということです。

結論

推測デコーディングは本当にすべてあなたが必要なものです。推論最適化において、他にうまく調整されたスペキュレーターのスループットゲインに匹敵するものはありません。

そして、機会は失われていません。デコード時の最新のLLMは、ハードウェアにとって困難になるようにほぼ設計されています。MoE、アテンション、オートリグレッシブサンプリングはすべて、シリコンが望むFLOPsを駆動することを妨げます。トレーニングの論理は、余剰FLOPsを備えたモデルを構築し続けることを示しているにもかかわらず、デコード時には再びメモリの壁に再び直面しています。

1週間前は生きていたアイデアが今日では時代遅れになるほど、実現は急速に進んでいます。