Dust: バックプロパゲーションなしでのトランスフォーマー事前学習
Dust: Pretraining Transformers Without Backpropagation (qlabs.sh)
要約
本研究では、バックプロパゲーションに匹敵する性能を持つ、初のゼロ次法によるトランスフォーマー言語モデルの事前学習手法「Dust」を提案しています。Dustは各トークンで独立に活性化を摂動させることで、計算量を大幅に削減しつつ、大規模なモデルや計算リソースが豊富な環境ではバックプロパゲーションを超える可能性を示唆しています。
全文翻訳
Dust: バックプロパゲーションなしでのトランスフォーマー事前学習
2026年10月 連絡先 s@qlabs.sh · コード ·
[画像: 手法の説明アニメーション]
TL;DR
- バックプロパゲーションに匹敵する性能を持つ、初のゼロ次(zeroth-order)手法を提案します。Dustは、各トークンで独立にアクティベーション(ノード摂動)を摂動させるため、各トークンは仮想的な個体メンバーとなり、1回のフォワードパスでそれらをすべて並列評価します。
- Dustは、大規模な個体数(すなわち、相当な計算量)においてバックプロパゲーションを密接に近似し、複数の設定ではそれを上回ることさえあります。これは、計算リッチな状況下ではバックプロパゲーションを超える可能性があることを示唆しています。
- Dustは、重み空間でのESよりも桁違いに効率的です。100万トークンから、Dustは、我々の外挿に基づくと、最先端のES手法であるEGGROLLのトランスフォーマー実装よりも10^3から10^4倍効率的です。
- ゼロ次手法は、大規模ネットワークにはスケールしないと広く信じられています。驚くべきことに、我々は、より大きなモデルの方が個体数効率が高いことを見出しました。具体的には、2億4300万パラメータのモデルが、120倍小さいモデルよりもほとんどの個体サイズで優れた性能を発揮します。
- Dustの勾配推定値は、個体数が増加するにつれてバックプロパゲーションのものとより良く一致し、テストしたすべてのスケール(最大10億トークン)で良好な一致を保っています。これはスケーリングにとって有望です。
目次
TL;DR 1 はじめに 2 手法 2.1 アクティベーション空間摂動 2.2 クレジット割り当て 2.3 干渉とチューニング 3 バックワードパスなしでの事前学習 3.1 セットアップ 3.2 主な結果 3.3 Adam下でのDust 4 高次元空間での探索 4.1 過剰パラメータ化 4.2 バックプロパゲーション風勾配の出現 5 結論 6 関連研究 参考文献 付録
1 はじめに
ディープラーニングは、トランスフォーマーベースの言語モデルを含む現代のニューラルネットワークを訓練できる唯一のクレジット割り当てアルゴリズムであるバックプロパゲーションを中心に構築されてきました。バックプロパゲーションは微分可能性を必要とし、一次勾配を生成するため、ディープラーニングのアーキテクチャ、オプティマイザ、およびハードウェアはこの制約を中心に共進化してきました。
しかし、世界で利用可能な計算量が増加するにつれて、微分可能性やバックプロパゲーション、高階勾配の近似といった帰納的バイアスよりも、探索に基づいた、より一般的で総当たり的な学習アルゴリズムを好むようになるかもしれません。「苦い教訓」(Sutton, 2019) は、計算量とともにスケールする一般的な手法が最終的に勝利するというものであり、AlphaGo Zero (Silver et al., 2017) がその明白な例です。人間のデータでAlphaGoをブートストラップすることは、ネットワークが初期段階でより速く学習するのを助けましたが、大量の計算により、純粋に自己対戦したネットワークがそれを追い越しました。同様に、微分可能性とバックプロパゲーションは、学習を効率化する低計算量レジームでは良い帰納的バイアスかもしれませんが、高計算量レジームでは、機能するアーキテクチャの空間を制限します。アーキテクチャ内であっても、勾配ベースの手法は損失ランドスケープの最適な探索に失敗します (Liu et al., 2020)。これは、現在のニューラルネットワークが汎化するために大量のデータを必要とする理由でもあるかもしれません。探索に基づいた、より柔軟なクレジット割り当てアルゴリズムは、はるかに優れた汎化に向けた重要なステップとなるでしょう。
本稿では、バックプロパゲーションを、より総当たり的な計算に大きく依存し、解析構造にはあまり依存しない学習アルゴリズムに置き換えることを目指します。これをDustと名付けます。Dustはゼロ次最適化アルゴリズムであり、アクティベーションを摂動させ、各摂動を損失をどれだけ低下させたかで評価し、個体数にわたる報酬付き摂動を平均化して勾配を推定します。従来の重みを摂動させるES手法 (Salimans et al., 2017)、例えばEGGROLL (Sarkar et al., 2025) は、個体数とともにスケールしますが、個体数のスケーリングは、各メンバーを具体化して評価する必要があるためコストがかかります。我々は、重み空間を完全にバイパスし、代わりにアクティベーションを摂動させる(ノード摂動 (Werfel et al., 2003; Widrow and Lehr, 1990) のように)「仮想個体」の概念により、これらのコストを両方とも排除します。我々はこれを各トークンで独立に行うため、各トークンがメンバーとなり、1回のフォワードパスでそれらをすべて並列評価します。
アクティベーションは、重みよりも探索するのに興味深い空間です。メカニズム的解釈可能性は、言語モデルにおける推論がアクティベーションに存在することを示しています (Gurnee et al., 2026; Lindsey et al., 2025)。これは、このアプローチがトレーニングを潜在的な推論の探索に変える可能性があることを意味します (Vegesna and Dahal, 2025)。次に、アクティベーション空間の摂動を、トランスフォーマーブロック内の異なるレイヤータイプに異なるトークンレベルの報酬を割り当てる非常に一般的なクレジット割り当てルールとペアにします。これらの2つのバイアス、および干渉の回避のようないくつかの実装上の詳細と効率化策が、アルゴリズム全体を構成します。
本稿では、以下の貢献を行います。
- トランスフォーマー言語モデルの事前学習において、バックプロパゲーションに匹敵する性能を持つ初のゼロ次手法を提案します。大規模な個体数では、Dustは複数の設定でバックプロパゲーションを上回り、計算リッチな状況下ではバックプロパゲーションを超える可能性があることを示唆しています。
- Dustは、重み空間のESよりも桁違いに効率的です。100万トークンから、Dustは、我々の外挿に基づくと、EGGROLLのトランスフォーマー実装よりも10^3から10^4倍効率的です。
- 従来の考え方に反して、より大きなモデルの方が個体数効率が高いことが多く、より大きな個体数を利用できます。これは、過剰パラメータ化を、より大きな探索空間と潜在的に優れたジオメトリとして捉え直す視点を提供します。
- Dustの勾配推定値は、個体数が増加するにつれてバックプロパゲーションのものとより良く一致し、テストしたすべてのスケール(最大10億トークン)で良好な一致を保っています。これはスケーリングにとって有望です。
本稿の目標は、私たちが考えうる最も困難なタスクであるトランスフォーマーの事前学習において、バックプロパゲーションに匹敵する探索ベースのクレジット割り当てアルゴリズムの基礎を築くことです。現時点でDustを実用的な代替手段にするほどの計算効率の向上は試みていません。また、それが可能にする新しい種類のニューラルネットワーク(例えば、ループ内に外部プログラムを持つネットワークや、バックプロパゲーション・スルー・タイムが訓練に苦労する多数のステップでループするトランスフォーマー)も訓練していません。これらはすべて将来の研究に委ねられます。
2 手法
Dustは以下のように機能します。各線形層の出力にガウスノイズを加え、各トークンで独立に摂動させ、フォワードパスを実行し、各トークンのノイズをそのトークンでの損失の変化で評価します。報酬付きノイズをドロー(draws)全体で平均化したものが、層の出力における推定誤差となり、その層の入力との外積が重み勾配となります。アテンション内部(query, key, value, gate, value embedding)は、そのトークンでの損失直接ではなく、アテンション出力における推定誤差との内積で評価されます。中心的な考え方は、重み空間ESが1回のフォワードパスで1つの個体メンバーを評価するのに対し、我々はトークンごとに1つのメンバーを並列評価し、メンバーは隠れ状態にノイズを加えることで具体化され、これは安価です。したがって、最新のトランスフォーマーでは、1回のフォワードパスで、重み空間ESよりも少なくとも3桁大きい個体数を評価します。各コンポーネントを以下に詳細に説明します。
2.1 アクティベーション空間摂動
進化戦略のボトルネックは個体数です。各メンバーは、重みの独自の摂動コピーと独自のフォワードパスを必要とします。EGGROLL (Sarkar et al., 2025) は低ランク摂動でコピーを安価にしますが、各メンバーは依然としてバッチの1つのシーケンス要素であるため、個体数は許容できるフォワードパス数によって制限されます。我々は代わりにアクティベーションを摂動させ、各トークンで独立に行います。そのトークンでは、ネットワークは、重み空間に摂動が決して具体化されることなく、層の重みに低ランク摂動が適用されたかのように振る舞います。これを仮想個体と呼びます。トランスフォーマーのシーケンスは数千トークンを持つため、1回のフォワードパスで、1つではなく、シーケンスあたり数千メンバーを評価します。モデル内のすべての重みは、通常の重み空間ESによって訓練される2L個の残差ミキシングスカラーを除き、この方法で訓練されます。
重みではなくアクティベーションにノイズを加えることは、ノード摂動 (Widrow and Lehr, 1990) であり、その一般的な議論は次元性 (Ren et al., 2023; Werfel et al., 2003) です。層の出力は $d extsubscript{\mathrm{out}}$ エントリを持ち、その重みは $d extsubscript{\mathrm{out}} \times d extsubscript{\mathrm{in}}$ を持つため、アクティベーションノイズははるかに小さい空間に存在します。ナイーブには、次元性の議論は、多くのトークンにわたる大きなアクティベーションを持つトランスフォーマーには当てはまりません。1つのシーケンス上のノイズは $T \times d extsubscript{\mathrm{out}}$ テンソルであり、$T \ge d extsubscript{\mathrm{in}}$ の場合、重み行列以上のエントリを持ちます。しかし、トークンごとの独立した摂動と報酬により、アクティベーションを摂動させることで得られるのは、バッチ軸とは直交する、トークン軸に沿った新しい効率的な個体群です。これはEGGROLLがすでに依存しているものです。
2.2 クレジット割り当て
線形層 $y extsubscript{t} = W x extsubscript{t}$ に対して、すべてのトークンでその出力をジッターさせ、$y extsubscript{t} \to y extsubscript{t} + \sigma a extsubscript{t}$ (ここで $a extsubscript{t} \sim \mathcal{N}(0, I)$ および $\sigma$ はノイズスケール)とし、フォワードパスを実行します。各トークン $s$ で、中心化された損失減少 $c extsubscript{s} = \tilde{\ell} extsubscript{s} - \ell extsubscript{s}$ を計算します。ここで、$\ell extsubscript{s}$ は摂動された損失であり、$\tilde{\ell} extsubscript{s}$ は同じバッチフォワードで評価されたドロー全体でのそのトークンにおける平均摂動損失です。トークン $t$ におけるジッターの報酬は、トークン $t$ での損失減少と、減衰 $\gamma$ を用いた、ジッターがアテンションを通じて到達するそれ以降のトークンでの損失減少の合計です。
$$r extsubscript{t} = \sum extsubscript{s \ge t} \gamma^{,s-t} c extsubscript{s} .$$ (1)
$\gamma = 0$ の場合、ジッターはそのトークンのみで評価されます。どのレイヤーが将来のトークンを見るかは、セクション 2.3 のチューニングに任せます。すべてのトークンの独立したジッターは1回のドローであり、個体数は $K$ ドローです。ドロー全体で平均化された報酬付きノイズ
$$\hat g extsubscript{t} = -\frac{1}{K\sigma}\sum extsubscript{i=1}^{K} r extsubscript{t}^{(i)} a extsubscript{t}^{(i)}$$ (2)
は、層の出力における推定誤差であり、フォワードパスが既に計算した層の入力との外積をトークン全体で合計したものが、重み勾配です。
$$\widehat{G} extsubscript{W} = \sum extsubscript{t} \hat g extsubscript{t}, x extsubsubscript{t}^\top .$$ (3)
バックプロパゲーションは、同じ入力との同じ外積を形成します。唯一の違いは、バックプロパゲーションは連鎖律から出力誤差を得るのに対し、我々は個体群から得るという点です。埋め込み層 $x extsubscript{t}$ はワンホットエンコーディングされているため、外積は $\hat g extsubscript{t}$ をトークンの行にスキャッターアッド(scatter-add)する操作です。
個体数に制限がない場合、上記の推定器がアルゴリズム全体であり、すべての摂動が1回のフォワードパスに入ることができます。各ドローの報酬付きノイズは、勾配と、方向を持たない誤差の合計です。ドロー全体では、勾配は線形に加算され、誤差は平方根として加算されるため、個体数が増加するにつれてそれらの比率は低下し、極限では干渉は消滅します。
2.3 干渉とチューニング
許容できる個体数では、主なコストは干渉です。つまり、1回のフォワードパスで多くのトークンで多くのレイヤーをジッターさせるため、あるトークンのノイズを評価する損失の変化は、そのパスの他のすべての摂動の効果も拾ってしまいます。我々は3つの方法でこのような干渉を減らします。第一に、異なるレイヤータイプは別々のフォワードパスでジッターされ、それぞれに独自のノイズスケールを持ち、各ブロックは独自のパスを取得します。これらのパスは、クリーンなフォワードパスがキャッシュされ、ブロック $l$ のドローはブロック $l$ 以降のみを再実行するため、完全なフォワードパスよりも安価です。第二に、アテンション内部(query, key, value, gate, value embedding)は個別にジッターされます。トークン損失はそれらのジッターをほとんど認識しないため、以下に説明するように、アテンション出力経由で評価されます。第三に、言語モデリングヘッドはキャッシュされたロジット上で直接ジッターされ、クロスエントロピーとボキャブラリのスラブのみをドローごとに再評価するため、フォワードパスのわずかな割合しかかからず、ヘッドがはるかに大きな個体数を実行できるようになります。
アテンション内部については、キャッシュされたクリーンなアクティベーションで、ジッターによるブロックのアテンション出力のみを再計算します。ジッターを、推定されたアテンション出力勾配との整合性でスコアリングします。
$$c extsubscript{s} = -\langle \hat g extsubscript{s}, \Delta o extsubscript{s} \rangle ,$$ (4)
ここで、$\Delta o extsubscript{s}$ はジッターがトークン $s$ のアテンション出力に与える変化であり、$\hat g extsubscript{s}$ はその出力の推定誤差(式 2)です。報酬は、損失減少の代わりにこれらのスコア(ヘッドごとに計算)を用いた式 1 です。
ハイパーパラメータ、各レイヤータイプのノイズスケール、アテンション内部のクレジット減衰、および各レイヤーに割り当てられる個体数の割合は、2つの方法でチューニングできます。1つは、各設定で少量のトークン予算で訓練し、損失を最も低下させた設定を保持するグリッドサーチです。これは信頼性がありますが、高価です。もう1つは、単一バッチでの推定値とバックプロパゲーション勾配とのコサインを最大化するグリッドサーチであり、これは全く訓練を必要としません。単一バッチでのコサインが大きいことが、必ずしも訓練後に損失を低下させるとは限らないため、コサインは候補を選択し、訓練が決定します。いずれにしても、チューニングは主に一度限りのコストです。なぜなら、それが見つける設定は、トークン予算と個体数のサイズ全体でほとんど一般化するからです。ただし、例外が1つあります。10Mおよび20Mトークンでの最大の個体数では、より遅いクレジット減衰とアテンション側にドローをシフトすることが依然として有効です(付録 F)。したがって、この探索は、単一実行の設定ではなく、手法の一般的な原則を回復します。予想通り、キー、バリュー、ゲート、バリュー埋め込み(これらはそれらにアテンドする後続のトークンによって読み取られ、1に近い$\gamma$ を取得します)を除き、すべてのレイヤーは将来のトークンからのクレジットを必要としません。
3 バックワードパスなしでの事前学習
3.1 セットアップ
FineWebデータセット上で、4096トークンのBPEトークナイザー、16kトークンのバッチ(2048トークン×8シーケンス)、1エポック、一定学習率でのSGDとモメンタムを使用し、GPTスタイルのトランスフォーマーを訓練します。ベースモデルは8層、幅512です。すべての手法は同じプロトコルと3つのシードを取得し、各セルで個別にチューニングされます。Dustとバックプロパゲーションは、1つのモメンタムと学習率グリッドを共有します。EGGROLLは同じトランスフォーマーアーキテクチャ(名前はEGGROLL-Transformer)で実装し、ステップサイズ、モメンタム、ノイズスケール、フィットネスシェーピングの独自のグリッドでチューニングします。検証セットとテストセットはそれぞれ544シーケンスのホールドアウトセットです。最良の検証チェックポイントでのテスト損失を報告します。
個体数は、重み空間ベースラインであるEGGROLL (Sarkar et al., 2025) についてはバッチのフォワードパス数でカウントし、Dustについてはドロー数でカウントします。ドローは、選択されたレイヤーのすべてのトークンにアクティベーションをジッターさせ、トークン損失で評価するもので、個体数 $K$ は更新あたりのドロー数です。ドローはフォワードパスよりもわずかに安価です。なぜなら、クリーンなフォワードパスはキャッシュされ、ブロック $l$ をジッターするドローは $l$ 以降のブロックのみを再実行するからです。 $K$ にはヘッドとアテンション内部のドローは含まれていません。これらは更新のFLOPsのわずかな割合です(付録 E)。全体として、256以上の個体数から、Dustは同じ個体数のEGGROLLよりも少ない計算量を使用するため、比較はEGGROLLに有利です。
3.2 主な結果
[図1: 1Mおよび10Mトークンでのトレーニング中の検証損失。Dust(紫)、同じ個体数のEGGROLL(グレー)、バックプロパゲーション(黒、破線)。X軸は消費されたトークン予算の割合。シェードは個体数(64、1k、16k)、濃いほど大きい。曲線は3つのシードの平均。]
[図2: 各トークン予算のパネルごとに、Dust(紫)とEGGROLL-Transformer(グレー)の、個体数に対する検証チェックポイントでのテスト損失。点は表 1 のセル、点線黒線は同じ予算でチューニングされたバックプロパゲーション、破線はDustの5つのセルを通るべき乗則フィット。100kパネルは独自のY範囲を持ち、他の3つは共有します。20Mでは、破線紫線はフィットの限界値4.43であり、まだ低下中のラダーからの外挿です。$\infty$ のバーはその95%ブートストラップ区間であり、シードは各個体数でリサンプリングされます。]
トークン予算を100kから20Mまで、個体数を64から16kまでスイープし、バックプロパゲーションは各予算で同じグリッドでチューニングされます(表 1、図 2)。100kおよび1Mトークンでは、Dustはバックプロパゲーションを下回り、100kでは数百ドロー、1Mでは数千ドローからとなります。10Mおよび20Mトークンでは、個体数が増加するにつれてバックプロパゲーションとのギャップが縮小します。10Mではラダーは平坦化し、フィットした限界値はバックプロパゲーションのわずかに上に位置します。20Mではラダーは16kドローでもまだ低下しています。そのべき乗則フィットは限界値を4.431(95%区間 3.89~4.58)としますが、これはバックプロパゲーションの4.633より低いですが、ラダーがまだ低下しているためフィットは緩く制約されており、個体数が増加するにつれてギャップが閉じ続ける証拠として読み取ります。これは測定された限界値ではありません。
重み空間ESははるかに効率が悪いです。個体数が256倍でも、16kのEGGROLLは64ドローのDustに到達しません。100kトークンでは0.02以内に収まり、1M、10M、20Mでは0.4~0.6上を維持します(図 2)。EGGROLLのラダーは16kでもまだ急激に低下しているため、個体数が増えても改善し続けるでしょうが、ラダーを継続すると、Dustの最小個体数に合わせるために必要な個体数は、数千から約 $10^4$ 倍になります(付録 D)。図 1 は、トレーニング中のギャップも示しています。1kおよび16kドローのDustは、バックプロパゲーションの曲線全体に近く留まりますが、すべてのEGGROLL曲線は早期に遅れを取り、64ドローのDustよりもはるかに高い位置で平坦化します。
3.3 Adam下でのDust
[図3: 1Mトークン、Adam使用時のテスト損失対個体数。Dust(紫)、EGGROLL(グレー)、バックプロパゲーション(黒、点線)。紫の曲線は、実行された個体数に対するべき乗則フィットであり、点線紫線はその限界値5.248で、バックプロパゲーションより下です。$\infty$ のバーは限界値の95%ブートストラップ区間5.17~5.30で、シードは各個体数でリサンプリングされます。Dustとバックプロパゲーションは5つのシード、EGGROLLは3つのシードの平均。DustのAdam実行はトークン埋め込みに約1.4倍のドローを与えます。]
論文の残りの部分では主にSGDに焦点を当てていますが、Adamを使用して3つの手法すべてで1Mトークンラダーを繰り返します(図 3)。バックプロパゲーションの学習率、Dust独自のハイパーパラメータ、EGGROLLのステップサイズ、モメンタム、フィットネスシェーピングを各個体数で再チューニングします。興味深いことに、EGGROLLはAdamからほとんど恩恵を受けず、チューニングされたAdamラダーは表 1 のSGDラダーの0.01以内に収まります。しかし、AdamはDustとバックプロパゲーションの両方を改善し、ラダーの形状は以前と同様になります。Dustは大きな個体数でバックプロパゲーションに近づき、その限界値の区間はバックプロパゲーションの下に位置します(図 3)。したがって、Dustの推定値は、現代のオプティマイザと既に連携しています。現代のオプティマイザはバックプロパゲーション勾配のために最適化されているにもかかわらずです。オプティマイザとDustの共進化がさらなる改善につながる可能性があり、これは将来の研究に委ねられます。
4 高次元空間での探索
4.1 過剰パラメータ化
[表:4つのモデルサイズ(2M~243Mパラメータ)における、固定10Mトークン、個体数スイープでのテスト損失。各行のテスト損失は、その行で最低のものを太字で示しています。]
従来の見方では、ゼロ次手法は大規模ネットワークを訓練できないとされています (Lillicrap et al., 2020)。1回のフォワードパスは単一のスカラー値を返すため、勾配推定値の分散は摂動された次元数とともに増加し、それに伴って有用な更新に必要な個体数も増加します (Nesterov and Spokoiny, 2017; Werfel et al., 2003)。我々は、パラメータ数が120倍の範囲にある4つのサイズ(2M、7M、38M、2億4300万パラメータ)を、固定10Mトークンで個体数スイープ全体で訓練することにより、これを直接テストします(図 4)。我々は、従来の考え方に挑戦する2つの驚くべき観察を行いました。
- より大きなモデルの方が、個体数効率が高いことが多い。 256から始まるすべての個体数で、損失は2Mから7M、38Mパラメータへと低下し、2億4300万モデルはわずかに悪いだけです。テストした最小の個体数でさえ、120倍大きいモデルは同程度の性能であり、他のすべての個体数でより優れています。ある点までは、より大きなモデルはそのサイズから、分散による損失よりも多くの恩恵を受けます。しかし、我々が観察しているのは、同じ個体数とモデルサイズでのバックプロパゲーションへのギャップがモデルサイズとともに増加するということです。ただし、これはほとんど認識できず、特に大きな個体数サイズでは顕著です。
- 小さなモデルが平坦化する場所で、より大きなモデルは個体数とともに改善し続ける。 小さなモデルはより早く飽和しますが、大きなモデルは大きな個体数とともに改善し続けます。1kドローを超えると、38Mおよび2億4300万モデルは、2Mおよび7Mモデルよりも約30%多く改善し、どんなに個体数を増やしても、非常に小さなモデルは競争力を持つようにはなりません。
したがって、モデルサイズを考える正しい方法は、探索空間のサイズとジオメトリとしてです。より大きなモデルは、探索するためのより大きな空間を持ち、それが大きな個体数を活用することを可能にし、潜在的に、より良く条件付けされた損失ランドスケープジオメトリを持つため、探索が小さな個体数でさえより効果的である理由かもしれません。
4.2 バックプロパゲーション風勾配の出現
[図5: 同じバッチでの推定勾配とバックプロパゲーション勾配とのコサイン。レイヤータイプごと(レイヤーの平均。MLPは入力と出力射影を平均化)。個体数に対して、Dust(10M、100M、1Bトークン)とEGGROLL(10Mトークン、同じ計算量バジェット)。Dustの線は測定値を通るフィット法 $\cos(K) = c extsubscript{\max}/\sqrt{1 + c/K}$。EGGROLLの線は測定値を結びます。点線垂直線はラダーが訓練する16k個体数です。]
我々は、10Mから1Bトークンまでの2桁のトークン数にわたるバックプロパゲーションで訓練されたチェックポイント上で、レイヤータイプごとおよびレイヤーごとに、Dustの推定値とバックプロパゲーション勾配とのコサインを測定します。個体数は64から128kフォワードパス/ステップまで増加します(図 5)。コサインは、トレーニングのすべての段階で、すべてのレイヤータイプで個体数とともに増加し、2パラメータ法
$$\cos(K) = \frac{c extsubscript{\max}}{\sqrt{1 + c/K}}$$ (5)
は、RMSEが0.06未満で各レイヤータイプにフィットします。ここで、$c extsubscript{\max}$ は上限、$c$ はレイヤーが $c extsubscript{\max}/\sqrt{2}$ に達する個体数です。有用な勾配は、連鎖律に関する何も組み込まれていない、大きな個体数から出現します。セクション 2.3 で説明したように、コサイン類似度を最大化するためにハイパーパラメータを軽くチューニングするだけです。1億トークンチェックポイントでは、レイヤータイプごとの平均コサイン類似度のフィットは0.0032~0.0367のRMSEを持ちます(詳細については付録 G を参照)。Dustの勾配はコサインにおいてバックプロパゲーションに近づきますが、どれだけ近づくかはレイヤータイプとレイヤーによって異なります。EGGROLLの推定値は、同じフォワードパス数で同じように測定されると、個体数とともに増加していますが、ヘッド以外のすべてのタイプで128kでコサイン0.05未満であり、セクション 3.2 でトレーニングがうまくいかなかった理由を説明しているかもしれません。
重要なのは、コサインがトークン数が増加してもほとんどのレイヤーで維持されることであり、これはスケーリングにとって有望です。セクション 3 は、バックプロパゲーションに匹敵し、それを超えるために必要な個体数がトークンとともに増加することを示しています。しかし、コサインは大きな個体数では2桁のトークン数全体で平坦なままです。これは、十分な個体数があれば、この要件がトークン数が増えても増加しなくなる可能性があることを意味します。さらに、Dustの勾配がバックプロパゲーションに近づくが正確には収束しないという事実は、実際には良い特性です。推定値はバックプロパゲーションの勾配であることなしに同様の方向を指し、異なる最適化軌道につながります。そして、我々の実験では、その軌道はバックプロパゲーションよりも優れていることさえあります(セクション 3.2)。
5 結論
Rumelhart et al. (1986)以来、バックプロパゲーションはニューラルネットワークを訓練するアルゴリズムであり、アーキテクチャ、オプティマイザ、およびハードウェアはすべてそれに基づいて構築されてきました。計算リソースがより豊富になるにつれて、より優れた代替手段が可能になると考えています。我々は、既存のESアルゴリズムを劇的に改善し、トランスフォーマーの事前学習においてバックプロパゲーションを密接に近似し、大量の計算でそれを上回ることさえあるアルゴリズム、Dustを導入しました。
多くの興味深い未解決の問題があります。第一に、Dustが損失ランドスケープを暗黙的に探索することによって、バックプロパゲーションの一次勾配よりも優れた方向を見つけることができるかどうか、そしてどのように見つけることができるかです。これは、大きな個体数ではバックプロパゲーションを下回ることがあるため、そのヒントがありますが、メカニズムは明確ではありません。第二に、Dustは、ネットワークがエンドツーエンドで微分可能である必要がないため、アーキテクチャの探索空間を広げます。そして、バックプロパゲーションが苦労することで知られている領域、例えばリカレント計算やバックプロパゲーション・スルー・タイムで訓練されるループ計算でよりうまく機能する可能性があります。第三に、計算効率ですが、これは本稿の焦点ではありませんでした。Dustが現在の計算レベルでバックプロパゲーションの実用的な代替手段になる前に、計算効率が桁違いに向上する必要があります。
言語モデルのゼロ次事前学習に関する初期の研究 (Allaire et al., 2025) は、重み摂動を用いたトランスフォーマーのゼロからの訓練の困難さを調査しました。それらの後続の手法であるKronZO (Allaire et al., 2026) は、事前学習を改善しつつメモリ使用量を削減するために、コンパクトな摂動とクロネッカー構造、選択的方向更新を使用します。EGGROLL (Sarkar et al., 2025) は、低ランク構造を通じてGPU上で重み摂動の大規模個体数を効率化します。Dustは代わりにアクティベーションを探索し、各トークンの報酬を使用して各フォワードパスからより多くのクレジットを抽出します。
ファインチューニングに関しては、MeZO (Malladi et al., 2023) は、言語モデルがフォワードパスのみで、推論に近いメモリ使用量で適応できることを示しました。Evolution Strategies at Scale (Qiu et al., 2026) は、数十億パラメータを持つ言語モデルで、強化学習を超えたESによる全パラメータのファインチューニングを実証しています。Neural Thickets (Gan and Isola, 2026) は、事前学習済み重みをランダムに摂動させ、最良の候補を選択し、それらの予測をアンサンブルすることで、有用なタスクエキスパートを見つけます。これらの結果は、事前学習済みモデルの周りで探索がどれだけ達成できるかを示しています。我々の実験は、事前学習からゼロで表現自体を学習することに対処します。
我々のアクティベーション摂動は、ノード摂動 (Werfel et al., 2003) に基づいています。GEMINI (Le Cun et al., 1988) は、最初の隠れ層にノイズを注入し、反復行列逆算を通じてレイヤーごとの勾配推定値を回復しました。Zoop (Hu et al., 2025) は、言語モデルのファインチューニングにアウトプット摂動を使用し、推定されたアウトプット勾配をローカル導関数でパラメータ更新に変換します。Scaling Forward Gradient with Local Losses (Ren et al., 2023) は、アクティベーション摂動とローカル損失をフォワードモード自動微分と組み合わせて、推定器の分散を削減します。Forward gradients with multiple tangents (Flügel et al., 2025) もフォワードモード微分を使用し、直交射影を通じて複数の方向導関数を組み合わせて勾配推定値を改善します。
別の研究ラインは、グローバルなバックワードパスをローカルな学習ダイナミクスに置き換えます。Sakana AIのPC-ALM (Seely and Gould, 2026) は、ローカル予測コーディングダイナミクスとラグランジュ乗数を通じてクレジットを伝播させます。これはローカル導関数を使用し、画像分類タスクで評価されます。Dustは、トランスフォーマー事前学習中にフォワード摂動からクレジットを推定し、各トークンの報酬とアテンション出力のローカルターゲットを組み合わせます。
参考文献
Nathan Allaire, Mahsa Ghazvini Nejad, Sébastien Le Digabel, and Vahid Partovi Nia. Zeroth order optimization for pretraining language models. In Proceedings of ICPRAM, pages 113–121, 2025. doi: 10.5220/0013261100003905. URL https://doi.org/10.5220/0013261100003905.
Nathan Allaire, Sébastien Le Digabel, Dominique Orban, and Vahid Partovi Nia. Zeroth-order Kronecker optimization for pretraining language models. SN Computer Science, 7, 2026. URL https://www.gerad.ca/en/papers/G-2025-44. Article 162.
Katharina Flügel, Daniel Coquelin, Marie Weiel, Charlotte Debus, Achim Streit, and Markus Götz. Beyond backpropagation: Optimization with multi-tangent forward gradients. In International Joint Conference on Neural Networks, 2025. URL https://arxiv.org/pdf/2410.17764v2.
Yulu Gan and Phillip Isola. Neural thickets: Diverse task experts are dense around pretrained weights. arXiv preprint arXiv:2603.12228, 2026. URL https://arxiv.org/abs/2603.12228.
Wes Gurnee, Nicholas Sofroniew, Adam Pearce, Mateusz Piotrowski, Isaac Kauvar, Runjin Chen, Anna Soligo, Paul Bogdan, Euan Ong, Rowan Wang, Ben Thompson, David Abrahams, Subhash Kantamneni, Emmanuel Ameisen, Joshua Batson, and Jack Lindsey. Verbalizable representations form a global workspace in language models. arXiv preprint arXiv:2607.15495, 2026.
Xixi Hu, Bo Liu, Qiang Liu, Xiaocong Du, Bhargav Bhushanam, Louis Feng, Chengyue Gong, and Kaizhao Liang. Zoop it! Efficient zero-order optimization with output perturbation. In ICML Workshop on Tiny Titans: The next wave of On-Device Learning for Foundation Models, 2025. URL https://openreview.net/forum?id=Tc8vFyRhPO.
Yann Le Cun, Conrad C. Galland, and Geoffrey E. Hinton. GEMINI: Gradient estimation through matrix inversion after noise injection. In Advances in Neural Information Processing Systems, volume 1, pages 141–148, 1988. URL https://papers.neurips.cc/paper_files/paper/1988/file/a0a080f42e6f13b3a2df133f073095dd-Paper.pdf.
Timothy P. Lillicrap, Adam Santoro, Luke Marris, Colin J. Akerman, and Geoffrey Hinton. Backpropagation and the brain. Nature Reviews Neuroscience, 21 (6): 335–346, 2020. doi: 10.1038/s41583-020-0277-3.
Jack Lindsey, Wes Gurnee, Emmanuel Ameisen, Brian Chen, Adam Pearce, Nicholas L. Turner, Craig Citro, et al. On the biology of a large language model. Transformer Circuits Thread, 2025.
Shengchao Liu, Dimitris Papailiopoulos, and Dimitris Achlioptas. Bad global minima exist and SGD can reach them. In Advances in Neural Information Processing Systems, volume 33, 2020.
Sadhika Malladi, Tianyu Gao, Eshaan Nichani, Alex Damian, Jason D. Lee, Danqi Chen, and Sanjeev Arora. Fine-tuning language models with just forward passes. In Advances in Neural Information Processing Systems, volume 36, 2023.
Yurii Nesterov and Vladimir Spokoiny. Random gradient-free minimization of convex functions. Foundations of Computational Mathematics, 17 (2): 527–566, 2017. doi: 10.1007/s10208-015-9296-2.
Xin Qiu, Yulu Gan, Conor F. Hayes, Qiyao Liang, Yinggan Xu, Roberto Dailey, Elliot Meyerson, Babak Hodjat, and Risto Miikkulainen. Evolution strategies at scale: LLM fine-tuning beyond reinforcement learning. In Proceedings of the International Conference on Machine Learning, 2026. URL https://arxiv.org/abs/2509.24372. arXiv:2509.24372.
Mengye Ren, Simon Kornblith, Renjie Liao, and Geoffrey Hinton. Scaling forward gradient with local losses. In International Conference on Learning Representations, 2023.
David E. Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams. Learning representations by back-propagating errors. Nature, 323: 533–536, 1986.
Tim Salimans, Jonathan Ho, Xi Chen, Szymon Sidor, and Ilya Sutskever. Evolution strategies as a scalable alternative to reinforcement learning. arXiv preprint arXiv:1703.03864, 2017.
Bidipta Sarkar, Mattie Fellows, Juan Agustin Duque, Alistair Letcher, Antonio León Villares, Anya Sims, Clarisse Wibault, Dmitry Samsonov, Dylan Cope, Jarek Liesen, Kang Li, Lukas Seier, Theo Wolf, Uljad Berdica, Valentin Mohl, Alexander David Goldie, Aaron Courville, Karin Sevegnani, Shimon Whiteson, and Jakob Nicolaus Foerster. Evolution strategies at the hyperscale. arXiv preprint arXiv:2511.16652, 2025.
Jeffrey Seely and Julian Gould. Augmented Lagrangian predictive coding. arXiv preprint arXiv:2605.31022, 2026. URL https://arxiv.org/abs/2605.31022.
David Silver, Julian Schrittwieser, Karen Simonyan, Ioannis Antonoglou, Aja Huang, Arthur Guez, Thomas Hubert, Lucas Baker, Matthew Lai, Adrian Bolton, Yutian Chen, Timothy Lillicrap, Fan Hui, Laurent Sifre, George van den Driessche, Thore Graepel, and Demis Hassabis. Mastering the game of Go without human knowledge. Nature, 550 (7676): 354–359, 2017. doi: 10.1038/nature24270.
Richard S. Sutton. The bitter lesson. http://www.incompleteideas.net/IncIdeas/BitterLesson.html, 2019. Blog post.
Akshay Vegesna and Samip Dahal. Decoupling search and learning in neural net training. arXiv preprint arXiv:2509.10973, 2025.
Justin Werfel, Xiaohui Xie, and H. Sebastian Seung. Learning curves for stochastic gradient descent in linear feedforward networks. In Advances in Neural Information Processing Systems, volume 16, 2003.
Bernard Widrow and Michael A. Lehr. 30 years of adaptive neural networks: Perceptron, Madaline, and backpropagation. Proceedings of the IEEE, 78 (9): 1415–1442, 1990. doi: 10.1109/5.58323.
A アーキテクチャ B その他のチェックポイントでのコサインラダー C トークン予算と個体数別のテスト損失 D EGGROLLの外挿個体数 E 個体数割り当て F チューニング G コサインフィットパラメータ