TPU上でビット単位ゼロトレイン–推論不一致により安定したオンポリシーRLを解き放つ
要約
Googleの研究者たちは、TPU上で大規模言語モデル(LLM)の強化学習(RL)における数値的不安定性の問題を解決する「Zero-TIM(Zero Train–Inference Mismatch)」という手法を開発しました。この手法は、サンプラーとトレーナー間でビット単位で同一のログ確率を保証することで、学習の安定性を劇的に向上させます。これにより、TPU上でのオンポリシーRLトレーニングの信頼性とパフォーマンスが向上します。
全文翻訳
TPU上でビット単位ゼロトレイン–推論不一致により安定したオンポリシーRLを解き放つ
2026年11月16日
Lin Chai シニアソフトウェアエンジニア
問題
大規模言語モデル(LLM)の強化学習(RL)は、数値的不安定性に非常に敏感であることが知られています。ロールアウト生成と勾配更新の間のわずかな不一致でさえ、トレーニングを不安定にしたり、収束を停滞させたりする可能性があります。LLM RLでは、モデルがポリシー、π(action | previous tokens)として機能し、真のオンポリシー学習には、更新におけるすべての行動がその正確に同じポリシーによって生成され評価される必要があります。同期ループは各ロールアウトバッチが生成したのと同じ重みを使用してスコアリングされることを保証しますが、重要な数値要件が残ります。それは、サンプラーとトレーナーが同じポリシーを同一に評価しなければならないということです。
実際には、本番環境のRLスタックは、サンプリングとトレーニングを別々の専門化された実行パスで実行します。サンプラーは、増分デコーディング中に各アクショントークンを選択し、その行動のログ確率を記録します。トレーナーは、バッチ処理されたフォワード・バックワードパスで同じトークンを評価し、現在のログ確率と勾配を計算します。同じ重みであっても、これらの異なる実行パスは、同じトークンとコンテキストに対して異なるログ確率を割り当てることがあります。トレーニングスケジュールはオンポリシーですが、数値実行は隠れたオフポリシーギャップを導入し、マルチターントラジェクトリーで累積します。
私たちのゼロトレイン–推論不一致(Zero-TIM)実装は、Tunixで開発され、64個のTPU v5pチップ(DP8×TP8)全体でマルチホストスケールで検証されており、この数値ギャップを閉じます。同じ重みで、サンプラーとトレーナーは、同じアクションとトークンの履歴に対してビット単位で同一のログ確率を割り当てます。これにより、最先端の真のオンポリシー安定性がTPU RLトレーニングにもたらされます。
なぜ発生するのか
削減は浮動小数点加算のツリーです。浮動小数点加算は結合法則を満たさないため、ツリーを変更すると丸めが発生する場所が変わります。この効果は、精度がfloat32よりも低いbfloat16で露出しやすくなります。
以下のbfloat16の例は、削減順序の効果を分離します。
[画像: figure-1-reduction-trees]
図1. 2.0に近い値では、各0.0078125の入力は、次の表現可能なbfloat16値までの距離の半分です。最近接偶数丸めは、各入力を個別に加算すると破棄されます。同じ入力を最初にグループ化すると、次の値に到達します。
モデルの削減でも同じ問題が発生します。行列積は部分和を累積し、正規化は統計量を計算し、テンソル並列シャードは部分出力を結合します。元のスタックでは、サンプラーデコードとトレーナーフォワードは異なるトークン配列形状とフォワード実装を使用していました。JAXは計算を入力形状に特化させ、トレーニングフォワードも微分可能なプログラム内で実行されます。
これらのパス全体で、削減順序と中間精度は一貫して整合されていませんでした。浮動小数点丸めは、それらの算術的な違いを異なるログ確率ビットに変えました。重みとモデル方程式は同一でしたが、算術はそうではありませんでした。
アライメント契約
契約はシンプルです。サンプラーデコード、サービングプリフィル、トレーナーフォワードのすべてにおいて、すべての3つのパスは、すべてのサンプリングされたアクションに対してビット単位で同一のログ確率を生成しなければなりません。これは、同じロールアウト重み、トークン履歴、およびサンプリング設定の下で生の浮動小数点バイトを比較し、丸めや許容誤差をゼロにすることによって行われます。
なぜ2つではなく3つのパスなのか?分離されたRLスタックでは、直接的なサンプラー–トレーナーの不一致は数値ギャップが存在することを示しますが、それがどこから入るかは示しません。サービングプリフィルを中間チェックポイントとして導入することで、アライメントは体系的な2段階診断となり、どのRLスタックでも採用できます。
サンプラーデコード対プリフィルは、サービングエンジンが増分トークン生成とフルシーケンス再スコアリングの間で自己一致していることを検証します。一方、プリフィル対トレーナーは、コンパイルと微分境界を越えてサービングとトレーニングエンジンが一致していることを検証します。
[画像: figure-2-policy-contract]
図2. サービングエンジン内およびサービング–トレーニング境界を越えたサンプリングアクションのログ確率のビット単位比較。同じロールアウト重みで評価される。
TPU上でZero-TIMを構築する方法
Zero-TIMの達成は、サンプラーとトレーナーを単一のモノリシックエンジンにマージする必要はありません。代わりに、汎用的な4部構成のレシピを使用して、マルチホストTPUメッシュ全体で分離されたサービングおよびトレーニングパイプラインを橋渡しします。これは、インシャードカーネル累積のロック、クロスシャード削減の順序付け、ログ確率スコアリングテールの標準化、およびサービングカーネルのカスタム微分ルールのラップです。
インシャード算術の修正
各テンソル並列ランク内で、バッチ不変のPallasカーネルが累積順序と中間精度を制御します。射影カーネルは固定された縮約ブロックを順序通りにトラバースし、削減ブロッキングをトークン行数から独立させます。部分積はfloat32で累積され、明示的な出力キャストが行われます。
本番カーネルは、タイルトラバーサル前にスクラッチアキュムレータを初期化し、次にこのコアを各タイルに適用します。
input_tile = x_ref[...]
weight_tile = y_ref[...]
partial = jnp.dot(
input_tile,
weight_tile,
preferred_element_type=jnp.float32,
)
acc_ref[...] = acc_ref[...] + partial
out_ref[...] = acc_ref[...].astype(out_ref.dtype)
Python
コピー済み
次のタイルは、キャストされた出力ではなく、float32アキュムレータから続行します。この構成は、アテンションおよびMLP射影、およびLMヘッドをカバーします。専用カーネルはRMSNorm削減とSwiGLUの中間キャストを修正します。既存のPallasページングアテンションフォワードは保持されます。
クロスシャード削減の順序付け
行並列射影の場合、各テンソル並列ランクは部分出力を生成します。通信と加算を分離します。ppermuteが部分を転送し、その後、すべてのランクが同じソースランク順序でそれらを追加します。
削減順序は、コレクティブ実装によって選択されるのではなく、プログラム内で明示されます。
アライメントは、モデルのロジットを超えてサンプリングされたアクションの確率まで拡張する必要があります。デコード、プリフィル、トレーナーは、一致するサンプリング変換を適用し、同じ固定Pallasログソフトマックス構成を使用し、記録されたアクショントークンを選択します。
プリフィルとトレーナーは、ロールアウト中に生成されたアクションをスコアリングするのであり、別の選択はしません。また、環境ターンの間でサンプリングされたトークンIDを保持するため、すべてのパスが同じトークン履歴を評価します。
サービングフォワードの微分
トレーナーはサービングプリフィル計算を再利用します。カスタムベクトル–ヤコビアン積は、フォワード評価のためにサービングカーネルを保持し、それらのバックワードルールを提供します。matmulの例は、この分離を示しています。
@jax.custom_vjp
def serving_matmul(inputs, weights):
return pallas_matmul(inputs, weights)
def matmul_forward(inputs, weights):
output = pallas_matmul(inputs, weights)
return output, (inputs, weights)
def matmul_backward(saved, output_gradient):
inputs, weights = saved
_, pullback = jax.vjp(
differentiable_matmul,
inputs,
weights,
)
return pullback(output_gradient)
serving_matmul.defvjp(matmul_forward, matmul_backward)
Python
コピー済み
微分可能なレプリカはカーネルの累積とキャストを模倣しますが、プルバックの構築にのみ使用されます。フォワード値は引き続きサービングPallasカーネルから取得されます。
トレーニングは、そのフォワードを微分可能なJAXプログラム内に配置します。XLA_FLAGSに--xla_allow_excess_precision=falseを渡してコンパイラプロセスに制約をかけ、Pallasカーネルを取り囲む操作の中間精度を過剰にしないようにします。
長いトラジェクトリーは固定サイズのチャンクで評価され、ページングされたKVキャッシュを前方に伝播します。すべてのアクションログ確率は、完全なトレーニングバッチRL損失に供給されます。逆パスは、それらのキャッシュ接続を通じて勾配を伝播し、オプティマイザー更新の前にパラメータ勾配の寄与を結合します。
[画像: figure-3-chunked-differentiation]
図3. KVキャッシュ状態がフォワードチャンクを接続し、キャッシュ勾配がそれらの逆パスを接続します。パラメータ勾配の寄与は、オプティマイザー更新の前に結合されます。
最先端RLの数値アライメントをTPUにもたらす
AIシステムコミュニティ全体で、トレイン–インファレンスマッチの排除は、大規模RL収束の安定化のための最先端要件に急速になっています。vLLM with TorchTitanやRadixArk/LMSys Milesなどの最近のオープンソースの取り組みは、バッチ不変カーネルとビット単位の数値アライメントが、ポリシー最適化中のオフポリシードリフトを防ぐ方法を示しています。
私たちの作業は、TunixにおけるTPU用のこの契約のオープンソースでモジュール化されたJAX/XLAおよびPallas実装を提供します。マルチホスト64TPU v5p(DP8×TP8)メッシュ全体で検証されたこれらのカーネルとコレクティブパターンは、チームが分散JAX/TPUサービングおよびトレーニングパイプライン全体でビット単位で正確なオンポリシーRLを達成するために採用できる再利用可能なブループリントを提供します。
評価と結果
TPUカーネルのベンチマークを行うために、公開されているQwen3-8Bチェックポイントをベースラインテストケースとして使用し、DP8×TP8メッシュを持つ64TPU v5pチップを使用して、合成FrozenLake環境で200ステップの数値検証テストを実行します。このレシピは、リーブワンアウトアドバンテージを持つGSPOトークン損失を使用します。標準トレーニング(トレーナー旧ログ確率、追加のサンプラー補正なし)、トークンレベルの切り捨て重要度サンプリング(TIS)、およびZero-TIMを比較します。
Zero-TIM構成では、環境ターンの間でサンプリングされたトークンIDを保持するために、トークンイン/トークンアウト(TiTO)処理も使用します。比較実行は、既存のトークン化パスを保持します。
[画像: figure-4-results]
図4. 2×2から9×9までのFrozenLakeグリッドで、最大5回のインタラクションターンを持つシングルシードトレーニング実行。両方のパネルは最初の200回のトレーニングステップを示しています。ログ確率差はスムージングなしでプロットされ、ソルブ率は薄い生測定値と10ステップの移動平均を示します。エンドポイントラベルは、最後の10ステップの平均を示しています。
Zero-TIMは、このウィンドウのすべてのログ記録されたステップで、平均絶対サンプラー–トレーナーログ確率差ゼロを記録します。一方、トレーニングのソルブ率は増加します。標準およびTISは非ゼロ差を保持します。TISは、根本的な不一致を削除せずに、更新へのそれらの寄与を調整します。Zero-TIMは、これらの実行でより高い観測ソルブ率を達成します。
コードとアップデート
Zero-TIMプロトタイプは、GoogleのオープンソースでJAXネイティブなCloud TPU上のLLM RLおよびトレーニング後ライブラリであるTunixの一部として開発されました。カーネルパターンと3方向検証契約はモジュール式設計であり、既存のマルチホストJAX/TPUサービングおよびトレーニングパイプライン全体での採用が容易です。現在、線形アテンションおよびMixture-of-Experts(MoE)アーキテクチャへのサポートを積極的に拡張しています。
前へ
次へ