HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

4ビットの教訓:NVFP4 RLにおける安定性とパフォーマンスのバランス

The 4-Bitter Lesson: Balancing Stability and Performance in NVFP4 RL (humansand.ai)

23 pointsby Areibman3 コメント

要約

この記事では、非同期強化学習(RL)システムにおける安定性とパフォーマンスのトレードオフについて論じています。特に、NVFP4のような低精度フォーマットを使用する際の課題と、それを克服するための技術について解説しています。目標は、ポリシーのドリフトが加速する閾値以下に保ちつつ、スループットを最大化する設定を見つけることです。

全文翻訳

4ビットの教訓

はじめに

RLトレーニングシミュレーター。 このシミュレーターは、サンプラーが継続的にロールアウトを生成し、トレーナーがポリシーを更新する非同期RLシステムをモデル化します。ポリシーの不一致は、オフポリシー性(古いロールアウト)と量子化エラーの両方から生じ、ポリシーのドリフトとして蓄積され、オプティマイザーの補正能力を超えると最終的に報酬が低下します。

RLと効率化のノブ。 オフポリシー、重み同期、バッチサイズ、ホライゾンは、非同期性とポリシーの古さの度合いを制御します。MXFP8とNVFP4は、トレーニングとロールアウトの効率を向上させます。一方、デ量子化バックワード、BF16の最後の15%、共有エキスパートは、数値的安定性を向上させます。

使用方法。 アルゴリズムとシステムのノブを変化させることで、スループットと安定性のトレードオフを探求します。非同期性を高めるか、精度を低下させて利用率を向上させ、その後、安定化技術が安定性マージンをどのように回復するかを観察します。目標は、ドリフトが加速し報酬が崩壊する臨界閾値を下回るポリシーの不一致を維持しながら、スループットを最大化する構成を特定することです。

RLの本質は、行動と結果を通じてモデルを教えることです。humans& では、RLを使用して、人々との相互作用の長期的な影響を理解するモデルをトレーニングしています。RLループ1具体的にはポリシー勾配アルゴリズム。では、モデルは行動し、報酬を受け取り、その行動の確率を更新します。しかし、LMの実際のRLトレーニングでは、他のロールアウトがまだサンプリングされている間でも、利用可能になり次第、観察結果からポリシーを更新したいと考えます。私たちのミッションの中心である長ホライゾンのマルチプレイヤーロールアウトでは、モデルが1つのロールアウトを完了する間に、数十回のトレーニングステップを実行することさえあります。

これにより、RLにおけるスループットと安定性の間の綱引きが生じます。一方では、できるだけ多くの例をできるだけ早くトレーニングしたいと考えています2トレーニングステップを速くする、ロールアウトを速くする、またはトレーナーとサンプラーをより多くオーバーラップさせる。。他方では、スループットを向上させるほとんどの技術は、サンプリングされたポリシーとトレーニングされたポリシーを乖離させ、学習を遅らせたりトレーニングを不安定にしたりする可能性があります。量子化はこのトレードオフの例です。低精度フォーマットはハードウェア上での通信と計算を高速化しますが、量子化は安定性を損ないます。NVFP4のような高速で正確な低精度フォーマットは、ハードウェアサポート3NVIDIA Rubin GPUで16ビットトレーニングよりも最大9倍の演算速度を可能にします。NVIDIAのHGXプラットフォーム仕様(8GPU HGXシステムからのB200/B300、HGX Rubin NVL8テーブルからのRubin)からのGPUあたりの高密度Tensor Core PFLOPS:GPU BF16 FP8 FP4 B200 2.25 4.5 9 B300 2.25 4.5 13.5 Rubin (NVL8) 4 17.5 35)と組み合わされることで、モデルトレーニングと推論の両方で大幅なスループット増加を推進してきました。

しかし、オープンソースコミュニティには、ハードウェアネイティブな4ビット1While INT4 QATレシピは4ビット量子化をシミュレートするために存在しますが、これらは16ビットアクティベーション(Kimi K2 Thinking)を使用しており、DSv4のようなMXFP4レシピはMXFP8アクティベーション(DeepSeek-V4 on Day 0)を使用しています。私たちの手法は、重みとアクティベーションの両方にNVFP4量子化を使用します。の安定したRLレシピはほとんどありません。これは、サンプリングとトレーニングの不安定性がRLで累積するためです。長期間にわたるオープンソースコミュニティとの協力により、私たちは高精度トレーニングダイナミクスを維持する低精度RLレシピを開発し、共有しました。このレシピでは、ポリシー量子化エラーによるフォワードパスの不安定性、勾配の不一致によるバックワードパスの不安定性、そして特に敏感な少数の重みに起因する両者の交差点での不安定性に対処する必要がありました。以下では、それぞれにどのように対処し、最終的なレシピを検証したかを説明します。

この取り組みは、RadixArkとNVIDIAの素晴らしい協力者なしには実現できませんでした。彼らのトレーニング、推論、RLスタック全体にわたる作業に感謝します。

ベースライン:安定したトレーニングダイナミクスを持つ開始レシピ

一貫した比較のため、特に断りのない限り、このレポートのすべての実験ではQwen3-30B-A3BモデルをDAPO-math-17kデータセットで8kシーケンス長でトレーニングしたものを使用します。

NVFP4フォーマットを使用するベースラインレシピから始めます。NVFP4は、新しいNVIDIA GPUアーキテクチャでスループットとメモリ効率を向上させる4ビット浮動小数点フォーマットです。階層的なブロックスケーリングを使用します。16個の値の各ブロックはFP8 E4M3スケールを持ち、フルテンソルはグローバルFP32スケールを持ちます。これらを組み合わせることで、より高精度の値を回復できます。

なぜNVFP4事前トレーニングレシピはRLに十分ではないのか?

NVIDIAのNVFP4 事前トレーニングレシピは、この作業の自然な出発点です。混合精度戦略を使用しており、ほとんどの演算はFP4精度で実行されますが、数値的に敏感なコンポーネントはより高い精度で維持されます。

しかし、事前トレーニングとRLでは、失敗モードが異なります。

事前トレーニングでは、勾配信号は密であり、多数のトークンにわたって繰り返し平均化されます。主な目標は、最適化の方向を歪める可能性のある量子化バイアスを回避することです。確率的丸めは、勾配量子化をほぼバイアスのないものにすることで役立ちます。

RL設定では、バイアス分散トレードオフが異なります。ポリシー勾配は、サンプリングされたロールアウト、アドバンテージ推定、報酬推定、KL正則化、ポリシーの古さに依存するため、すでにノイズの多い推定値です。したがって、量子化手法が単にバイアスのないものであるだけでは不十分です。量子化ノイズは、更新ごとの真のポリシー勾配信号を低下させない程度に小さくなければなりません。

したがって、ポリシーの量子化エラーを減らし、勾配計算の精度を向上させる介入を優先します。

ベースラインレシピ

ベースラインレシピでは、MoEレイヤーのみを量子化し、他のすべてのレイヤーは高精度のBF16のままにします。DeepSeek-V3スタイルのアーキテクチャでは、MoEエキスパートが全パラメータの97%5各エキスパートは7168 x 2048のサイズの3つの射影行列を含み、エキスパートあたり約44Mパラメータです。256のエキスパートと各MOEレイヤーに1つの追加の共有エキスパートがある場合、レイヤーあたり約11.32Bパラメータとなり、58レイヤー全体で656Bパラメータとなり、総パラメータの約97.8%に相当します。を占めるため、MoEレイヤーを積極的に量子化することで、メモリの大部分のメリットが得られます。

フォワードパスはNVFP4で実行し、バックワードパスはBF16精度を維持します。これは、FP4のロールアウトとメモリのメリットを得つつ、バックワードパスでのFP4の使用を避けるための保守的な出発点です。

重みについては、標準的なNVFP4フォーマットを使用し、ブロックごとにFP8スケール、テンソル全体に1つのFP32グローバルスケールを使用します。

アクティベーションについては、テンソル全体で計算されるグローバルFP32スケールは使用しません。Cursor Composer 2技術レポートが指摘するように、グローバルスケールは2つの問題を引き起こす可能性があります。

  • 同じトークンが、バッチ内の他のトークンが何であるかによって、異なる方法で量子化される可能性があります。
  • テンソルが同じシーケンスの複数の位置を含む場合、後続のトークンが先行トークンによって使用される共有スケールに影響を与え、将来のトークンから過去のトークンへのリークパスを作成する可能性があります。

この問題を解決するために、Cursor Composer 2と同様に、トークンごとにアクティベーションスケーリングを使用します。各トークンは、隠れ次元全体で独自のFP32アクティベーションスケールを計算します。これにより、量子化は各トークンにローカルに保たれ、スケールはフォワードパス中に観測されたアクティベーションから直接計算できるため、別のキャリブレーションステップが不要になります。また、このきめ細かなFP32スケールは、テンソルごとのFP32スケールと比較して、量子化エラーの低減に役立ちます。

ロールアウト中、このトークンごとのスケール計算は、アクティベーション量子化カーネルに統合されます。各トークン行について、カーネルはFP32スケール、16値ブロック用のFP8 E4M3スケールを計算し、これらの量子化値をFP4にパックします。この統合された実装は、追加のメモリ移動とカーネル起動オーバーヘッドを削減します。

[画像: NVFP4 RLレシピと高精度バックワード]

実装

トークンごとのNVFP4レシピには、スタック全体での変更が必要であり、実装をオープンソース化しました。

勾配安定性の向上

オープンソースのトークンごとのNVFP4レシピでトレーニング中に勾配ノルムのスパイクを観測しました。このレシピはバックワードパスの精度に関して意図的に保守的です。フォワードパスはNVFP4オペランドを使用しますが、バックワードパスは重みとアクティベーションをBF16精度で維持します。これは、粗いNVFP4全体でフルバックワードパスを実行するよりもはるかに安定していますが、フォワードパスとバックワードパスの間に不一致が生じ、時折勾配スパイクを引き起こします。

問題は、バックワードパスがフォワードパスで使用されたのと同じ関数を微分しなくなっていることです。たとえば、単純な線形レイヤーでは、フォワードパスは y = x · Q(w_bf16) を評価します。ここで、Q(.)は量子化を示します6量子化関数は、ステップ変化値で微分不可能ないし階段関数のように振る舞います。量子化は通常、クリッピングと丸め、つまりclip(round(w/s), qmin, qmax)を含みます。。バックワードパスは、y = x · w_bf16 を微分しているかのように振る舞います。この決定はバックワードパスをより安定させますが、バックワードパスが量子化関数で行われたクリッピングと丸めの決定を認識していないことも意味します。

連鎖律の不整合を軽減しつつBF16バックワードパスの安定性を維持するために、デ量子化バックワードを使用します。バックワードパスでBF16精度を使用する代わりに、フォワードパスで使用された正確な量子化テンソルのBF16デ量子化値を使用します。線形レイヤーの例では、それは y = x · DQ(Q(w_bf16)) を意味します。ここで、DQはデ量子化を示します。

ここでは、バックワードパスは依然としてBF16オペランドを使用しますが、オペランドはフォワードパスで使用されたNVFP4量子化決定と同じものを反映しています。私たちのレシピは、重みとアクティベーションの両方にデ量子化バックワード操作を適用することに注意してください。

[画像: NVFP4 デ量子化バックワードレシピ]

結果

MXFP8での検証:

変更を検証するために、まずMXFP8レシピでこの修正をテストしました。以下の図は、3つの異なるレシピでの勾配ノルムの振る舞いを示しています。

  • a) 量子化されたフォワードおよびバックワード。mxfp8-mxfp8として表示。
  • b) 量子化されたフォワードおよびBF16バックワード。mxfp8-high-precision-bf16として表示。
  • c) バックワードパスでデ量子化された重みを使用して連鎖律の違反が修正された量子化フォワード。mxfp8-dequantized-bf16として表示。

[画像: MXFP8 デ量子化 vs 高精度バックワード勾配ノルム]

私たちの手法は、トレーニングのすべての段階で、MXFP8バックワードと比較して、よりクリーンでノイズの少ない勾配をもたらします。高精度BF16バックワードと比較して、私たちの手法は勾配ノルムの増加を防ぐのに役立ち、一貫して安定しています。

NVFP4での検証:

MXFP8と比較して、NVFP4はトレーニングダイナミクスを複雑にします。一方、私たちの手法は、バックワードパスが量子化されたフォワードパスと一致するため、よりバイアスのない勾配を提供することで安定性に役立ちます。他方、NVFP4量子化は、そのより粗い表現グリッドのために勾配の分散を増加させる可能性があります。

これを経験的に理解するために、最初のセットアップではAdamの代わりにSGDオプティマイザーを使用します。これは、SGDが私たちの手法の真の勾配への影響を分離しやすくするためです。

[画像: NVFP4 SGD 生報酬]

私たちの手法は、より高精度なバックワードベースラインよりも高速な学習につながることを観察しています。これは、勾配が実際にトレーニングされている量子化関数によりよく整列しているという事実によって説明できます。

しかし、このレシピは不安定で、発散する可能性があることも観察しました。前述のように、これはNVFP4表現がより粗いために勾配の分散が大きくなる可能性があるためです。

実際のRL実行のセットアップを再現するために、Adamオプティマイザーに戻り、モメンタムやアダプティブセカンドモーメントのようなプロパティが私たちの手法によって導入された追加の分散を減らすかどうかを確認します。

[画像: NVFP4 Adam デ量子化バックワード付き勾配ノルム]

私たちの手法は、バックワードパスで高精度を使用するベースライン手法よりもはるかに少ない大きな勾配スパイクを生成することを観察しています。

実装

この機能をTransformerEngineでオープンソース化しました。これにより、ユーザーは量子化バックワード、通常のBF16バックワード精度、およびバックワードパスでデ量子化された重みを使用する私たちの手法の間で簡単に切り替えることができます。

さらに、NVIDIAとの協力により、トレーニング中のデ量子化オーバーヘッドを削減しました。TransformerEngineの実装では、低精度トレーニングでデフォルトで保存される追加の量子化テンソルコピーの保存を回避しています。これにより、トレーニング中のピークメモリ消費量が70%削減されます7NVFP4線形ピークメモリ(TE実装で測定、プロキシワークロード(入力:2k x 2k、出力特徴量8k、dtype=bf16)の場合、150MBから45MBに削減)。

[画像: デ量子化バックワードトレーニング時間]

[画像: TransformerEngine MXFP8レシピと行/列ごとの量子化コピー]

RL重みとアクティベーションのための4分の6

さらなる課題は、NVFP4自体に関連しています。通常、パラメータは0、±0.5、±1、±1.5、±2、±3、±4、±6の倍数として表現できます。しかし、これは、範囲の5/6に近い値を表現する場合、誤差が範囲の1/6になる可能性があることを意味します!代わりに最大値を±4にマッピングすると、最大の可能な誤差は範囲の1/8になります。これは「4分の6」、または4/6として知られるアプローチで、論文Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scalingに由来します。重要ですが、削減された範囲は、量子化エラーが減少する場合にのみ導入されます。論文では、この技術は事前トレーニングとアクティベーションにのみ適用されていましたが、重みにも適用します。これはRLではより重要です。なぜなら、すでにトレーニングされた重みから開始し、その量子化のエラーが不均衡な影響を与えるためです8重みとアクティベーションの両方、またはその両方で4/6をサポートするサポートを追加しました。

[画像: 4分の6 マップトゥ6階段] [画像: 4分の6 マップトゥ4階段]

適応スケーリングの場合、調整された重みを計算し、ブロックごとにエラーが減少したかどうかを判断する必要があります。

しかし、参照および最も直接的な調整済み重みの計算方法9参照実装と同様。は高コストです。つまり:

candidate = fp4_value * fp8_scale * amax / (E2M1_MAXVAL * E4M3_4OVER6_MAXVAL)

使用する最大FP4値(4または6)を選択するために、

  • 格納されている各FP4値をFP32に変換します。
  • それをブロック スケーリング値とテンソル/トークンの最大値で乗算します。
  • 最大FP4 / FP8値で割って正規化します。
  • 4と6の両方について、ブロックごとの量子化エラーを計算します。
  • ブロック量子化エラー10平均二乗誤差(MSE)または平均絶対誤差(MAE)を使用します。を比較して4または6を選択します。

問題は、これらの操作がすべてスカラーFP32演算であり、現在のハードウェアではスループットが限られていることです。これにより、ストールが発生します。

[画像: Nsight Compute ソースビュー、4/6エラーパスにおけるFP32数学のボトルネックを示す]

代わりに、データ型キャストとFP4*FP8計算を、ハードウェアネイティブなPTX操作12キャストの場合、cvt.rn.f16x2.e2m1x2 および cvt.rn.f16x2.e4m3x2。E4M3 x E2M1 デ量子化の場合、mul.rn.f16x2.。を使用して、FP16でロスレスに実行します。さらに、各要素に対して amax / (E2M1_MAXVAL * E4M3_4OVER6_MAXVAL) を2回使用して各候補をスケーリングする代わりに、その逆数を掛けてターゲットをスケーリングダウンします。これにより、この計算をFP16で維持できます。もちろん、エラーをロスレスに近似することでさらに高速化できます。代わりに、高い安定性を考慮してエラー累積をFP32で維持し、BF16またはFP16に切り替えてもカーネル速度の向上は観察されません。量子化ベンチマーク13NVIDIA/TransformerEngine/pull/3068で、結果のスケーリング係数が、使用されたエラーの種類や量子化モードに関係なく、99.97%以上一致し、実際にはネイティブ/厳密なアプローチよりも約2.8倍高速になることがわかりました。最後に、トレーナーとサンプラーの不一致を避けるために、RLスタックの両側との間で契約が必要でした。4/6の実装が、トレーニングとサンプリングの両方でビット単位で同一であることを確認しました。

このビット単位で同一の契約のためには、量子化された値とスケールが毎回、トレーナーとサンプラーの間でビット単位で同一であることを保証する必要があります。まず、カーネルは毎回ビット単位で決定論的な出力を生成する必要があります。第二に、トレーニングと推論のために実装されたカーネルは、完全に同じ数値契約に従う必要があります。

4/6の場合、エラーの計算、累積、比較についても同様である必要があります。重みレイアウトとスウィズリングに関係なく一貫性を維持する必要があったため、エラー累積のための削減は特に困難でした。

図15に示すように、4/6を追加しても、ロールアウト時間は目立って増加しません。追加の演算は量子化カーネルに統合されており、既存のメモリアクセスレイテンシの下に隠されています。

[画像: NVFP4 4/6 ロールアウト時間]

FlashInferとTransformerEngine(NVIDIAによって保守されている2つのカーネルライブラリ)全体でこの実装を行いました。

図17に示すように、4/6を追加することで、NVFP4 RL(4/6なし)と比較して、参照KLが大幅に安定します。

[画像: NVFP4 4/6 KL損失]

実装

トレーニングおよび推論スタック全体で、最適化されたFP16高速パスとともに、完全なビット単位で同一の4/6実装をオープンソース化しました。

選択的レイヤー精度:重要な箇所にリソースを割り当てる

実際には、どの低精度レシピもすべての重みとアクティベーションに同じ精度を使用するわけではありません。NVIDIA NVFP4事前トレーニング論文と同様に、2つの重みセットに焦点を当てます。まず、少数の最終レイヤーを高精度13BF16で維持します。一般的に、NVIDIAが事前トレーニング論文で提案した15%を使用します。第二に、多くのMoEアーキテクチャには、常にアクティブなエキスパート(「共有」エキスパート)が含まれています。このエキスパートを高精度で維持することは比較的安価ですが、すべてのトークンでアクティブであるため影響力があります。以下に、mxfp8でのメモリとlogprobのトレードオフを視覚化します。ただし、ここでの最適なトレードオフは、一般的にモデルと利用可能なメモリに依存します。

さらに、一部の重みをより高い精度にすると決定した場合、チェックポインティング、トレーニング、ロールアウト、重み更新においてその精度を維持する必要があります。各コンテキストでモデル固有の量子化処理を行うという単純なアプローチはエラーが発生しやすいため、複雑さを最小限に抑えるためのインフラストラクチャを導入しました。

実装

トレーニングおよびサービングスタック全体にこのインフラストラクチャを導入しました。

まとめ:最終レシピ

[画像: NVFP4 デ量子化バックワードと4/6レシピ]

これらの最適化を実装・統合した後、組み合わせたレシピの安定性を確信する必要があります。公平性を期すため、量子化された実行のハイパーパラメータは調整しませんでしたが、BF16のドロップイン代替として私たちの手法を使用しました。3つの個別の最適化のうち2つを使用しても、まだ勾配ノルムのスパイクが見られます。

[画像: レシピ間のNVFP4勾配スパイク]

しかし、3つの最適化すべてを使用すると、勾配ノルムは驚くほど安定します(5回の実行を写真で示しています)。

[画像: NVFP4レシピ、勾配スパイクなし]

さらに、これらのすべての実行の報酬曲線は、BF16報酬曲線に密接に追従しています。

[画像: NVFP4 4/6 生報酬]

[画像: 全レシピのロールアウト時間]

嬉しい副産物:オンラインNVFP4サービング

同じロールアウト量子化パスで、トレーニング後のオンライン量子化を使用してモデルチェックポイントをサーブできます。運用上、これにより、キャリブレーション、QAT、または個別のモデル変換パイプラインを実行せずに、トレーニング済みチェックポイントを効率的にデプロイでき、4/6や選択的ハイプレシジョンなどの量子化モデルの品質改善を活用できます。

たとえば、内部ベンチマークでは、GLM 5.1をさまざまなツールを使用したマルチターンロールアウトのジャッジとして使用しています。FP8デプロイメントとNVFP4量子化デプロイメントの相関は0.924です。

[画像: GLM-5.1 FP4とFP8 ジャッジスコア散布図]

[画像: GLM-5.1 FP4とFP8 ジャッジグレード比較]

この実装をオープンソース化しました。SGLangでこの機能を使用するには、既存のBF16/FP8モデルサービングコマンドに--quantization nvfp4_onlineを追加するだけです。

最終的な考察

将来の改善

NVFP4をトレーニングに使用する際の難しさの1つは、アクティベーションのライブ量子化です。スケールファクターを見つけるには、キャリブレーションを行うか、動的なテンソルごと(または私たちの場合はトークンごと)の最大値を見つけて再スケーリングする必要があります。これは、カーネル内での削減によるパフォーマンスオーバーヘッドにつながります。1つの解決策は、NVFP4重みでMXFP8アクティベーションを使用することです。これは、アクティベーションの方が重みよりも量子化が難しい傾向があるため、二重に役立ちます。このレシピは、最も役立つ場所で精度を向上させます。既存のNVIDIA GPUはMXFP8 x MXFP4命令を備えていますが、重みをMXFP4に量子化すると、UE8M0スケーリング係数が使用されるため精度が低下します。これは将来のハードウェア世代で利用可能になることを期待しています。

私たちは、トレーニング環境と共同で量子化構成を設計することを見ています。超長ホライゾン、マルチエージェントトレーニング、より大規模なモデルでスケーリングするにつれて、独自の課題にも直面します。トレーニングの高速化よりも安定性を優先する量子化構成を選択しました。将来的には、トレーニングレシピのより多くの部分が低精度との相互作用のためにカスタマイズされるべきです。特に、低精度トレーニングのユニークな課題を中心にオプティマイザーを設計することは、有望な研究分野であると思われます。

私たちのスタックはオープンソースコードに基づいており、コミュニティに貢献できることを嬉しく思います。

リンクされた実装では、各機能のカスタマイズオプションを見つけることができます。4/6引数がTransformerEngineとFlashInferで一致する限り、これらのほとんどは個別に構成できます。

結論

この時点で、通常は、この正確な作業を会社とその目標に結びつける機会を得ます。代わりに、比喩を共有しましょう。この作業では、一部の課題は個々のコンポーネントから自然に発生しますが、最も重要な質問は、コンポーネント間の相互作用から生じます。NVFP4を使用したRLの実現が、トレーナーにNVFP4事前トレーニングレシピを適用し、サンプラーにNVFP4推論を適用するのと同じくらい簡単であれば、何も書いたりオープンソース化したりする必要はないことは言うまでもありません。

ほとんどの研究者はビターレッスンについて聞いたことがあるでしょう。あまり議論されていませんが、同様に思慮深い短いエッセイは「ワンステップトラップ」を紹介しました。局所的な予測の観点から複雑な動的システムをモデル化することは、しばしばトラップです。この作業では、主にトレーナーとサンプラーの間の相互作用に焦点を当てました。私たちの会社では、人々モデルとの相互作用のダイナミクスに焦点を当てています。独立したタスクに最適化されたモデルのみを構築した場合、それらは人々とその目標、および他者との相互作用を理解することによってもたらされる非局所的な長ホライゾン価値を学ぶことは決してありません。シングルステップアプローチはより簡単なものですが、ほとんどの場合、取るに値するものではありません。

謝辞

FlashInfer、TransformerEngine、SGLang、Megatron-LM、Milesとの機能統合に取り組んでくれたRadixArkとNVIDIAの素晴らしい協力者に、改めて感謝いたします。彼らなしでは何も不可能でした!

参考文献

引用

この作業は以下のように引用してください。

Li, Ziang and humans& ai, "The 4-bitter Lesson: Balancing Stability and Performance in NVFP4 RL",
humans& ai Blog, Jul 2026.

またはBibTeX引用を使用してください。

@article{li2026nvfp4rl,
  author = {Ziang Li and humans\& ai},
  title = {The 4-bitter Lesson: Balancing Stability and Performance in NVFP4 RL},
  journal = {humans\& ai Blog},
  year = {2026},
  month = jul,
  note = {https://humansand.ai/blog/nvfp4-rl.html}
}