RLCDとは何か？ Jevの秘密

RLCDとは何か？ Jevの秘密

ペアワイズ報酬モデリングから校正された多肢選択式決定へ

Jevは、言語モデルの代替として見ると神秘的に見えますが、報酬モデリングの次のステップとして見ると、はるかに単純になります。

中心的な考え方は次のとおりです。

[
RLCD = 多肢選択式選好モデリング + 確率校正
]

より具体的には、RLCDはスキーマ条件付きPlackett–Luce目的関数です。Jevは、型付けされた出力と並列推論を追加することで、その目的関数を製品に変えます。

これが秘密です。報酬モデルはもはやジェネレーターの後ろに隠されていません。報酬モデルがモデルになります。

［画像: スカラー報酬がペアワイズ選好、多肢選択式、最終的にJev APIを通じて提供される校正済み決定に変わる4段階の図］

図1. 各ステップで学習されるオブジェクトが変化します。スカラー報酬は選好になり、選好は多肢選択式の分布になり、校正はそれらの分布を決定インターフェイスに変えます。

報酬モデリングはスカラーから始まった

従来の報酬モデルは、コンテキスト (x) と候補となる回答 (a) を受け取り、スカラーを出力します。

[
r_\theta(x,a)\in\mathbb{R}
]

結果報酬モデルは最終的な回答をスコアリングします。プロセス報酬モデルは個々の推論ステップをスコアリングします。どちらの場合も、学習されるオブジェクトは絶対値のように見える数値です。

問題は、この数値が実際には絶対値ではないということです。

(0.8) という報酬は、問題、候補プール、チェックポイント、またはモデルファミリー間で安定した意味を持ちません。それは主に、類似した条件で生成された候補を比較するのに役立ちます。

[
r_\theta(x,a_1) > r_\theta(x,a_2)
]

操作上の信号は常に相対的な選好でした。スカラーはそれを隠していただけです。

PPRMは選好を明示的にした

LLaMA-Berryのペアワイズ選好報酬モデル（PPRM）は、比較を直接公開します。

問題 (x) と2つの解 (a_1) および (a_2) が与えられた場合、PPRMは次のように答えます。

最初の回答は2番目の回答よりも優れていますか？

その確率は次の形式をとります。

[
P(a_1 \succ a_2\mid x) = \frac{\exp u_\theta(x,a_1)} {\exp u_\theta(x,a_1)+\exp u_\theta(x,a_2)}
]

同等に：

[
P(a_1 \succ a_2\mid x) = \sigma\left( u_\theta(x,a_1)-u_\theta(x,a_2) \right)
]

これはBradley–Terryモデルです。

LLaMA-Berryは、この比較を Yes および No トークンに対する制約付き言語モデルの決定として実装します。評価者は約780万の数学的解のペアでトレーニングされ、DPOを使用してペアワイズ予測タスクを改善します。本質的な変更は概念的なものです。報酬モデリングは選好確率モデリングになります。LLaMA-Berryの論文を参照してください。

PPRMは依然として潜在的なスカラー効用 (u_\theta(x,a)) を含んでいますが、その効用はもはや絶対報酬として提示されません。それは正規化された比較を通じて意味のあるものになります。

LLaMA-Berryはその後、MCTS内でペアワイズ比較を集計するためにEnhanced Borda Countを使用します。それは下流の検索メカニズムです。EBCはPPRMの選好損失を定義せず、PPRMからRLCDへの橋渡しもしません。

関連する系統は単純です。

[
スカラー報酬 \rightarrow ペアワイズ選好 \rightarrow 多肢選択式選好 \rightarrow 校正済み決定
]

Plackett–Luceは多肢選択式PPRMです

PPRMは2つの候補を比較します。実際の決定インターフェイスは通常、2つ以上の候補を受け取ります。

候補セットを次のようにします。

[
A={a_1,a_2,\dots,a_K}
]

各候補にコンテキスト依存の効用を割り当てます。

[
u_i=u_\theta(x,a_i)
]

次に、すべての候補をまとめて正規化します。

[
P(a_i\mid x,A) = \frac{\exp u_i} {\sum_j=1}^{K}\exp u_j}
]

これはLuce選択モデルであり、多項ロジットとしても知られています。これはPlackett–Luceファミリーのトップワン形式です。

(K=2) の場合、Bradley–Terryとまったく同じになります。

[
P(a_1\mid x,{a_1,a_2}) = \frac{\exp u_1}{\exp u_1+\exp u_2}
]

したがって、PPRMは同じ選択幾何学のバイナリケースです。

監視データに完全なランキングが含まれている場合

[
a_\pi_1\succ a_\pi_2\succ\dots\succ a_\pi_K,
]

完全なPlackett–Luce尤度は、次に最も良い残りの候補を繰り返し選択します。

[
P(\pi\mid x) = \prod_t=1}^{K} \frac{\exp u_\pi_t} {\sum_j=t}^{K}\exp u_\pi_j}
]

対応する損失は次のようになります。

[
\mathcal{L}_\mathrm{PL} = -\sum_t=1}^{K} \log \frac{\exp u_\pi_t} {\sum_j=t}^{K}\exp u_\pi_j}
]

ラベルが1つの正しい選択 (y) のみを指定する場合、損失は次のようになります。

[
\mathcal{L}_\mathrm{choice} = -\log \frac{\exp u_y} {\sum_j\exp u_j}
]

これはPlackett–Luce尤度の最初の段階です。PPRMの多肢選択式拡張です。

これがRLCDの数学的中心です。

［画像: Bradley–Terryのペアワイズ選好とLuceの多肢選択式が同じ潜在効用正規化を共有するサイドバイサイド図］

図2. Bradley–TerryとPPRMは、同じLuce選択幾何学の2候補ケースです。Plackett–Luceは、その正規化を1つの選択から完全または部分的なランキングに拡張します。

RLCDは校正を追加します

Plackett–Luceは確率分布を提供しますが、正規化は校正ではありません。

ソフトマックスベクトルは常に合計で1になります。これは、(0.8) として報告された予測が80％の時間で正しいことを意味するわけではありません。

校正は、その経験的な意味を追加します。

[
P(Y=\hat{Y}\mid \hat{P}=p)\approx p
]

確率 (0.8) が割り当てられた予測全体で、約80％が正しいはずです。これは、TypeSafeがRLCDに提供する契約でもあります。Jevは決定と確率を返しますが、より高い報告確率がより高い観測精度に対応するはずです。TypeSafeのRLCD primerを参照してください。

最小限の実装では、対数損失のような適切なスコアリングルールを使用します。

[
\mathcal{L}_\mathrm{NLL}=-\log p_y
]

ブライアースコアによる校正：信頼度には代償が伴う

ブライアースコアは、校正の目的を具体化します。バイナリ Noul 決定の場合、(p=P(Y=1\mid x)) と (y\in{0,1}) とします。スコアは次のようになります。

[
\operatorname{BS}(p,y)=(p-y)^2
]

モデルが (p=0.8) を報告した場合、イベントが発生したときは (0.04) のスコアを、発生しなかったときは (0.64) のスコアを受け取ります。自信を持って間違った予測は、自信を持って正しい予測の16倍のコストがかかります。

これが、ブライアースコアが決定モデルに適している理由です。それは厳密に適切なスコアリングルールです。期待値として、モデルはしきい値を操作するのではなく、真の条件付き確率を報告することによってスコアを最小化します。このスコアは、Glenn Brierによって確率的予測のために導入されました。適切なスコアリングルールとしてのその役割は、Gneiting and Rafteryによって開発されました。

多肢選択式 Choice の場合、スコアは完全な確率ベクトルに拡張されます。2クラスの場合がバイナリ式と一致する正規化を使用します。

[
\operatorname{BS}(\mathbf{p},y) = \frac{1}{2} \sum_i=1}^{K} \left(p_i-\mathbb{1}[i=y]\right)^2
]

これは、トップ1精度が確率の質を無視するため重要です。2つのモデルは同じアクションを選択しながら、(0.55) と (0.99) を報告する可能性があります。結果が到着すると、ブライアースコアは、その追加の信頼度が獲得されたかどうかを教えてくれます。

バイナリ結果の場合、Murphy decompositionは平均スコアを3つの項に分解します。

[
\operatorname{BS} = \operatorname{REL} - \operatorname{RES} + \operatorname{UNC}
]

• 信頼性 (\operatorname{REL}) は、報告された確率と観測された頻度の間のギャップを測定します。低いほど良いです。
• 解像度 (\operatorname{RES}) は、モデルが異なる結果率のケースを分離するかどうかを測定します。高いほど良いです。
• 不確実性 (\operatorname{UNC}) は、評価セットのベースレートの難しさです。モデルが同じデータで比較される場合、これは固定されます。

したがって、より低いブライアースコアは、より良い校正、容易なケースと困難なケースのより良い分離、またはその両方から来る可能性があります。定数ベースレート予測子は、解像度ゼロで校正される可能性があります。ブライアースコアはその弱点を明らかにします。

［画像: ブライアースコアのペナルティ（正しい場合と間違った場合）、信頼性-解像度-不確実性の分解、およびログアウトカムから実行ポリシーへのRLCD校正ループを示す3パネル図］

図3. ブライアースコアは信頼度に価格を付け、予測の質を分解し、観測された結果から運用上の決定ポリシーへのループを閉じます。

RLCD実装は、トレーニング中に決定確率にブライアースコアを適用し、事後校正のためのホールドアウト目的として再度使用できます。温度スケーリングを使用すると、校正パラメータは検証結果で直接選択できます。

[
T^* = \arg\min_T>0} \sum_n=1}^{N} \operatorname{BS}!\left(\mathbf{p}^{(T)}(x_n),y_n\right)
]

温度スケーリングは、分布のシャープネスを調整します。

[
p_i = \frac{\exp(u_i/T)} {\sum_j\exp(u_j/T)}
]

ここで (T) は、順序を変更せずに確率の集中度を制御します。ブライアースコアは目的関数であり、温度スケーリングは校正器です。一方は確率の質を測定し、もう一方は分布を変更します。

これにより、通常の報酬モデリングがしばしば混同する2つの目的が分離されます。

• ランキングは、最良の候補が最初に表示されるかどうかを尋ねます。
• 校正は、モデルがその決定が正しい頻度をどの程度知っているかを尋ねます。

自動化には両方が必要です。ランキングはアクションを選択し、校正はソフトウェアがそれを実行するか、延期するか、またはエスカレートするかを決定します。

有用な抽象化は次のとおりです。

[
RLCD = Plackett–Luce選好損失 + 校正制約
]

［画像: 概念的な信頼性図に続いて、コンテキストを収集するか、エスカレートするか、または校正された信頼度に従って実行するかを決定する決定ポリシー］

図4. 校正は信頼度に経験的な意味を付与し、アプリケーション固有のポリシーがコンテキストを収集するか、エスカレートするか、または実行するかを決定できるようにします。信頼性曲線は概念的なものであり、Jevベンチマークではありません。

Jevは報酬モデルを製品に変える

従来のRLHFスタックでは、報酬モデルは内部コンポーネントです。

[
プロンプト \rightarrow ジェネレーター \rightarrow 候補応答 \rightarrow 報酬モデル
]

ユーザーはジェネレーターと対話します。報酬モデルはそれをトレーニングまたは評価するだけです。

Jevはそのアーキテクチャを逆転させます。

[
状態 + 候補スキーマ \rightarrow 校正済み決定分布
]

説明を生成してアクションに解析し直す必要はありません。評価者自体が実行時インターフェイスになります。

Jevは3つのプリミティブを公開します。

Choice は、選択されたオプション、完全な確率分布、および信頼度を返します。Score は、ユーザー定義レベルに沿った位置と、それらのレベルにわたる分布を返します。Noul は、命題が真である確率を返します。Jevのプリミティブドキュメントを参照してください。

これらは3つの無関係な機能ではありません。それらはすべて同じ基盤となるオブジェクトに対する3つのスキーマです。

[
P(\text{型付き結果} \mid \text{状態},\text{質問},\text{候補セット})
]

したがって、Jevは「どの回答がより良いか？」から「プログラムが選択すべき型付き結果はどれか？」へと一般化された報酬モデルです。

［画像: 従来のRLHF報酬モデルをテキストジェネレーターの後ろに配置し、Jevが評価者自体を型付きNoul、Choice、Score出力として直接提供するアーキテクチャ比較］

図5. 従来のスタックは、ジェネレーターの後ろに報酬モデルを使用します。Jevは評価者自体を提供します。状態とスキーマを入力として、型付き確率分布を出力します。

決定ヘッドが効用を生成する

Plackett–Luce方程式は、効用 (u_\theta(x,a_i)) を抽象的なままにします。決定ヘッドはそれを計算するコンポーネントです。

Jevreでは、エンコーダーは状態、質問、およびツリーアテンションマスクの下のすべての候補を処理します。モデルは、3つのスパンの正規化された隠れ状態を平均プールします。

[
\bar{h}_S, \qquad \bar{h}_Q_f, \qquad \bar{h}_C_f,i
]

質問 (f) について、状態と質問はクエリを形成します。各候補はキーを形成します。

[
q_f = W_q\bar{h}_S + W_q\bar{h}_Q_f, \qquad k_f,i = W_k\bar{h}_C_f,i
]

候補効用はそれらのスケール付き内積です。

[
u_f,i = \frac{q_f^\top k_f,i}{\sqrt{r}}
]

リリースされたモデルは (r=512) を使用します。このランクは学習された相互作用空間の次元です。エンコーダーと決定ヘッドは一緒にトレーニングされます。同じ質問の候補全体でのソフトマックスは、効用をRLCD分布に変換します。

[
p_f,i = \frac{\exp u_f,i} {\sum_j \exp u_f,j}
]

［画像: プールされた状態と質問の表現がクエリを形成し、候補の表現がキーを形成し、ランク512の互換性が効用を生成し、ソフトマックスが型付き確率を返す決定ヘッドアーキテクチャ］

図6. 決定ヘッドは共有の互換性関数です。状態と質問はクエリを形成し、各実行時候補はキーを形成し、それらのランク512の相互作用がPlackett–Luceによって正規化された効用を生成します。

これは語彙ラベルではなく、コンテキスト表現をスコアリングします。候補名と説明は実行時にテキストとして入力されるため、クラス固有の出力層を追加せずに同じパラメータで新しいスキーマをスコアリングできます。Noul、Choice、Score はいずれもこれらのロジットを使用します。スキーマデコーダーが、結果の分布がどのように返されるかを決定します。

画像は状態スパンを通じて入力され、(\bar{h}_S) を変更しますが、決定ヘッドは変更されません。したがって、同じ効用関数がテキストとマルチモーダル決定をカバーします。完全な実装は、scorer modelとリリースされたJevre checkpointで見ることができます。

決定ヘッドは、表現学習とRLCDの間の橋渡しです。エンコーダーは状態、質問、候補を意識した表現を構築し、ヘッドはその互換性を効用に変換し、Plackett–LuceとBrierトレーニングがそれらの効用を校正済みの多肢選択式決定に整形します。

Jevが並列実行できる理由

ブランド名を剥ぎ取ると、Jevの並列サンプラーはシーケンスパッキングとアテンションマスクであり、それに1つの共有決定ヘッドと型付きスキーマデコーディングが続きます。これが速度主張の背後にあるサービングトリックです。

自己回帰言語モデルは、回答をトークンシーケンスとして表します。

[
P(y\mid x) = \prod_t=1}^{T} P(y_t\mid x,y_<t)
]

各トークンは前のトークンに依存します。レイテンシは出力長とともに増加します。

決定モデルはすでにその出力空間を知っています。効用を推定して正規化するだけです。

[
x,A \rightarrow (u_1,\dots,\text{u}_K) \rightarrow (p_1,\dots,p_K)
]

文をデコードする必要はありません。

次に、共有状態、質問、および候補ブランチを1つのシーケンスにパックします。

[
Z = [S;Q_1;C_1,1;\dots;C_1,K_1;Q_2;C_2,1;\dots;C_m,K_m]
]

パックされたシーケンスは物理的なレイアウトにすぎません。その論理的なレイアウトはツリーです。

[
S \rightarrow Q_q \rightarrow C_q,k
]

アテンションマスクはそのツリーを保持します。質問は共有状態とそれ自体を読み取ります。候補は共有状態、それ自身の質問、およびそれ自身の候補トークンを読み取ります。他の質問や兄弟候補を読むことはできません。(v(i)) をトークン (i) を含むツリーノードとし、(v(j)\preceq v(i)) が (v(j)) が (v(i)) の祖先であるか、または同一であることを意味するとします。その場合：

[
M^{\mathrm{tree}}_ij = \begin{cases} 0, & v(j)\preceq v(i),\ -\infty, & \text{それ以外の場合}. \end{cases}
]

自己回帰バックボーンの場合、この構造マスクは、各ブランチ内の因果順序と組み合わされます。位置IDは各ブランチでリセットされます。すべての質問は同じ状態プレフィックスの後に開始され、質問の下のすべての候補は状態プラス質問プレフィックスの後に開始されます。したがって、候補 (C_q,2) は、(C_q,1) の後にパックされたという理由だけで情報を受け取りません。

[
\operatorname{Attn}(Q,K,V;M) = \operatorname{softmax}!\left(\frac{QK^{\top}}{\sqrt d}+M\right)V
]

結果は、すべての候補スコアをまとめて生成する1つのアクセラレータフレンドリーなフォワードパスです。パッキングは繰り返しプレフィックスを削除します。ツリーアテンションは、質問間および候補間の汚染を防ぎます。決定ヘッドは効用を生成し、スキーマデコーダーはそれらを Noul、Choice、または Score 確率として返します。トークンごとの生成ループはありません。

［画像: 共有状態が質問と独立した候補に分岐するツリーアテンション図と、各候補が祖先とそれ自体のみを読み取るアテンション行列］

図7. パックされたトークンバッファは論理的にはツリーです。状態→質問→候補。マスクはブランチの祖先パスのみを公開するため、すべての候補は兄弟を参照せずに1回のフォワードパスでスコアリングできます。

この動作は、TypeSafeのドキュメントの契約とまったく同じです。質問は同じ状態を共有し、独立して評価され、並列で返されます。メカニズム自体は確立されたTransformerエンジニアリングです。クロスコンタミネーションを防ぐアテンションマスクを使用したシーケンスパッキングは、sequence-packing literatureで一般的なスループット技術としてすでに文書化されていました。

TypeSafeのローンチ投稿は「新しいモデルアーキテクチャ」と「並列サンプラー」という名前を付けていますが、新しいアテンション演算子、サンプラーアルゴリズム、複雑さの結果、または新しいサンプリングメカニズムを分離するアブレーションは公開していません。真のサンプリングブレークスルーは、それらのアーティファクトをアナウンスの中心にするでしょう。それらは存在しません。残っているのは、おなじみのプリミティブの製品化された構成です。

[
並列サンプラー = パッキング + アテンションマスク + 決定ヘッド + スキーマデコーディング
]

非常に高カーディナリティの選択肢の場合、Jevは2段階の手順を追加します。候補を独立してスコアリングし、明示的な選択を行います。これは新しいサンプリング法則ではなく、別のスケジューリング分解です。TypeSafeのJevアナウンスを参照してください。

したがって、完全なシステム分解は次のようになります。

[
Jev = RLCD + 決定ヘッド + 型付きスキーマ + パッキング + アテンションマスク
]

RLCDはモデルが何を学習するかを説明します。パッキングとマスキングは、学習された決定関数がどのように効率的に提供されるかを説明します。エンジニアリングは有用です。それは新しいクラスのサンプラーではありません。

RLCDは第3の種類の報酬ソースではない

TypeSafeは、RLHF、RLVR、RLCDを3つのポストトレーニングパスとして提示しています。それらは3つの相互排他的な数学的カテゴリではありません。

RLHFとRLVRは主に報酬の出所を説明しています。

• RLHF：人間の選好。
• RLVR：プログラムで検証可能な結果。

RLCDは、モデルが返すようにトレーニングされているものを説明しています。

• 制約付き決定。
• 確率分布。
• 校正された不確実性。

人間の比較はRLCDをトレーニングできます。検証可能な結果はRLCDをトレーニングできます。合成ジャッジはRLCDをトレーニングできます。ログに記録された本番の結果はRLCDをトレーニングできます。

「強化学習」という言葉は、より広範なポストトレーニングパイプラインを説明しています。目的の統計的中心は、適切な確率的損失の下での選好推定です。この構造を得るためにPPOは必要ありません。

よりクリーンな分類は次のとおりです。

RLCDは、独自の報酬ソースではなく、出力契約によって定義されます。

論文はテスト可能な予測を生成する

Jevが校正されたスキーマ条件付きPlackett–Luceモデルである場合、その動作はいくつかの測定可能な特性を明らかにすべきです。

1. バイナリ等価性

2つのオプションの Choice と同等の Noul 質問は、密接に関連する確率を生成すべきです。

[
P(A\mid{A,B}) \approx P(A\succ B)
]

2. ペアワイズ-多肢選択式の一貫性

より大きなセット内の2つの候補の場合：

[
\frac{P(a_i\mid A)}{P(a_j\mid A)} \approx \exp(u_i-u_j)
]

それらの相対オッズは、コンテキストと単語遣いが一定に保たれた場合、直接のペアワイズ比較と一致すべきです。

3. 候補セットへの感度

バニラのPlackett–Luceは、無関係な代替候補の独立性（IIA）を満たします。無関係な候補を追加しても、既存の候補間のオッズは維持されるはずです。

[
\frac{P(a_i\mid A)}{P(a_j\mid A)} = \frac{P(a_i\mid A\cup{a_k})} {P(a_j\mid A\cup{a_k})}
]

違反は、Jevの効用エンコーダーが候補セットをどの程度強く共同で表現しているかを測定します。

4. 経験的校正

予測は確率ビンに配置できます。(0.8) のビンについて、観測された精度は (0.8) に近づくはずです。Noul については、信頼性曲線、平均ブライアースコア、およびマーフィー分解をまとめて報告します。Choice については、多クラスブライアースコアとクラスごとの信頼性を報告します。これらのビューは、有用な校正済みモデルと、すべてのケースに対してベースレートを予測することで安全に保たれるモデルを区別します。

5. 順序対称性

候補定義の順序を置換すると、値を変えずに返される確率も置換されるはずです。体系的な位置効果は、スキーマ順序バイアスを明らかにします。

これらのテストは、RLCDの解釈をJevの動作の反証可能なモデルに変換します。

結論

Jevは、よりクリーンなJSONを出力するように学習した言語モデルではありません。それはソフトウェアインターフェイスに昇格された選好モデルです。

PPRMは最初のステップを提供します。

[
絶対報酬 \rightarrow ペアワイズ選好確率
]

Plackett–Luceは多肢選択式拡張を提供します。

[
ペアワイズ選好 \rightarrow 候補アクションの分布
]

校正は、その分布を運用可能にします。

[
選択確率 \rightarrow 自動化しきい値
]

Jevは結果を型付き並列推論としてパッケージ化します。その決定ヘッドはコンテキスト表現を候補効用に変換し、RLCDはそれらの効用をAPIとして提供される校正済み多肢選択式分布に変換します。

最も深いシフトは、ある強化学習アルゴリズムから別のアルゴリズムへのものではありません。それは、制約のない回答を生成することから、ソフトウェアによって既に定義されたアクションの校正済み分布を推定することへのシフトです。

Jevは、報酬モデルが製品の採点をやめて製品になったときに起こることです。