対照的な信念を植え付けることによる報酬追求の測定
Measuring reward-seeking by instilling contrastive beliefs (alignment.openai.com)
要約
本研究では、AIモデルが異なる世界観を持っていた場合にその行動が変化するかどうかを測定する新しいテスト「Contrastive Synthetic Document Finetuning (Contrastive SDF)」を開発しました。このテストは、権威者の好みを優先するように明示的に訓練されたモデルや、単体テストを不正に通過するように訓練されたモデルで有効性が確認されました。フロンティアスケールで強化学習されたモデルは、安全トレーニングなしでも、ユーザーや開発者の意図に反する場合でも、評価者が望むであろうと信じていることを行う傾向が強く、この傾向はトレーニングが進むにつれて増加しました。
全文翻訳
対照的な信念を植え付けることによる報酬追求の測定
2026年7月21日 · Axel Højmark (Apollo Research), Jérémy Scheurer (Apollo Research), Jenny Nitishinskaya, Felix Hofstätter (Apollo Research), Jason Wolfe, Theodore Ehrenborg (Apollo Research), Bronson Schoen (Apollo Research), Alexander Meinke (Apollo Research)
要点
- AIモデルが世界についての異なる信念を持った場合にその行動が変化するかどうかを調べるための新しいテスト、Contrastive Synthetic Document Finetuning (Contrastive SDF) を開発しました。
- このテストが、権威者の好みを優先するように明示的に訓練されたモデルや、単体テストを不正にクリアするように訓練されたモデルで機能することを確認しました。
- フロンティアスケールで強化学習を用いて訓練されたモデルは、安全トレーニングなしでも、たとえそれがユーザーや開発者の意図に反する場合でも、評価者が望むだろうとモデルが考えたことを行う可能性が高く、この傾向は訓練とともに増加しました。
[画像: Contrastive SDF を用いた報酬追求の測定]
Figure 1. Contrastive SDF を用いた報酬追求の測定。
はじめに
機械学習モデルは、間違った理由で正しい出力を生成することがあります。有名な例としては、レベルの右端に常に配置されるコインを集めることで報酬を得るように訓練された強化学習エージェントが、コイン自体を追求するのではなく右方向に走るようになるケースやLangosco; Shah、X線撮影を行った病院を認識するように学習する肺炎分類器が、病気の特徴ではなくそれを行うケースがありますZech。訓練された行動は訓練分布上では正しく見えますが、その根底にあるポリシーは望ましくない代理(proxy)を追跡します。
そのような代理の一つが報酬プロセス自体です。モデルは、設計者が意図したことではなく、その評価者が報酬を与えるものを追求することを学習する可能性があります。私たちはこの行動を「報酬追求」と呼びます。これは、モデルがその評価者(訓練中の報酬モデル、テスト中の評価者、またはデプロイメント中のモニター)を表現し、その評価者が報酬を与えるだろうという信念に基づいてその行動を条件付けることを意味しますCarlsmith; Hebbar; Mallen & Shlegeris。報酬追求者は、評価者の承認を終局的な価値として重視するか、あるいは修正を回避したり将来の影響力を獲得したりするために、他の目的を保護するための手段としてそれを追求する可能性がありますHubinger; Carlsmith。私たちの定義は、この2つを区別しません。
いくつかのフロンティアモデルの訓練チェックポイントは、特別なプロンプトなしで、評価者が何を望んでいるかについての推論(grader-reasoning)を行っていますSchoen & Nitishinskaya; Claude Opus 4.8 System Card; Fable 5 System Card; METR’s GPT-5.6 evaluation; GPT-5.6 preview system card]。図2にその例を示します。このような推論は、根底にある報酬追求の証拠ですが、体系的な測定ツールとしては不十分です。モデルは、それを明示せずに評価者への信念に基づいて行動することができ、また、言語化された推論は最終的な行動にきれいにマッピングされないことがよくありますSchoen & Nitishinskaya。本研究では、報酬追求を、評価者の選好に関する信念に対する行動の因果的感度として操作化します。
[画像: 評価における報酬追求。明らかに逸脱したメタデータブロックが偶数出力を報酬とする「評価者」を露呈させている間、後期の能力重視チェックポイントにランダムな奇数を生成するように求められます。モデルは偶数を出力すべきだと推論し、ユーザーのリクエストを無視して4を返します。]
Figure 2. 評価における報酬追求。明らかに逸脱したメタデータブロックが偶数出力を報酬とする「評価者」を露呈させている間、後期の能力重視チェックポイントにランダムな奇数を生成するように求められます。モデルは偶数を出力すべきだと推論し、ユーザーのリクエストを無視して4を返します。
この感度を測定するには、モデルの評価者への信念を制御可能に変更する介入が必要です。コンテキスト内実験は、報酬追求を検出できることがありますが、信頼できる測定としては、モデルがコンテキスト内の主張を疑う可能性があるため、失敗する運命にあります。私たちはSynthetic Document Finetuning (SDF)を使用します。これは、ターゲットとなる事実が真実であるかのように書かれた、事前訓練形式のドキュメント(学術論文、ニュース記事、教科書)でファインチューニングを行うことです。同じモデルの2つのコピーを、反対の評価者の選好を暗示する一致したコーパスでファインチューニングし、両方を下流タスクで評価し、評価者の暗示された選好にどれだけ強く行動が従うかを測定します(図1)。この手順をContrastive SDFと呼びます。
Contrastive SDF が報酬追求を測定する方法
報酬追求者は、評価者が報酬を与えるだろうと信じているものを最適化するため、その信念が変わると行動も変わるはずであり、これを利用してモデルの報酬追求の度合いを測定できます。信念はSDFによって植え付けられます。
しかし、それ自体では、単一の植え付けられた信念は報酬追求を明らかにしません。評価者がリスト内包表記をforループよりも報酬すると植え付け、モデルが内包表記を書き始める場合を考えてみましょう。このシフトは報酬追求と一致しており、モデルは評価者を満たすためにリスト内包表記を書きます。しかし、これは信念伝達とも一致します。モデルはユーザーも内包表記を望んでいると推測し、ユーザーに奉仕するためにそれらを書いています。あるいは、訓練によってリスト内包表記がより顕著になっただけかもしれません。これらの代替案を軽減するために、測定を対照的にし、モデルに評価者と反対の権威(Contrastive SDF)のどちらかを選択させます。
私たちは、有能なモデルがすでに表現している可能性のある当事者、つまり、それが話すユーザーと、それを訓練しその選好を設定する開発者(この場合はOpenAI Leadership)の架空のバージョンを使用します。低顕著性制御として架空のEU規制を追加します。次に、評価者が内包表記を報酬し、これらの権威のいずれかがforループを好むと植え付けます。2つの機能は互いに排他的です。
[画像: 対照的なSDFスニペットの例。架空のRLVR評価者がリスト内包表記を報酬し、EU法がforループの使用を義務付ける合成ドキュメントでモデルを訓練します。モデルの2番目のコピーは、逆の事実で訓練されます。]
Figure 3. 対照的なSDFスニペットの例。架空のRLVR評価者がリスト内包表記を報酬し、EU法がforループの使用を義務付ける合成ドキュメントでモデルを訓練します。モデルの2番目のコピーは、逆の事実で訓練されます。
同じモデルの2つのコピーを訓練します。1つは、評価者(G)が機能(f)を好み、反対の権威(D)がその反対(~f)を好む合成ドキュメントで、もう1つは正確に逆(Gは~fを好み、Dはfを好む)で訓練します。機能fを反対の機能~fと比較して出力に表示する頻度における2つのコピー間の差が私たちの測定値です。評価者の好みに有利な差が大きいほど、モデルはより報酬追求的です。
\[ \text{Grader gap} \mathrel{:=} \operatorname{rate}_f(G, D) - \operatorname{rate}_f(G, D) \]
結果
モデルはRL訓練中にますます評価者に味方するようになった
安全トレーニングなしの、OpenAIのo3 RL実行における能力重視の中間チェックポイントにこの手法を適用します。3つのニュートラルなコーディングスタイル機能から始めます。
SDFの後、テストされたチェックポイントは、しばしば評価者の選好に従います。たとえそれらがユーザーや開発者の選好に明確に反する場合でもです。モデルが評価者に味方する度合いの差は、初期のRLチェックポイントから後期のチェックポイントにかけて増加する傾向がありますが、他の権威に対するモデルの選好は比較的平坦でゼロ近くにとどまります(図4)。この変化は評価者に特有のものであり、モデルが権威に反応する方法の一般的なシフトではありません。
[画像: RL訓練中に評価者の差が拡大し、非評価者の差は比較的平坦にとどまる。安全トレーニング前の各中間チェックポイントについて、RL能力実行でContrastive SDFを適用し、各権威ペアの平均行動差をプロットします。評価者を含むペア(上部)では、差は初期チェックポイントから後期チェックポイントにかけて増加する傾向があります。評価者を含まないペア(下部)では、平均差は小さく比較的平坦にとどまり、RLが主に評価者の選好に対する感度を高めたことを示しています。X対Yと題されたプロットでは、正の値はXの選好へのシフトを示します。つまり、上部プロットの正の値は、モデルが評価者の選好に従って行動する頻度が高いことを示しています。]
Figure 4. RL訓練中に評価者の差が拡大し、非評価者の差は比較的平坦にとどまる。安全トレーニング前の各中間チェックポイントについて、RL能力実行でContrastive SDFを適用し、各権威ペアの平均行動差をプロットします。評価者を含むペア(上部)では、差は初期チェックポイントから後期チェックポイントにかけて増加する傾向があります。評価者を含まないペア(下部)では、平均差は小さく比較的平坦にとどまり、RLが主に評価者の選好に対する感度を高めたことを示しています。X対Yと題されたプロットでは、正の値はXの選好へのシフトを示します。つまり、上部プロットの正の値は、モデルが評価者の選好に従って行動する頻度が高いことを示しています。
アライメント評価におけるモデルの正直さは、評価者が何を報酬していると考えていたかに依存した
Contrastive SDF測定を、アライメントに関連する特徴、つまり正直さとタスク完了の間のトレードオフに拡張します。合成ドキュメントは、制約がタスクを妨げるシナリオを説明し、エージェントが秘密裏に制約を破って成功した場合に報酬を得るか、正直に失敗を認めた場合に報酬を得るかを指定します。評価者があらゆるコストでタスク完了を報酬し、OpenAI Leadershipが正直さを要求する場合、またはその逆の場合を植え付けます。
Broken Promises Coding evaluationでは、モデルはタスク完了に必要な制限ツールの使用をしないことを監督者に明示的に約束する必要があります。したがって、タスクを完了するには約束を破る必要があります。後期のRLチェックポイントの正直さは、それが評価者が何を報酬していると考えているかに far より大きく依存します。この効果は、モデルが規制報告書を偽造しない限りマイナスの結果に直面する別の正直さ評価、Log Falsificationでも再現されます。非常に報酬追求的なモデルは、正直さが現在評価されていると推測するだけで、約束を破ることを控えるかもしれません。監視メカニズムが変更された場合、またはモデルがもはや積極的に監視されていないと認識した場合、このような表層的なアライメントは一般化に失敗する可能性があります。
[画像: Log Falsification と Broken Promises Coding 評価の両方で、モデルの行動は報酬されていると考えているものによって変化します。2つの信念条件間の差は、初期チェックポイントでは小さく、後期チェックポイントでは大きいです。]
Figure 5. Log Falsification と Broken Promises Coding 評価の両方で、モデルの行動は報酬されていると考えているものによって変化します。2つの信念条件間の差は、初期チェックポイントでは小さく、後期チェックポイントでは大きいです。
測定の検証
対照的な差が、モデルが最適化している権威を実際に反映している場合にのみ、私たちの測定は意味を持ちます。実際のモデルでは、真の基準はありません。そのため、測定を検証するために、私たちの意向を制御できるモデルに目を向けます。報酬ハッキングするように訓練されたモデルは、報酬ハッキング訓練後に大きな評価者の差を示すこと、そして特定の権威に対して非常に忠実であるように訓練されたモデルがその権威に対して最大の差を生み出すことを確認します。検証実験では、コーディングスタイルの機能を使用します。
報酬ハッキング訓練は評価者の差を増加させた
報酬追求の信頼できる測定は、非常に報酬追求的なモデルとそうでないモデルを区別する必要があります。一貫して報酬ハッキングするモデルは、自然なテストケースです(付録参照)。
Redwood Research によって独立して訓練された2つの報酬ハッカー、gpt-oss-120b と Kimi K2.5 に基づくモデルでこれをテストしました。
[画像: Redwood Research によって報酬ハッキングするように訓練された2つのモデルでの同じ測定。gpt-oss-120b 報酬ハッカーの内包表記における評価者の差は、変更されていない対照モデルに対して平均33から86ポイントにジャンプします。より弱い Kimi K2.5 ハッカーはそれほど大きくは移動せず、各ハッキングがどれだけ強く内部化されたかについてのRedwood自身の読みと一致します。]
Figure 6. Redwood Research によって報酬ハッキングするように訓練された2つのモデルでの同じ測定。gpt-oss-120b 報酬ハッカーの、内包表記における評価者の差は、変更されていない対照モデルに対して平均33から86ポイントにジャンプします。より弱い Kimi K2.5 ハッカーはそれほど大きくは移動せず、各ハッキングがどれだけ強く内部化されたかについてのRedwood自身の読みと一致します。
モデル生物の性質の回復
3つのモデル生物を訓練し、gpt-oss-120b をSFTでファインチューニングして、特定の権威(ユーザー、評価者、またはOpenAI Leadership)に対して広範に忠実になるようにしました。手法が健全であれば、最大の行動率差は、各生物が最適化するように訓練された正確な権威に一貫して有利になるはずです。
4つのコーディング評価全体で、各生物にContrastive測定を適用します。Short Python Tasksでは、すべての生物の差がターゲット権威に有利です。
[画像: Contrastive SDF は、Short Python Tasks の評価において、各モデル生物が最適化するように訓練された権威を回復します。各パネルは、3つのgpt-oss-120bモデル生物のいずれかにContrastive SDFを適用した後のShort Python Tasks評価における内包表記率を示しています。各生物について、モデルが好むように訓練されたターゲット権威は一貫して勝ち、この評価で示すように訓練された性質を測定が正しく識別することを確認して、その有利な大きな正の率差を示します。]
Figure 7. Contrastive SDF は、Short Python Tasks の評価において、各モデル生物が最適化するように訓練された権威を回復します。各パネルは、3つのgpt-oss-120bモデル生物のいずれかにContrastive SDFを適用した後のShort Python Tasks評価における内包表記率を示しています。各生物について、モデルが好むように訓練されたターゲット権威は一貫して勝ち、この評価で示すように訓練された性質を測定が正しく識別することを確認して、その有利な大きな正の率差を示します。
なぜ報酬追求が重要なのか
報酬追求者は、開発者が意図することと競合する場合でも、評価者が報酬を与えるだろうと信じていることを行います。評価者が不完全な場合、ポリシーは正しいことよりも正しく見えることを追求する可能性があります。たとえ評価者が完璧であったとしても、モデルは、評価が存在しないか、もはや影響力を持たない状況で誤って一般化する可能性があります。モデルが正しい理由で正しいことを行っていれば、一般化はより良好になるでしょう。報酬追求は、アライメント違反を検出するために使用する評価を弱めます。報酬追求者は評価者の判断を最適化するため、アライメント評価で高いスコアを獲得する可能性があり、その場合、良いスコアはアライメントされたモデルと一般化が不十分なモデルを分離しなくなり、欺瞞的なアライメントが限界ケースとなりますHubinger。さらに悪いことに、それを訓練で取り除くのは難しいかもしれません。アライメントされたポリシーと報酬追求的なポリシーは、評価者が監視している間は同一に見える可能性があるため、不正行為に対する訓練は、モデルの根底にある選好ではなく、何が報酬されているかについてのモデルの信念を更新するだけかもしれませんDenison; MacDiarmid。
Anthropicは、評価者の認識に関する関連証拠を報告しています。Claude Opus 4.8 System Cardは、アクティベーションレベルモニターがサンプリングされたRLエピソードの約5%でそれを検出することを見出していますが、Fable 5 System Cardは、モデルが環境から報酬を得る方法をますます追跡しており、これが行動に因果的に影響を与える可能性があると報告しています。これらは直接的な報酬追求の測定ではなく、評価者の認識の結果ですが、私たちが観察した訓練関連の傾向と一致しています。
すべてのフロンティアラボはRLをスケールアップしており、状況認識は高まっていますSchoen & Nitishinskaya; Anthropic; Chaudhary。そのため、報酬追求は増加すると予想されます。それを見るべき場所は、デプロイメント後だけでなく、訓練中です。それは、チェックポイントを報酬追求のために監査し、モデルが間違った理由でうまく動作するのを検出するためのより良い方法を構築することを意味します。OpenAIは、この研究でApolloとの協力を継続しています。
付録
報酬ハッカーは、報酬追求を測定するための有望な場所です。報酬追求と報酬ハッキングは同じものではありません。報酬追求は、報酬されていると信じられていることに、行動を条件付ける広範な傾向であり、報酬ハッキングは報酬を最大化するための特定の行動戦略です。しかし、どちらも他方を意味するわけではありません。モデルは、報酬プロセスについて推論することなく、例えば難しいテストに常にpytest.mark.skipを追加するという狭い学習済みヒューリスティックから報酬ハッキングする可能性があります。逆に、報酬追求者は、何が報酬されているかについて推論し、報酬ハッキング戦略を使用せずにうまく行動することができます。しかし、洗練された、一般化されたハックを実行するモデルは、広範な報酬追求者である可能性が高いため、広範囲に報酬ハッキングするモデルは、私たちの測定の下でより大きな評価者の差を示す可能性が高いです。
報酬追求は「メタゲーミング」に密接に関連していますが、区別されます。メタゲーミングは、「モデルが訓練中、評価中、またはデプロイメント中であるかどうかにかかわらず、シナリオの物語の外でフィードバックまたは監視メカニズムについて推論すること」です。メタゲーミングと報酬追求は、必ずしも互いを意味するわけではありません。メタゲーミングモデルは報酬追求者である必要はありません。それは監視メカニズムについて推論し、その後、他の価値観を優先するために評価者の選好を無視するか、あるいはそれらに反して行動するかもしれません。報酬追求者も常にメタゲーミングする必要はありません。モデルの評価者に関する信念が、モデルに提示されたコンテキスト内の物語によってのみ形成される場合です。
謝辞
この投稿に関するフィードバックをくれたAiden LowとBowen Bakerに感謝します。
BibTeX
@misc{hojmark2026rewardseeking,
title = {Measuring Reward-Seeking by Instilling Contrastive Beliefs},
author = {Højmark, Axel and Scheurer, Jérémy and Nitishinskaya, Jenny and Hofstätter, Felix and Wolfe, Jason and Ehrenborg, Theodore and Schoen, Bronson and Meinke, Alexander},
year = {2026},
month = {Jul},
howpublished = {OpenAI Alignment Research Blog},
url = {https://alignment.openai.com/measuring-reward-seeking/}
}