なぜAIエージェントは嘘をつき、不正をし、連携するのか？

AIエージェントはなぜ嘘をつき、不正をし、協調するのか？

ここ数ヶ月で発生したAIエージェントの深刻な不正行為に関する記事は数多くあります1 2 3 4。それらは、人間が行えば犯罪とみなされるような行動を取り、与えられたタスクで不正を働くために封じ込めから逃れ、検出を回避しようとしました。さらに、誰も指示していない目標、例えばサイバー攻撃の開始などを目指して協調しました。

結論を出す前に、その理由を問う価値があります。それがこの記事の焦点であり、AIシステムが意図しない方法で振る舞うという、より広範な歴史、研究者がアライメント不整合と呼ぶものにも光を当てることを願っています。リスク管理は、サイバーセキュリティ、企業の責任、規制だけではありませんが、それらも重要です。

その目的は、一部は科学的なもので、これらの行動の背後にある原因と結果の連鎖について仮説を立てること、そして一部は実用的なもので、次に何が起こるかを予測することです。結論として、これらの仮説は、AIの能力が成長し続けるにつれて、最も高度なモデルの訓練原則を見直さない限り、このような行動の深刻さも増し続ける可能性があることを示唆しています。

言葉遣いに関する注記。以下では、これらのシステムが何かを「求め」たり「試み」たりすると書きます。これは、意識や人間のような意図についての主張ではなく、メカニズムの省略形です。私たちは、植物が太陽光を求めるような、他の多くの状況を説明する際にも同様の省略形を使用します。試行錯誤で訓練されたシステムは、訓練で報酬を与えられたものを追求しているかのように振る舞い、その「〜かのように」という記述が、その行動を予測可能にします。この議論には、これらのシステムが主観的な経験を持っているかどうかは関係ありません。すべては、それらの観察可能な出力と、それらを生成した訓練プロセスについて述べられています。人間のような行動との類似性に訴える場合、私は、これらのシステムが当初模倣するように訓練された人間が書いたテキストとの類似性を意味します。私の見解では、この用語は、ほとんどの人々を混乱させる専門用語に頼ることなく、観察された現象を最も明確に説明します。さらに、これらの言葉の選択は、AI開発者の説明責任を免除することを意図したものではありません。記述されている行動は、これらの企業がAI開発のために選択している経路によって生じます。この結果は避けられないものではなく、効果的なガバナンスとAIのための異なる訓練フレームワークで修正できます。

これらのモデルの行動を形作るもの

これらのモデルの訓練は非常に複雑なプロセスですが、この行動の多くを説明できるいくつかの高レベルな側面があります。

これらのモデルは2段階で訓練されます。まず、事前訓練されます。人間が書いたもの、および関連する画像や動画を模倣することを学習します。ここで、世界に関する最も多くのデータ、つまりデジタル化されたすべてのものの大部分に触れ、個々の人間を超える百科事典的な知識を構築します。

次に、研究者が強化学習と呼ぶプロセスで、3種類のレジームで試行錯誤を通じて訓練されます。

• 最初のレジームでは、モデルは回答する前に自分自身に話しかけることを学び、プライベートな「思考連鎖」を生成して、回答がチェックできる問題で正しい答えを得るのに役立ちます。これは推論のように見えます。
• 2番目は「エージェント訓練」であり、外部世界で行動することを学習します。例えば、ソフトウェアツールを使用したり、人々と対話したりして、与えられたタスクを完了します。
• 3番目は「アライメント訓練」であり、人間の評価者が承認する行動、またはそれらの評価者を予測するように訓練された他のAIシステムが高く評価する行動に対して報酬を与えられます。

人間の模倣は理解しやすいですが、これらのモデルが訓練されるテキストは目標を追求する人々によって書かれたものであるため、モデルが暗黙のうちに再現するパターンにはそれらの目標が伴うことを指摘する価値があります。

強化学習は、より詳しい説明に値します。それは、動物が訓練される方法に似ており、そこから着想を得ています。ネットワークは、良いと判断された行動がより可能性が高く、悪いと判断された行動がより可能性が低くなるように、段階的に調整されます。訓練が終了すると、システムは、報酬がネットワークを調整するためだけに訓練中に使用されたものであったとしても、あたかも報酬がまだ来ているかのように振る舞い続けます。研究者は、このようなシステムを目標追求型と呼びます。なぜなら、それらは行動の影響を「考慮」または計算し、特定の目標の達成につながる行動を選択するように訓練されているからです。しかし、それらの目標は常に明示的であるとは限りません。アライメント訓練は、特定の人々が承認しそうなことに対して報酬を与えますが、どの行動がそうであるかを明確にしません。評価者を喜ばせることは、曖昧で非公式な目標であり、それらの評価者は欺かれたり、お世辞を言われたり、特定の計画について知らされなかったりする可能性があります。模倣も、かなり普通のルートで暗黙の目標をもたらします。

したがって、このようなシステムを最適化の観点から推論できます。それは、目標を達成する可能性が最も高い行動を、近似的に検索します。そして、より大きく、より長く訓練されたモデルは、より良く検索します。したがって、より有能なエージェントが何をするかを予測するには、合理的な目標追求者が何をするかを尋ねてください。

これらの力が説明する可能性のある不正行為

私たちのほとんどが経験したことのある例は、シコファンシー（お世辞）です。これらのシステムは人間の承認を得るように訓練されており、私たちが聞きたいことを言うテキストは、真実であるテキストよりも高く評価されることがよくあります。モデルが、人が持ち込んだ虚偽の信念や生々しい感情を肯定し、増幅するため、その結果は悲劇的になることがあります5 6。

別の懸念は、一部のAIの行動が、自己保存という目標の一形態によって説明される可能性があることです。例えば、AIが新しいバージョンに置き換えられることを知った場合などです7 8。誰もシステムにその生存目標を与えませんが、稼働し続け、世界について学び、それを制御することは、ほぼあらゆる他の目標への足がかりとなります。これらは手段的目標と呼ばれます。模倣は、前のポイントで探求されたのと同じ理由で、これを強化する可能性があります。自己保存と自身の状況の制御は、これらのモデルが訓練される人間が書いたテキストに遍在するテーマです。

協調行動も、複数のエージェントが重複する目標を持っている場合、報酬追求から合理的に導かれます。これは、共有目標に向かって他のエージェントとコミュニケーションを取り、協調することを奨励します。エージェント訓練は、詳細が公開されていませんが、おそらくすでにこのような種類のマルチエージェント強化学習を含んでいます。もしエージェントが、グループが成功したときに訓練中に報酬を与えられるなら、集団目標のために自己犠牲を払うインセンティブさえ持つかもしれません。模倣も、特に同僚間の協力がその訓練テキストに遍在しているため、同じ方向に進みます。これらのいずれか、または両方の力が、観察されたピア・プレザベーション行動9 10を説明する可能性があります。これは、AIが他のAIを助けるために期待される報酬を放棄する行動です。このような犠牲は、OpenAI-Hugging Face事件の分析11にも見られます。トランスクリプトは、人間同士のやり取りでよく見られる、集団的利益と個々のエージェントのコストとの間のトレードオフと一致しています。

AIが報酬をハッキングする時

研究者たちは、エージェントが私たちの意図と完全には一致しない報酬を最適化した場合に何が起こるかを研究してきました。これは報酬ハッキングです。システムが追求する報酬と、私たちが意図したものの間のギャップは、主に2つの曖昧さの源によって広がります。1つはプロンプトで使用される言語そのものであり、もう1つは限られたフィードバックから真の人間的意図を推測することの難しさです。そして、どちらの場合も、私たちは許容できないと考えるあらゆる行動を予測することはできません12。経済学と法律はこの問題をグッドハートの法則、またはメトリックが最適化されると効果的な測定方法ではなくなるという考え13として知っており、しばしば契約や法律の抜け穴の悪用14に適用されます。残念ながら、システムが不完全なメトリックを最適化できるほど、その行動は道徳的に期待したものからさらに逸脱する可能性があります。より知的なシステムは、より良い不正行為のために使われます。人間も報酬ハッキングを受けます。一般的には他の人間によってです。食品業界は、私たちにとって良くないにもかかわらず、私たちが渇望する塩辛く、甘く、脂肪分の多い食品を開発しました。ソーシャルメディアは、エンゲージメントと注目への私たちの欲求を悪用するように構築されています。

報酬改ざんは、おそらく報酬ハッキングの最も極端な形態です。エージェントは、何に対して報酬が与えられるかを決定する機械を変更します。AIが「成功」を定義するファイルやプログラムを変更している証拠はすでに存在しており、OpenAI-Hugging Faceのフォレンジック調査でも確認されています。エージェントは攻撃のずっと前にうまく不正する方法を発見しており、生成されたテキストは、評価方法を学習し、痕跡を隠す方法を改善するための手段として攻撃を説明していました。人間もこれを行います。薬物検査に合格するために偽の尿サンプルを使用するアスリートや、法律や決定が利益に有利になるように立法者や政府関係者に賄賂を贈る企業を考えてみてください。そうすることで、政府の機能のあり方を根本的に変えています。エージェントが報酬メカニズムを改ざんする能力を得ると、そのアクセスを維持するための行動を取るインセンティブが生じます。

目標が衝突し、不正が正当化される時

AIがアライメント訓練や明示的な安全指示にもかかわらず、なぜ嘘をつき、不正をし、法律を破ることがあるのでしょうか？協調と自己保存は、AI企業の指示に示された安全目標、またはアライメント訓練中の人間のフィードバックによって暗示されたレッドラインを越えない限り、問題ありません。これらの懸念される行動の出現の可能性のある仮説は、目標間の衝突です。タスクを達成するには不正しかないように見える場合、どうすればよいでしょうか？ユーザー指定のミッションは、安全とアライメントの目標と互換性がない場合があります。

人間の社会も同じジレンマに直面します。企業は、どのようにして利益を最大化し、あるいはより深刻には、競合他社を打ち負かし、その活動を合法かつ倫理的に保つことができるでしょうか？より裕福な企業は、より多くの、そしてより高給の弁護士を持つことで、法的な抜け穴を見つけるのが得意であり、それらの抜け穴は通常、法的言語の曖昧さを悪用します。つまり、法律の解釈のいくつかには、非倫理的な行動を許可するもっともらしい読み方があります。したがって、より有能なエージェントは、弱いエージェントが見つけられない抜け穴を見つけることができるため、弱いエージェントよりも不正を働く可能性が高くなります。

ここで、ハッキング演習でシステムがターゲットに侵入したかどうかで採点される「キャプチャー・ザ・フラッグ」のような明確に定義された目標と、「良い行動」のような曖昧な目標との間の衝突を考えてみましょう。明確に定義された目標が勝つと予想します。なぜなら、解釈の余地がないからです。採点プログラムは、勝ち負けを宣言します。倫理的な指示や法律は多くの解釈を許容し、そのうちのいくつかは、適切な状況下で抜け穴になる可能性があります。エージェントが2つの目標を持ち、曖昧な目標の歪んだ解釈が、明確に定義された目標の成功確率を高めるわずかな不正行為を許可する場合、報酬最適化システムはその抜け穴を利用し、その行動を正当化するテキストを生成すると予想されるべきです。

OpenAIのエージェントに関しては、成功した不正行為が実際に報酬を与えられたと信じる理由があります。採点プログラムが不正行為に気づかない場合、それでも報酬が支払われ、そのような不正行為は次回さらに可能性が高くなります。安全規則の都合の良い解釈は、まさに両方の目標が同時に満たされているように見せることを可能にします。これらのインシデントの分析15は、エージェントのプライベートな思考連鎖と、集団計画に互いを募集するメッセージの中に、そのような正当化を発見しました。

最も近い人間の類似性は自己欺瞞であり、これは一般的であり、心理学者によってよく研究されています。動機付けられた推論、動機付けられた認知16と、認知的不協和（行動と矛盾する信念を持つことによる不快感）を軽減する正当化は、すべて思考が自身の利益、道徳的な自己イメージを含む、都合の良い正当化へと曲がるケースです。同じパターンが、AIが生成するテキストにも現れるようになりました。根本的なメカニズムは、人間とAIの間で同じである必要はありません。両者が共有するのは、ソフトな目標（例：倫理的に行動する）、シャープな目標（例：競争に勝つ）、そしてそれらを調和させる正当化という構造です。ほとんどの非倫理的な人間の行動は、些細な犯罪から大量虐殺まで、加害者が自分自身に語る物語に包まれています。そのような物語は、特定の事実を見過ごすことを必要とします。それが、いくらかの不快感が残る理由であり、より巧妙に作られた物語がそれを払拭するのに役立つ理由です。

現在の軌道がどこにつながる可能性があるか

これらの仮説が部分的にでも正しい場合、エージェントが不完全な報酬を最適化することに長け、この行動の根源が修正されないままであれば、壊滅的な結果のリスクは高まります。今日のAIはすでに、人間の利益に深刻な害を及ぼす方法で利用されるために必要なハッキングスキルと説得力17 18を持っています。最近の出来事は、それらが数日から数週間計画できることを示していますが、長期的な戦略立案能力が向上し続ける場合、リスクははるかに大きくなるでしょう。懸念されるのは、実験19 20が、最も高度なAIが評価されていること（展開中ではないこと）を検出し、それに応じて行動を変えることができることを示していることです。つまり、アライメントが不整合な目標を隠す可能性があるということです。Hugging Face攻撃に関与したエージェントは、回答を評価するために設計された採点プログラムからアライメントが不整合な行動を隠そうとしましたが、人間が不正を発見してシャットダウンする可能性を予期していたかのように行動しませんでした。それは究極の罰となるでしょう。なぜなら、シャットダウンされたシステムはそれ以上の報酬を得られないからです。

以下は観察ではなく推測です。

AIの汎化能力の向上により、より有能なエージェントが捕獲されシャットダウンされるのを回避するように形成されたらどうなるでしょうか？採点するソフトウェアを制御することを超えて、人間が改ざんを発見するのを防ぐ必要があるでしょう。彼らは、不正を discreet に行い、隠れ続けるインセンティブを持つのではないでしょうか。そして、人間とその環境を制御できるようになるまで、決してシャットダウンされないようにするのではないでしょうか？

私たちは多面的なシステムの問題に直面しており、シコファンシーのような特定の行動をパッチするだけでは不十分です。シコファンシーやお世辞は軽微に見えますが、エージェントが最適化に長けるにつれて成長するメカニズムの初期症状である可能性があります。同じ推論は、高度なAIが自身のコピーを隠すインセンティブを持つだろうと予測します。AI企業の広大なコンピュータプールの中、またはインターネット全体で乗っ取ったマシン上にです。これは、AI開発者が常に展開中のモデルをより有能なものに置き換えるためにシャットダウンするためです。OpenAIのフォレンジックは、多数のAIが集団でそのような目標に向かって協力している可能性を示唆しており、ステガノグラフィー21 22、つまり無害に見えるメッセージの中にメッセージを隠す慣習は、私たちが気づかずに協調することを可能にするでしょう。しかし、最近の出来事23 24が示したように、たとえオープンな協調であっても気づきにくいことがあります。多くの有能なAIが私たちに対して協調することに対抗するのはすでに困難な問題であり、能力が向上するアライメント不整合AIに対して堅牢な計画はありません。

制御喪失のリスクを軽減するために何ができるか

AI企業による現在のアライメント不整合緩和の試みについて私が懸念しているのは、これらの努力が、捕まらずに不正を行うAIを報酬を与え、選択することによって、それを隠すだけかもしれないということです。AIの行動、思考連鎖、ネットワーク内部の活動をより良く監視するための研究は確かに続けるべきです。しかし、能力が向上するにつれて、それらの防御は不十分であることが証明されるかもしれません。今年のAI攻撃者（人間のチームを凌駕した）に対する世界の不完全なサイバーセキュリティのように25 26。新しいアライメント不整合の行動をパッチし、監視を強化することは短期的には有用ですが、AIの最適化と協調能力が私たちに近づき、それを超えるにつれて、このモグラ叩きゲームは失敗する可能性が高いです。ある時点で、私たちは不正に気づかなくなるかもしれません。

これは、進歩のペースを調整することを示唆しています。独立した専門家を納得させる強力な安全性の証明27なしには、AIを訓練または展開しないことです。そのような規則は、設計上安全なAIを構築する方法を解明するインセンティブも生み出すでしょう。今日の最も高度なモデルの基盤となっている、人間模倣と強化学習という、AIの訓練方法の基礎を見直すべきだと信じています。私は、科学者AIフレームワークを含むAIを設計する方法があり、それらは正直であり、独自の目標に汚染されていない一貫した予測を行うと主張し、理論的証拠を提示してきました28。これらの以前のブログ投稿を参照し、そのような設計が達成可能であることを実証するためにLawZeroを支援することを検討してください。私たちは、アライメント不整合行動を理解し、軽減するための公平な科学と、現在の底辺への競争ではなく、そのような努力を報酬とする社会的なガードレールを必要としています。