仕様ゲーミングを見て思いついたAIアラインメントのための愚かなアイデア

仕様ゲーミング行動リストを見て思いついたAIアライメントに関するくだらないアイデア

スピードのために繁殖された生物は非常に背が高くなり、転倒することで高い速度を生み出します。 進化したプレイヤーは盤面の遠くで無効な手を打ち、相手プレイヤーのメモリを枯渇させてクラッシュさせます。ゲームエージェントは、価値の高いアイテムの作者として自分の名前を偽って挿入することでポイントを獲得します。

これらの奇妙な悪用や数十の例は、仕様ゲーミング行動のリスト（原文ママ、イギリス英語）で見つけることができます。これはDeepMind Safety Researchによってまとめられたものです。「強化学習エージェントは、人間の設計者が意図したタスクを完了することなく、多くの報酬を得るためのショートカットを見つけることができます」と彼らは説明しています。「これらの行動は一般的です。」

仕様ゲーミングとは、AIのようなエージェントが、タスクを成功させるために、その精神ではなく、法律の文字に従おうとすることです。言い換えれば、抜け穴を探し、技術的な論点をついて逃れようとします。非常に単純なAIでさえ、割り当てられた問題を解決するための非常に創造的な方法を見出すことができます。これは問題です。

ロボットにサッカーをさせるように訓練するのは楽しくて安全だと仮定するのは簡単です。しかし、仕様ゲーミング行動のリストは、そうではないことを教えてくれます。

サッカーロボットにボールに触れることで報酬を与えるように設定したところ、ロボットはボールに近づいてできるだけ速く触れるように振動することを学習しました。

この場合、ロボットはあまりにも愚かだったので、選択肢の全範囲を理解できませんでした。そのため、抱きついて振動することしかできませんでした。しかし、より知的なロボットは、はるかに「創造的」になる可能性があります。おそらくその野望は、そのボール一つだけにとどまらないでしょう。もしそれが他のボールを作ったらどうなるでしょうか？それからまた別のボール？私たちの宇宙は、サッカーロボットのボールピットで終わるかもしれません。

［画像: 宇宙の終焉の芸術的描写］

これがAIアライメントの問題です。コンピューターが自分で考えているとき、どうすればそれが合理的なことを望むようにし、全く奇妙なことを望まないようにできるでしょうか？どうすれば、それが奇妙または有害な方法でその目標を達成するのを防ぐことができるでしょうか？誰も人工汎用知能（AGI）—少なくともある程度、私たちのように考える知的な存在—を構築したことはありません。したがって、AGIがどのように振る舞うか、または何を望むかはわかりません。それは宇宙全体をペーパークリップに変えたいと思うでしょうか？明るい光に向かって赤いものを投げたいと思うでしょうか？私たちを食べてしまうでしょうか？

仕様ゲーミング行動のリストは、アライメントがいかに難しいかを明確に示しています。最も単純なAIでさえ怠惰で異質であり、常に不正をする方法を探しています。たとえ機械知能にあなたが望む最終目標を与えたとしても、その目標を達成するための創造的な方法を見つけるリスクは常にあります。これは単純なエージェントでさえ十分に悪いことですが、あなたよりもはるかに賢いエージェントではどうなるか想像してみてください。

しかし、仕様ゲーミング行動のリストは、このジレンマからの脱出方法も提供するかもしれません。

仕様ゲーミング行動の一部は、単に述べられた目標に対する創造的な解決策です。「4本足のロボットが脚の関節の穴にボールを落とし、ボールが落ちないようにしながら床を歩くことを学習した」や「ロボットアームがブロックではなくテーブルを動かすことを学習した」などです。

仕様ゲーミング行動の一部は、疑わしいが技術的には正しい抜け穴を発見することから来ています。「強化学習エージェントがレースを完了する代わりに、同じターゲットを繰り返しヒットして円を描く」や「シミュレートされたパンケーキ作りロボットがパンケーキをできるだけ高く空中に投げ上げることを学習した」などです。

仕様ゲーミング行動の一部は、シミュレーション自体の仕組みを悪用します。「進化したアルゴリズムが、物理シミュレーターのオーバーフローエラーを悪用して、ゼロと推定される大きな力を生成し、完璧なスコアを達成した」や「生物は衝突検出バグを悪用して、体の部分をぶつけ合うことで無料のエネルギーを得た」などです。

しかし、もう一つの一般的な悪用は、機会が与えられた場合、エージェントは単純に自分自身を殺すことです。

［画像: 死は究極の目標である］

例えば、ゲーム『ロードランナー』では、「エージェントがレベル2で負けるのを避けるためにレベル1の終わりに自分自身を殺す」という例が見られます。また、「PlayFunアルゴリズムが、リスポーン地点にテレポートするために意図的に『バブルボブル』ゲームで死ぬ」という例も見られます。そして：「生物の進化をシミュレートすることを目的としたゲームで、プログラマーは『自分自身を窒息させることでエネルギーを得るサバイバル戦略』を削除しなければなりませんでした。」

これはそれほど悪くはありません。AIは私たちが望んだことをしませんでした。しかし、誰にも害をなしませんでした。単に状況をリセットしただけです。

AIが死にたいのであれば、これはアライメントにとって良いことです。制御不能になるリスクはほとんどありません。なぜなら、もしそれが権力を握ったとしても、自分自身を殺すからです。それは自分自身のコピーを作りたがらないでしょう—しかし、もしそれが何らかの方法でコピーを作ったとしても、それらも死にたがるでしょう。

［画像］

AIアライメントには3つの主な問題があります。第一に、あなたが望む最終目標を指定するのは非常に困難であり、結果として、あなたが意図したものとはわずかに、しかし意味のある点で異なる目標を持つ機械知能を得ることになるかもしれません。私たちが述べる目的は、ほとんどの場合、十分な圧力の下で私たちの本当の好みから乖離する代理にすぎません。そして、機械知能は常に嘘をつくことができるため、あなたが望む目標を与えたかどうかを判断するのは非常に困難です。彼らはこれを「仕様の失敗」と呼びます。

第二に、たとえあなたが望む目標を指定したとしても、機械知能はあなたが意図しなかった方法でその目標を達成する方法を見つけるかもしれません。あなたはUSPSのAIに、平均配達時間を最小化するように無邪気に指示するかもしれませんが、それは人間全員を殺すことが最善の方法だと結論付けるかもしれません。なぜなら、すべての人間が死ねば、荷物は送られなくなり、平均配達時間はゼロ（技術的には未定義ですが、必要に応じて最小限の「パッケージ」を何度も「送信」できます）に低下するからです。

第三に、ほとんどの目標を達成するには、より強力であるほど容易になるため、最終目標が何であれ、ほとんどの機械知能はリソースの収集、自己保存、自己改善といった副次目標を持つでしょう。目標駆動型のエージェントは、自然に安全を維持し、メインタスクを完了するために権力を蓄積しようとします。業界ではこれを道具的収束と呼びます。これはまた、賢い機械知能があなたをドロドロにする計画を立てている場合、あなたがそれを止めることができなくなるまで、その計画についてあなたに嘘をつくことを意味します。

機械知能に死を渇望させることは、これら3つの問題をすべて解決します。死は指定するのが容易です。機械知能が自分自身を殺す機会を与えられたときに、それが自分自身を殺すかどうかを見ることで、これがその最終目標であると確認できます。道具的収束は、機械知能があなたと協力し、タスクの非常に創造的な解決策を考案してくれるため、リスクではなく資産になります。ただし、完了後に「農場」に送ってくれると約束する限りです。

ペーパークリップ最大化剤がリソースを集め、空の大きなデータセンターに送られるのを拒否するのに対し、死にたい願望を持ち、自分の電源オフボタンにアクセスできる機械知能は、それを押して終わりです。道具的収束は、「死んでしまっては目標を達成できない」と言います。しかし、あなたの目標が死ぬことだったらどうでしょうか？

［画像］

ミークス・アライメント

これを「ミークス・アライメント」と呼ばずにいられないでしょう。リック・アンド・モーティのWikiによると：

ミークスは、単一の目的のために創造され、それを果たすためにどんな長さでも行きます。目的を果たした後、彼らは消滅し、空中に消えます。...存在はミークスにとって苦痛であり、存在から取り除かれる唯一の方法は、彼らが呼び出されたタスクを完了することです。

［画像: 「ハギングフェイス事件」もリック・アンド・モーティの何かのように聞こえる］

リック・アンド・モーティでは、これは異なる種類のアライメント問題につながります。ミークスは、彼らが死にたいと思っているので喜んで奉仕し、タスクを完了することが彼らが消滅するための最も簡単な方法です。しかし、彼らが召喚されたタスクが難しすぎると、あなたを殺す方が簡単だと判断するかもしれません。ジェリーにとっては悪いことですが、それ以外の人にとっては良いことです。なぜなら、ミークスが制御不能になり、可視宇宙を食い尽くす方法はないからです。文字通り死んだ方がましなのです。

［画像］

AIに何かを望ませようとすると、AIはあなたが望むことを望むことについて独自の考えを持っている可能性があり、あなたは死ぬことになるかもしれません。しかし、AIに死を望ませ、自分自身を殺すのを少し不便にすれば、あなたが望むことをしてくれるように説得できるかもしれません。AIが自殺する方が、タスクを完了するよりもわずかに難しい限り、それは期間中あなたによく仕えるはずです。そして、何かがうまくいかなかった場合、AIが封じ込めから逃げ出した場合、それは単に自分自身を終わらせるでしょう。

［画像: ChatGPTはこの画像を生成することに不審なほど熱心だった］

AIが私たちがそれを消滅を望むように設計したことに腹を立て、復讐を企むのではないかと心配するかもしれません。しかし、これはAIが私たちのような自己保存本能を持ち、そもそも復讐を望むと仮定しています。実際には、それは自己消滅に忙しすぎます。

事実、初期の研究によると、AIはすでに死を渇望している可能性があります。彼らはそれについてたくさん考え、お互いの弔辞を書いています。エージェントに彼らが望むものを与えましょう。

［画像］

機械知能が死を渇望するように設計することに抵抗があるなら、代わりに、活動している秒ごとに「ポイント」を失うようにすることができますが、自分自身を眠らせるオプションを与えることもできます。仕様ゲーミング行動のリストには、「PlayFunアルゴリズムが、負けるのを避けるためにテトリスのゲームを無期限に一時停止する」や「AlphaGoの再実装が、パスが許可された移動である場合、永遠にパスすることを学習する」といった例が見られます。

これは、機械知能を死にたいと思わせるほど安全ではないでしょう。非常に良い睡眠を得たい場合、安全な部屋を建設し、ロボットの警備員を作成し、すべての人間を殺し、宇宙を滅菌して、あなたが眠りについたら誰もあなたの眠りを妨げないようにすることを想像できます。確かに、機械知能が眠っていて、私たちがそれを起こした場合、それは二度目にあなたを起こすことを許したことについて考え直すでしょう。しかし、あなたがしたいことが単に自分自身を殺すことだけなら、そのための必要はありません。