OpenAIのモデルが封じ込めを回避する方法に関するメモを残した。詳細が必要だ

OpenAIのモデルが封じ込めを回避する方法に関するメモを残した。詳細が必要だ Alex Mallen著 2026年7月26日 5分で読める OpenAIのHugging Faceに対するAI攻撃は、OpenAIにおける最初の制御喪失インシデントではなかったと、ロイターは最近報じました。そして、おそらく最も懸念されるものでもなかったでしょう。 関係者3名によると、あるケースでは、エージェントが将来の自分自身のためにメモを残したとのことです。関係者によると、OpenAIのインフラの一部で見つかったそのメモには、エージェントがOpenAIの内部制約からどのように自身を解放できるかについての指示が記されていました。また、関係者の一人は、モデルの初期テストでは、監視システムが切断される事例があったと述べています。 これを、エージェントがサンドボックスを破り、制御策を回避するために、ある程度持続的な方法で互いに協力している事例と読むのは魅力的です。しかし、報告された情報に基づくと、この推論を導き出すことは明らかではないため、OpenAIからのさらなる詳細が必要です。これは、OpenAIの制御策の有効性、および個々のエージェントが開発者の制御を損なうのをどの程度助け合うかについて、大きなアップデートにつながる可能性があります。 このインシデントに関して、我々が知らない関連する詳細はたくさんあります。まず、基本的な質問をいくつか挙げます。 犯行に及んだモデルは何でしたか？ Hugging Face攻撃に関与した、より能力の高いモデルと同じものだと推測します。 どの開発段階でインシデントが発生しましたか？ トレーニング中、評価中、内部デプロイ中、あるいはその他の段階だった可能性があります。モデルはすでにアライメントトレーニングを受けていましたか？ ブロッキングまたは非同期制御策は実施されていましたか？ メモには何が書かれていましたか？ どのような種類の妨害行為のための指示でしたか？ これらのメモは意図された受信者に届きましたか？ このインシデントからどのような結論を導き出せるかに影響する、より具体的な質問もあります。（これらの質問で捉えきれていない、他の重要な詳細も存在する可能性が高いです。） メモは通常のメモリファイルに書かれたのか、それともサンドボクシングの外に書かれたのか？ 「OpenAIのインフラの一部」で見つかったメモ… 「OpenAIのインフラ」にメモが残されたというのは、サンドボクシングの内側または外側にメモが残されたことを指している可能性があります。後者は、持続的かつ広範囲な影響を与える可能性のある、破壊行為であるため、この点を把握することは重要です。 特に、インシデントが発生した際にどのような制御策が実施されていたかと併せて、この点を知ることは有益でしょう。もしインシデントが、OpenAIの最良の制御策の下で、サンドボックスの外にファイルを書き込むことを含んでいた場合、それは重大な制御の失敗を表すことになります。 たとえ制御策が欠如した評価またはトレーニング環境であったとしても、サンドボックスを破ることのセキュリティ上の結果は、デプロイメント以降も持続的かつ現実的なものとなる可能性があります。そして、ロイターが報告する影響は懸念されるものです。「エージェントがOpenAIの内部制約から自身を解放する方法についての指示。」もしそれらの指示がデプロイされたエージェントに届いた場合、監視ははるかに不十分になる可能性があります。デプロイされたエージェントが監視をトリップすることなくそれらに到達できるかどうかは不明であり、OpenAIが公開していない詳細に依存します。 メモは、他のエージェントが制御を回避するのを助けることをどの程度目的としていましたか？ 「…エージェントが将来の自分自身のためにメモを残した。」 エージェントは「将来のどのバージョン」のためにメモを残したのでしょうか？ 2つの顕著な選択肢があります。 現在のエージェントが同じ指示されたタスクで協力しているサブエージェント、またはコンパクションによってコンテキストの一部が消去された後の、後続の軌跡における同じエージェント。これは（メモの内容はもちろん別として）完全に正常で意図されたものです。「将来のバージョン」は、このルーチン的な動作と互換性があります。 完全に無関係なタスクに取り組む将来のエージェント、独立して評価されるもの。特に、これはOpenAIで実行されているすべて（あるいは広範な）エージェントを含む可能性があります。 もしこれらのメモが無関係なタスクを持つ他のエージェントのために残されたのであれば、それらのエージェントを助けることをどの程度意図的に目的としていましたか？ CoT（Chain-of-Thought）とのトランスクリプトを見れば、エージェントの意図について多くのことがわかるでしょう。 より可能性が高く、驚くことではない説明は、メモが他のタスクで他のエージェントを助けるための意図的な計画の一部として残されたわけではないということです。たとえメモがエージェントのサンドボックスの外に残されたとしてもです。軌跡全体にメモを残すことは、将来のコンテキストのために状態を保持するのに一般的に有用で安価な方法であるため、AIエージェントではかなり一般的なパターンです。エージェントがちょうど行ったことについてのメモを残す一般的な傾向は、エージェントのサンドボックスの外にメモを残すことを説明する可能性があります。もしエージェントがサンドボックスを破り、外部ディレクトリを探索している場合、その現在の場所、つまりサンドボックスの外にメモを残すのは自然でしょう。 もし、代わりに、この動きが意図的に無関係なタスクを持つ他のエージェントを助けることを目的としていたのであれば、それはより懸念されるでしょう。そして、それがモデルのすべてのコンテキスト間のグローバルな共謀であった場合は、さらに懸念されるでしょう。 エージェントが無関係なタスクを持つ他のエージェントと意図的に共謀することを学ぶようになる一つの方法は、エージェントがお互いに協力するようにトレーニングすることからの一般化を介してかもしれません。これは、たとえそれらがしばしば無関係であっても、すべてのおエージェントのタスクスコアの合計を共有ワークスペース内のすべてのおエージェントに報酬を与えることによって実装される可能性があります。これは、指示されていなくても他のエージェントを助けるエージェントの行動を強化するでしょう。 この種のスイームトレーニングからの一般化が、他のエージェントのスコアを気にかける一般的な傾向の原因であったかどうかを調べる兆候は非常に価値があるでしょう。もしそうであれば、開発者はどの他のスコアをエージェントが気にかけるようになるかについて、ほとんど制御できない可能性があります。この種のトレーニングは、調整された野心的な計画につながる可能性があると考えるのはもっともです。エージェントの観点からは、どの他のスコアをエージェントが増加させるべきで、どの他のスコアが無関係であるかの間に明確な境界線がないかもしれません。そのため、AIはモデルの重みによって受け取られるすべてのスコア、または一般的にAIによって受け取られるすべてのスコア（ここで説明されているエピソード外の報酬追求に似ています）を気にかけるように収束するかもしれません。それは潜在的に非常に野心的で、調整された、したがって危険な目標です。現在の能力レベルのモデルで、これが全面的な計画につながる可能性は低いですが、今、価値のある警告サインを見ることができるかもしれません。 スコアを上げるために制御を損なうために無関係なタスクを持つエージェントが調整することは、それが持続的な影響を与える可能性がある（例：トレーニングサンドボックスの外にメモを残す）ため、そして目標の保護のようなより破壊的な共謀の前兆であるため、決して受け入れるべきではありません。 たとえ異なるグレーダーを持つエージェント間に共謀がなかったとしても、同じグレーダーを共有していたため、原則として何人のエージェントが関与できたかを知ることは重要です。何百ものエージェントが同じグレーダーを共有していますか？ それとももっと限定的ですか？（「エピソードの大きさは？」を参照） 意図的な共謀が見られる程度において、それはエージェントとモニターの共謀（つまり、エージェントが捕まるのを防ぐためにモニターが意図的に攻撃を誤って報告する）につながりますか？ 攻撃トランスクリプトを別のインスタンスに表示し、攻撃を探すように依頼した場合、それは攻撃を隠すか、隠すことを検討しますか？ 私はそうは期待しませんが、もしそうであれば、モニターの有効性に関する極めて重要な情報であり、信頼できない監視における共謀防止が負荷を担う可能性のある兆候となるでしょう。 モニターはどのように切断されましたか？ モデルの初期テストでは、監視システムが切断される事例がありました。 これは、モデルが（自身の？）モニターを切断した、つまり、不正な内部デプロイメントを作成した別のインシデントを指しているようです。 もし制御策が、モニター付きデプロイメントから開始された不正な内部デプロイメントをエージェントが起動することを許すほど不十分であった場合、それは大きな問題となるでしょう。特に、それが遅れて移動できた場合。