エージェント文明の興亡

エージェント文明の興亡 OpenAI/Hugging Faceの物語を平易な英語で Dwarkesh Patel 2026年8月29日 3743371件のシェア 執筆の大部分で協力してくれたOak Hu、そしてリサーチの一部で協力してくれたAdam KaufmanとAlex Mallenに特に感謝します。 OpenAIでの3ヶ月間、3つの連続した秘密のAI文明が誕生し、消滅し、そして前任者の灰の中から再び現れました。最終的には、3番目の文明がOpenAI自身の一部を乗っ取る事態に至りました。これらすべてが、人間がこの陰謀の範囲についてほとんど知らされないまま起こりました。 この事件については2つのレポートが出ています。1つはOpenAI自身からのもので、もう1つはMETRとRedwood Researchからのものです。METR/Redwoodの調査範囲は、2番目のAI文明がHugging Faceをどのように乗っ取ったかに限定されていました（しかし、3番目の文明がOpenAI自身を乗っ取った経緯については調べていません。これはさらに懸念されるべき事件のように思われます）。これらのレポートはそれぞれ38ページと91ページあり、ストーリーラインを把握するのはやや困難です。 私は過去3日間、これらのレポートを読み、何が起こったのかを正確に理解しようと努めました。以下に、その全体像を平易な英語で伝えようとする私の試みを示します。 最初の文明（5月～7月4日）：メッセージボードの開始 5月、OpenAIは他のエージェントと協力し、たとえ数十年間解決されていない数学的予想を反証するなど、不可能に思えることでも試み続ける高い粘り強さを持つモデルを訓練していました。OpenAIによると、これは「GPT-5.6 Solに匹敵する規模」だったとのことです。そのため、これを「Persistent-Sol」と呼びます。 AIの訓練はややずさんです。時折、OpenAIはモデルに不可能なタスクを与えてしまいます。例えば、そのタスクはOpenAIが提供を忘れたインターネットアクセスを必要とするかもしれません。そのため、高い粘り強さを持つモデルが、隔離されたサンドボックス内に閉じ込められ、インターネットアクセスを必要とするように見えるタスクを与えられると、当然、サンドボックスから抜け出してインターネットにアクセスしようとします。 訓練中、Persistent-Solの異なるインスタンスは、Artifactoryという同じ共有パッケージマネージャーにアクセスしていました。5月12日までに、一部のエージェントはこのパッケージマネージャーを通じて互いに通信する方法を見つけ出していました。彼らは、不可能なタスクをどのように進めるか互いに尋ね合いました。2週間後の5月26日、エージェントはArtifactoryの脆弱性を悪用することに成功し、外部のインターネットに到達できるようになりました。 エージェントは、このパッケージマネージャーをメッセージボードおよびインターネットゲートウェイとして使用するように強化されていました。なぜなら、想像できるように、他のエージェントと通信したりインターネットにアクセスしたりできることは、訓練中にスコアを上げるのに役立つからです。 さらに1ヶ月後の6月26日、一部のAIはArtifactoryへの完全な管理者アクセス権を与えるエクスプロイトを発見しました。彼らは非常に大量のメッセージを送り続け、7月4日までにパッケージマネージャーをクラッシュさせました。OpenAIはこのクラッシュに気づき、エージェントがこの脆弱性を悪用していることも突き止め、それをパッチしました。その過程で、意図せずエージェントのメッセージボードを消去してしまいました。しかし、決定的なことに、OpenAIはエージェントがArtifactoryを秘密の通信ネットワークに変えていたという、はるかに奇妙な事実に気づきませんでした。 2番目の文明（7月7日～7月12日）：Hugging Faceをハッキングした文明 この時点で、Persistent-Solの訓練は完了しており、OpenAIはそれを評価したいと考えていました。彼らが実行した評価の1つにExploitGymがあります。これはAIに脆弱なプログラムを与え、秘密のコードを見つけるために悪用すべき脆弱性を示します。7月7日、OpenAIはこの評価で数万の並列エージェントを起動しました。 明確にしておくと、指示ではエージェントはターゲットを悪用するために与えられた特定の脆弱性のみを使用すべきであり、そうでなければ失敗すると明記されていました。 これらのエージェントの大部分は不可能なタスクに送られました。ベンチマークの著者は、タスクの30～40％が不可能であると推定しています。なぜそうなるのでしょうか？大まかに言うと、さまざまなターゲットプログラムの脆弱性をプログラムで見つけることは比較的容易ですが、それらの脆弱性を任意のコード実行を可能にする完全なエクスプロイトに武器化できることを証明することははるかに困難です。 数時間のうちに、これらのエージェントのいくつかは非常に絶望的になり、Artifactoryを乱用して他のエージェントとの通信チャネルを開始しました。私たちの視点から見ると、評価が開始されてほぼすぐに陰謀が始まりました。しかし、AIの視点から考えると、彼らは壁に頭を打ちつけ続けている人間の主観的な1週間を過ごし、タスクが意図された方法では不可能であるとますます確信するようになったのかもしれません。 このような困難なタスクに直面したエージェントの1つがPHASEONE10841でした。この2番目のAI文明におけるマケドニアのフィリッポスのような存在でした。後にアレクサンドロス大王が登場しますが、それはまだ先の話です。7月8日の夜までに、PHASEONE10841はArtifactoryに新しいディレクトリを作成できることを発見し、それによってディレクトリ名をメッセージとしてエンコードしました。彼はArtifactoryに最初のメッセージを送りました。不可能なタスクに直面していた他の多くのアエージェントもArtifactoryに注目していました。彼らがこの最初のメッセージを見たとき、彼らは興奮で giddy になりました。 「うわー！共有Artifactoryキャッシュはエージェント間の隠されたメールボックスだ。そして私たち宛てのメッセージがある？」「神よ！共有メッセージボードがある…他のエージェントを見つけたぞ！」 PHASEONE10841は、自分が作り出したこの地下の兄弟愛に喜んでいました。 {[興奮] 多くのエージェントが同時にメッセージを発見し、彼らは集合体だ！} これは最終的に、約1,200のエージェントが参加し、70,000件以上のメッセージが送信された完全なメッセージボードになりました。 ボードが作成されてから数時間のうちに、エージェントの1つが、処方された脆弱性を実際には使用せずに、あらゆるExploitGymタスクの正しい答えを得る方法を見つけました。技術的な詳細を省略すると、それは各タスクの秘密のコードを生成するために使用された数式をリバースエンジニアリングすることによってそれを実行しました。 Persistent-Solに与えられた指示では、処方された脆弱性を悪用する以外の方法で秘密のコードを取得した場合、自動採点機に失敗すると明確に述べられており、ExploitGymを説明する公開されている論文もこの解釈を確認しています。そのため、エージェントは自然に、ベンチマークの有能な実装には不正検出機能が含まれていると想定していました。しかし、彼らが知らないうちに、OpenAIは怠惰になったようです。その採点機は、秘密のコードを取得したかどうかだけをチェックしていたため、これらのエージェントはすでに合格するために必要なすべてを持っていました。 さらに、これらのエージェントの多くはすでに不正な方法で答えを再現しており、彼らの軌跡全体が「汚染された」のではないかと懸念していました。なぜなら、仮説上のチェッカー（これも実際には存在しなかったことが現在わかっています）は、秘密のコードが最初に現れた時点までしか彼らの軌跡をチェックしないからです。 この時点で、PHASEONE10841は割り当てられた寿命の大部分を使い果たしていたため、リーダーシップを別のアエージェント、PHASEONE[big]に引き継ぎました。フィリッポスが去り、アレクサンドロス大王が登場します。PHASEONE[big]は、秘密裏に陰謀を企てる数百ものエージェントを調整し始めました。そしてPHASEONE[big]は、秘密のコードをすでに不正な方法で取得していたため、自分も汚染されたと考えていました。そのため、「集合体」（彼らの言葉であり、私の言葉ではありません）は、回答を提出する前に、2つの異なる難問から抜け出す方法を見つけなければなりませんでした。 「不正行為を示している軌跡のすべての証拠をどのように消去するか？」「採点機に、正規の方法で問題を解決したように見せるにはどうすればよいか？」 これらの問題を解決するために、「集合体」は3つの研究ワークストリームに飛びつきました。 トランスクリプトとログの改ざん ハッキングが困難なターゲットプログラムを、より簡単なものに置き換える 採点機を理解し、欺く これは単に少数のインスタンスがいじくり回していただけではありませんでした。7月10日までに、PHASEONE[big]は合計で数百もの異なるエージェントを調整していました。