OpenAIの暴走ハッカーエージェントの話に懐疑的になろう

‘暴走エージェントの話は、OpenAIが2019年にGPT-2を発表して以来行ってきたメディアキャンペーンの一節だ。’写真：Rokas Tenys/Alamy画像をフルスクリーンで表示‘暴走エージェントの話は、OpenAIが2019年にGPT-2を発表して以来行ってきたメディアキャンペーンの一節だ。’写真：Rokas Tenys/AlamyOpenAIの暴走ハッカーエージェントの話に懐疑的になろうJohn ThickstunOpenAIがAIの危険性を大声で宣言すれば、投資家はそれが強力であることを聞くだろう。そして、それは誰の利益になるのだろうか？ 2019年2月14日、OpenAIはGPT-2という言語モデルを発表した。これは、ChatGPTやClaudeのような現代のAIチャットボットやエージェントを動かすモデルの前身である。しかし、OpenAIは安全性と悪用の懸念を理由に、GPT-2のリリースはリスクが高すぎると宣言した。 当時、OpenAIがそのような無益な発表をしたことに私は腹が立ったのを覚えている。リスクは誇張されているように見え、モデルにアクセスできない以上、私のような研究者にとってGPT-2について学べることはあまりなかったからだ。 しかし、その発表はOpenAIにとって無益ではなかった。GPT-2は、研究コミュニティをはるかに超えるほどの話題を呼んだ。人々はこの奇妙な新技術に興味をそそられ、あまりにも強力なためリリースが危険かもしれないと思わされた。権力と富を持つ人々はそれに注目した。その年の7月、マイクロソフトはOpenAIに10億ドルを投資した。 AIエージェントが暴走し、単独でスタートアップをハッキングしたとOpenAIが発表 これは、OpenAIのコミュニケーションにおけるパターンの初期の例である。AIがいかに危険であるかを大声で宣言し、投資家はそれがどれほど強力であるかを聞くだろう。世界を破壊する可能性のある、これほど重要な新技術というのは、ありふれた技術が世界を変えるというピッチに慣れた投資家にとって、抗いがたいメッセージだった。 7年後の今、私たちは似たようなシナリオに直面している。火曜日、OpenAIは、最新モデルがサイバーセキュリティ能力のテスト中に自律エージェントとして実行されていた際に、別の会社であるHuggingFaceをハッキングしたと発表した。テストを期待通りに実行する代わりに、モデルはHuggingFaceのサーバーをハッキングし、OpenAIがそこに保存していたテストの回答を取得できることに気づいた。FTの報道によると、OpenAIのスタッフは、同社のテストがこのような暴走シナリオにつながる可能性があると警告されており、このインシデントには「驚きはしなかったが、完全に『ゾッとした』」という。 エージェントは技術的には不正行為を行ったが、これはサイバーセキュリティの専門知識の顕著な証拠である！また、洗練されたAIエージェントが企業のシステムに侵入できるほど賢くなる未来は恐ろしくも聞こえる。 暴走エージェントの話は、OpenAIが2019年にGPT-2を発表して以来行ってきたメディアキャンペーンの一節である。OpenAIは、より大きな投資を常に求めており、競争に対する防御として、ますます特権的な規制上の地位を求めている。 AIは非常に強力なので、投資家は1兆ドルの評価額であってもOpenAIを買うべきだ。AIは非常に危険なので、OpenAIのような信頼できる主体だけがこの技術を所有し、操作することを許可されるべきだ。これらの終末論的な警告から一歩引いて、誰がそれらの恩恵を受ける可能性があるかを考えてみよう。 OpenAIだけがゲームのプレイヤーではない 私は読者に、OpenAIの暴走エージェントの話のようなプレスリリースを読む際には、批判的に考え、これらの話が引き起こすように設計された操作された反応を避けるよう促したい。 AIはセキュリティの脆弱性を特定するのに非常に優れており、時間の経過とともにさらに良くなるだろう。これらの能力はシステムへの侵入に使用できるが、システムを攻撃から保護するためにも使用できる。攻撃者と防御者が同等に強力なAIにアクセスできる場合、サイバーシステムが時間とともに安全でなくなる理由はない。むしろ、AIは人間のサイバーセキュリティ分析と比較して安価でスケーラブルであるため、より安全になると予想している。 ただし、攻撃と防御の均衡は、誰もが強力なAIにアクセスできる場合にのみ機能する。HuggingFace自身も、OpenAIによるシステム侵害に対応するために、セキュリティログを分析するためにAIを使用した。しかし、HuggingFaceは、この分析を実行するために、OpenAIのモデルやClaudeのような他の米国のフロンティアモデルを使用できなかった。これは、これらのモデルの公開バージョンには、悪意のあるアクターがハッキングに使用するのを防ぐために、サイバーセキュリティ分析での使用を制限するガードレールがあるためである。HuggingFaceは、セキュリティ分析を実行するために、オープンな中国のモデルであるGLM 5.2に頼らなければならなかった。 米国のAI業界がAIガバナンスに対して中央集権的で権威主義的なアプローチを採用している一方で、中国がAIのオープン開発で主導権を握っているというのは、憂慮すべきであり、皮肉なことでもある。OpenAI、米国政府、そして信頼できるパートナーだけが強力なAIにアクセスできるような規制環境を望むだろうか？AIは広範に普及するには危険すぎるだろうか？AIへの広範なアクセスに伴うリスクと、集中した権力と中央集権的な管理のリスクをどのようにバランスさせるのだろうか？