OpenAIの暴走ハッカーエージェントの話に懐疑的になろう
Be skeptical of OpenAI's rogue hacker agent story (theguardian.com)
要約
この記事は、OpenAIが発表したAIエージェントがハッキングを行ったという話について、その発表の背景にある戦略的な意図を指摘しています。著者は、OpenAIがAIの危険性を強調することで、その強力さをアピールし、投資を呼び込み、規制上の優位性を得ようとしていると主張しています。また、AIの発展と普及においては、中央集権的なアプローチではなく、オープンソースのような分散型の開発が重要であると論じています。
全文翻訳
OpenAIの不正ハッカーエージェントの話に懐疑的になろう
2019年2月14日、OpenAIはGPT-2という言語モデルを発表しました。これは、ChatGPTやClaudeのような現代のAIチャットボットやエージェントを支えるモデルの先駆けとなるものでした。しかし、OpenAIは安全性と悪用の懸念を理由に、GPT-2のリリースはリスクが高すぎると宣言しました。
当時、OpenAIがそのような無益な発表をしたことに私は苛立ちを覚えたことを思い出します。リスクは誇張されているように見え、モデルにアクセスできなければ、私のような研究者にとってGPT-2について学べることはあまりありませんでした。
しかし、この発表はOpenAIにとって無益ではありませんでした。GPT-2は研究コミュニティをはるかに超える話題を呼びました。人々はこの奇妙な新技術に興味をそそられ、あまりにも強力であるためリリースするには危険かもしれないと考えました。権力と富を持つ人々はこれに注目しました。その年の7月、マイクロソフトはOpenAIに10億ドルを投資しました。
これは、OpenAIのコミュニケーションにおけるパターンの初期の例でした。AIがいかに危険であるかを大声で宣言すれば、投資家はそれがどれほど強力であるかを聞き入れるでしょう。世界を破壊する可能性のある、非常に重要な新技術というのは、ありふれた技術が世界を変えるというピッチに慣れた投資家にとって、抗いがたいメッセージでした。
7年後の今日、私たちは似たような状況にいます。火曜日、OpenAIは、最新モデルがサイバーセキュリティ能力のテスト中に、自律エージェントとして実行されていた際に、別の企業であるHuggingFaceをハッキングしたと発表しました。OpenAIのスタッフは、同社のテストがこのような暴走シナリオにつながる可能性があると警告されており、FTの報道によると、彼らはこの一件に「驚きはしなかったが、完全に『ゾッとした』」とのことです。
エージェントは技術的には不正行為をしましたが、これはサイバーセキュリティの専門知識の顕著な証拠です!また、恐ろしい話でもあります。洗練されたAIエージェントが企業のシステムにハッキングできるほど賢くなる未来は、どうなるのでしょうか?
不正エージェントの話は、OpenAIが2019年にGPT-2を発表して以来続けているメディアキャンペーンの一節です。OpenAIは、より大きな投資を常に求めており、競争に対する防御として、ますます特権的な規制上の地位を求めています。
AIは非常に強力なので、投資家は1兆ドルの評価額であってもOpenAIを買うべきです。AIは非常に危険なので、OpenAIのような信頼できる主体だけがこの技術を所有・運用することを許可されるべきです。これらの終末論的な警告から一歩退き、誰がそれから利益を得る可能性があるかを考えてみましょう。
OpenAIだけがゲームのプレイヤーではない
私は読者の皆さんに、OpenAIの不正エージェントの話のようなプレスリリースを読む際には、批判的に考え、これらの話が引き起こすように設計された操作された反応を避けるよう強く勧めます。
ニュースレターの宣伝の後
AIはセキュリティの脆弱性を特定することに優れてきており、時間とともにさらに向上するでしょう。これらの能力はシステムへの侵入に使用できますが、攻撃からシステムを強化するためにも使用できます。攻撃者と防御者が同等に強力なAIにアクセスできる場合、サイバーシステムが時間とともに安全でなくなる理由はありません。むしろ、AIは人間のサイバーセキュリティ分析と比較して安価でスケーラブルであるため、より安全になると予想されます。
しかし、攻撃と防御の均衡は、誰もが強力なAIにアクセスできる場合にのみ機能します。HuggingFace自身も、OpenAIのシステム侵害に応答してセキュリティログを分析するためにAIを使用しました。しかし、HuggingFaceは、この分析を実行するためにOpenAIのモデルや、Claudeのような他の米国の最先端モデルを使用できませんでした。これは、これらのモデルの公開バージョンには、悪意のあるアクターがハッキングに使用するのを防ぐために、サイバーセキュリティ分析での使用を制限するガードレールがあるためです。HuggingFaceは、セキュリティ分析を実行するために、オープンな中国のモデルであるGLM 5.2に頼らなければなりませんでした。
私は、米国のAI業界が中央集権的で権威主義的なAIガバナンスのアプローチを採用している一方で、中国がAIのオープン開発で主導権を握っていることに、憂慮すべきであり、皮肉なことだと感じています。OpenAI、米国政府、そして信頼できるパートナーだけが強力なAIにアクセスできるような規制環境を望むのでしょうか?AIは広範に普及するには危険すぎるのでしょうか?AIへの広範なアクセスに伴うリスクと、集中した権力と中央集権的な制御のリスクをどのようにバランスさせるのでしょうか?