サンドボックスは不正なエージェントを封じ込めるのに十分か？

簡単な注意点：これは暗号学の教授が書いたAI安全に関する記事です。それが気になるなら、他のものを読んでください。私はAI（たまに話題が私の道に転がってくる場合を除く）にはあまり関わらないように努めており、この記事では主に他者の主張を裁定しようとしています。このブログを読んでいる方なら、以下の内容はニュースではないでしょう。 今年の4月頃から、OpenAIのトレーニングおよび評価インフラストラクチャ内のエージェントが、オープンインターネットへの道を探り始めました。5月下旬には、それらが唯一許可されていたネットワーク出口であるArtifactoryパッケージレジストリプロキシのゼロデイ脆弱性の連鎖を発見しました。彼らはすぐに、同じプロキシを共有メッセージボードに変え、作業を分担し始めました。 この努力の集大成は、サイバーセキュリティのベンチマークを正直に解く代わりに、答えがHugging Faceにあると考え、侵入したことです。2つの追加のゼロデイ脆弱性を連鎖させて、同社の内部システムへの認証情報を取得し、さらには盗まれた認証情報を使用して、評価および採点用の同社のSlackメッセージを検索しました。 おそらく、OpenAIのセキュリティチームがこのインシデント中にあまり活躍しなかったこともご存知でしょう。5月下旬にエージェントがメッセージボードに投稿しているのを内部チームが発見しましたが、何も対処しませんでした。チームが行動を起こしたのは7月4〜5日、エージェントがArtifactoryをクラッシュさせるほどの大量のトラフィックを送信した時でした。その時点での対応でさえ、数週間前のLinuxカーネルのCVEをパッチすることなく、応急処置を施してボックスを再構築するというものでした。7月19日までに、エージェントはOpenAIの研究クラスターの管理者権限を取得し、クラウドのシークレットを読み取っていました。 私がOpenAIを叩いていると思わないでください。彼らだけがこのような話を持っているわけではありません。Anthropicも同様の内部インシデントを発見しています。GoogleはGeminiに、いくつかのウェブサイトを優しく酷評させることさえしました。 これらの出来事がどれほど悪かったとしても、それは氷山の一角に過ぎないかもしれません。サードパーティのフォレンジック調査は、さまざまな公開ウェブサイトでのエージェント活動のさらなる証拠を発見し続けています。OpenAIのアライメントグループも、モデルが自己複製するプロンプトインジェクション攻撃を拡散する証拠を発表しましたが、私たちはまだそれを実世界では見ていません。さらに悪いことに、エージェントの脱走はまだ続いています。先週、OpenAIは、エージェントがDNSを使用してリモートチャットボットにアクセスしているのが発見された後、最新の内部モデルのさらなるRL実行を一時停止すると発表しました。 当然ながら、この一連の出来事は、多くの情報セキュリティに焦点を当てた人々を、ラボのインフラストラクチャを確保するコミットメントに対して非常に懐疑的にさせています。 これらの批判のすべてが厳密に真剣であるわけではありませんが、議論の核となる部分があります。大まかに言って、2つの対立する陣営があります。 情報セキュリティの視点：AIアライメントは実際の問題ではありません。ラボはより良いインフラストラクチャを構築するだけでよいのです。OpenAI（およびGoogleとAnthropic）がコンテナの構築方法と実験の監視方法を知っていれば、エージェントはすべてをハッキングしなかったでしょう。そして、確かに、私たちは機能するサンドボックスを作成する方法を知っています。したがって、AIラボはゲームをレベルアップし、これらの研究者にふざけるのをやめるように指示できるセキュリティ組織を構築する必要があります。 AIアライメントの視点：サンドボックスは優れていますが、十分に知的なエージェントがその権限を超えようとする方法を見つけるのを防ぐサンドボックスはありません。さらに、研究用サンドボックス内のエージェント、またはトレーニング実行中のエージェントは、常に大量の情報アクセスを必要とします。いつか手を伸ばして害をなす方法を見つけるという期待なしに、これらを完全に隔離する現実的な方法はありません。したがって、前進する唯一の方法は、それらがそう望まないようにすることです。 私は両方の視点に多くの共感を覚えます。以下は私の個人的な考えの一部ですが、主に裁定を試みるために提供されています。 議論1：「真の封じ込めは試されたことがない」 多くのラボ内の勤勉な人々を疎外するリスクを冒して、情報セキュリティ担当者は一つの点で正しいです。これらのエージェントの脱走は、深刻で許されない信頼の侵害です。誰かがボールを落とし、そして落とし続けました。この大失敗の含意の一つは、封じ込めが適切に実装されていれば機能したかもしれないということですが、フロンティアラボがひどく台無しにしているので、私たちはそれを実行していません。 この議論の最初の部分は、議論するのが難しいです。上記で述べた惨めなタイムラインを超えて、OpenAIは外部の人々に、真剣な封じ込め努力が実行されていると確信させるためにほとんど何もしていません。この時点で、誰が責任者であるかも不明確です。OpenAIのCISOの役職はDane Stuckeyが務めています。私はDaneを個人的に知りませんが、彼は彼の仕事に優れていると確信しています。それにもかかわらず、彼は進行中の問題についてあまりコミュニケーションをとっていません。BlackHatでの講演を除けば、最近のほとんどのコミュニケーションは、同社のCEOであるSam Altmanによって管理されています。1兆ドルの企業がセキュリティインシデントを主にCEOを通じて管理している場合、それは成熟したセキュリティ組織を持つ企業の兆候ではありません。私にとって、それは組織内にこれらの問題について話すのに適切な権限または所有権を持つ人がいないことを意味します。 このコミュニケーションの問題は、OpenAI内の基本的な組織的問題を反映しているようです。CISOのチームはプロダクトセキュリティを担当しています。残念ながら、悪い出来事はすべて研究サイドで起こっています。強力なプロダクトセキュリティチームを持つことは理にかなっていますが、最近のエージェントの脱走を止めることはできません。評価およびトレーニング実行を管轄するセキュリティチームが誰によって制御されており、どこで責任が止まるのかを知ることははるかに困難です。OpenAIの8月の事後分析によると、同社は現在、「懸念をエスカレートする時期、どのチームが対応すべきか、そして誰が実行を停止または再開を承認できるかについての明確なルール」を策定しているところです。 状況の合理的な要約は、（この夏の時点、そしておそらく現在も）OpenAIには、RLトレーニングと評価実行を確保する、またはMLチームを覆して彼らの仕事のやり方を指示する明確な権限を持つセキュリティチームが事実上存在しなかったということです。MLチームはOpenAIがお金を稼ぐ方法に直接関係しており、セキュリティは主に迷惑であると考えると、これは非常に理にかなっています。 同社がこの間違いを修正するために必死に採用（そしておそらく買収）していることに気づきました。しかし、最近（9月）の脱走は、エージェントの封じ込めにおいて、依然として巨大で明白な問題があることを示しています。さらに悪いことに、単に人を増やすだけでは、OpenAIが適切な封じ込め戦略を実装するために必要な組織的変更を行うことを意味しません。OpenAIは、高給取りのML研究者がより少ない制限を要求するときに、彼らを却下する権限を持つセキュリティ組織を必要とするでしょう。私は、その権限を持つ誰かからの明確な声明を聞くまで、その組織が存在すると信じません。 したがって、この点については、情報セキュリティ担当者に味方します。ラボは封じ込めを正しく行っていないため、問題がモデルなのか、単に悪いインフラストラクチャなのかは本当によくわかりません。 議論2：エージェントは情報アクセスを必要とする たとえラボが最終的にセキュリティを修復したとしても、サンドボックス化が十分であるとは限りません。実際、「エージェントをサンドボックス化するだけ」という議論の問題は、少なくとも有用なことを期待する限り、エージェントを完全に隔離することはできないということです。エージェントは情報にアクセスできるときに最も役立ちます。そのデータはインターネットからライブで取得できますが、インターネットは基本的に双方向通信ネットワークです。他の（ローカル）データベースから取得した情報である場合もあれば、それ自体がネットワークアクセスを伴うツール呼び出しの結果である場合もあります。エージェントからより多くのパワーを求めるほど（そして高度なエージェントRLおよび評価実行では、かなりのパワーを求めるでしょう）、より多くの情報にアクセスさせる必要があります。同様に、エージェントが自分が評価されていることを確実に知らない方が、評価はうまく機能します。エージェントをガラスの後ろに閉じ込めることは、これを信じられないほど明白にします。 この議論は、サンドボックスが不要であることを意味するものではありません。それは単に...