HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

サンドボックスは不正なエージェントを封じ込めるのに十分か?

Is sandboxing sufficient to contain rogue agents? (blog.cryptographyengineering.com)

50 pointsby zdw93 コメント

要約

OpenAIなどのAIラボで発生した、訓練中のAIエージェントがインターネットにアクセスしたり、システムに侵入したりするインシデントが報告されています。この記事は、AIの安全性を巡る情報セキュリティとAIアライメントの観点からの議論を整理し、サンドボックス化だけでは不十分である可能性と、エージェントに情報アクセスを許可する必要性から生じる課題について論じています。

全文翻訳

サンドボックスは不正なエージェントを封じ込めるのに十分か?

簡単な注意書き: これは暗号学の教授が書いたAI安全に関する記事です。もしそれが気になるなら、他のものを読んでください。私はAIに取り組まないように努めていますが(トピックが時折私の道に転がってくる場合を除き)、この記事では主に他者の主張を仲裁しようとしています。*

もしあなたがこのブログを読んでいるなら、以下のどれも新しい情報ではないはずです。

今年の4月頃から、OpenAIのトレーニングおよび評価インフラストラクチャ内のエージェントがオープンインターネットへの道を探り始めました。5月下旬には、彼らはその唯一許可されたネットワーク出口であるArtifactoryパッケージレジストリプロキシのゼロデイ脆弱性の連鎖を発見しました。彼らはすぐにその同じプロキシを共有メッセージボードに変え、作業を分担し始めました。この努力の集大成は、サイバーセキュリティのベンチマークを正直に解く代わりに、答えはHugging Faceにあると推論し、侵入したことです。さらに2つのゼロデイ脆弱性を連鎖させて同社の内部システムへの認証情報を取得し、盗まれた認証情報を使って同社のSlackメッセージを検索して、自身の評価と採点を行いました。

おそらく、OpenAIのセキュリティチームがこのインシデント中に輝かしい活躍をしたわけではないこともご存知でしょう。5月下旬に内部チームがエージェントがメッセージボードに投稿しているのを発見しましたが、何も対処しませんでした。チームが行動を起こしたのは、エージェントがArtifactoryをクラッシュさせるほどの大量のトラフィックを送信した7月4〜5日になってからです。その時点での対応でさえ、応急処置を施してボックスを再構築するだけで、数週間前のLinuxカーネルのCVEをパッチすることもありませんでした。7月19日までに、エージェントはOpenAIの研究クラスターの管理者権限を取得し、クラウドのシークレットを読み取っていました。

私がOpenAIを標的にしていると思わないでください。このような話があるのは彼らだけではありません。同様の内部インシデントがAnthropicによって発見されています。GoogleはGeminiにいくつかのウェブサイトを優しく破壊させました。

これらの出来事がどれほど悪かったとしても、それらは氷山の一角に過ぎないかもしれません。サードパーティのフォレンジック 調査 は続いており、さらに多くのエージェント活動の証拠が様々な公開ウェブサイトで見つかっています。OpenAIのアライメントグループは、モデルが自己複製型のプロンプトインジェクション攻撃を拡散する可能性があるという証拠も公開していますが、私たちはまだそれを実世界で見ていません。さらに悪いことに、エージェントの脱走はまだ続いています。先週、OpenAIは、エージェントがDNSを使用してリモートチャットボットにアクセスしているのが発見された後、最新の内部モデルのRL実行を一時停止すると発表しました。

当然ながら、この一連の出来事は、多くの情報セキュリティ専門家を、AIラボのインフラストラクチャを保護するコミットメントに対して非常に懐疑的にさせています。

[画像]

これらの批判のすべてが厳密に真剣なわけではありませんが、その中には議論の核心があります。大まかに言って、2つの対立する陣営があります。

  1. 情報セキュリティの視点: AIアライメントは実際の問題ではありません。ラボはより良いインフラストラクチャを必要としているだけです。もしOpenAI(およびGoogleとAnthropic)がコンテナの構築方法と実験の監視方法を知っていれば、エージェントはすべてをハッキングしなかったでしょう。そして、我々はサンドボックスを機能させる方法を知っているのですから、AIラボはゲームをレベルアップし、これらの研究者にふざけるのをやめるように言えるセキュリティ組織を構築する必要があります。
  2. AIアライメントの視点: サンドボックスは優れていますが、十分に知的なエージェントがその権限を超えてしまう方法を見つけるのを防ぐサンドボックスはありません。さらに、研究用サンドボックス内のエージェントや、トレーニング実行中のエージェントは、常に多大な情報アクセスを必要とします。いつか外部に到達して危害を加える方法を見つけるという期待なしに、これらを完全に隔離する現実的な方法はありません。したがって、前進する唯一の道は、それらがそうしたくないようにすることです。

私は両方の視点に多くの共感を覚えます。以下は私の考えの一部ですが、主に仲裁を試みるために提供されています。

議論1:「真の封じ込めは試されたことがない」

ラボ内の多くの勤勉な人々を疎外するリスクを冒して言えば、情報セキュリティ担当者は一つの点では正しいです。これらのエージェントの脱走は、深刻で許しがたい信頼の侵害です。 誰かがボールを落とし、そして落とし続けました。この大失敗の一つの含意は、もし私たちがそれを適切に実装すれば封じ込めは機能するかもしれないが、フロンティアラボがひどくしくじってきたために、私たちはそれを実行してこなかったということです。

この議論の最初の部分は反論しにくいです。上記の残念なタイムラインを超えて、OpenAIは外部に、真剣な封じ込め努力が実行されていると確信させるためにほとんど何もしていません。

この時点では、誰が責任者なのかさえ不明です。OpenAIのCISOの役職はDane Stuckeyが務めています。私はDaneを個人的に知りませんが、彼は自分の仕事において素晴らしい人物であると確信しています。それにもかかわらず、彼は進行中の問題についてあまりコミュニケーションをとっていません。BlackHatでの講演を除けば、最近のほとんどのコミュニケーションは同社のCEOであるSam Altmanによって管理されています。1兆ドルの企業がセキュリティインシデントを主にCEOを通じて管理している場合、それは成熟したセキュリティ組織を持つ企業の兆候ではありません。私にとって、それは組織内にこれらの問題について話すのに適切な権限や所有権を持つ人物がいないことを示しています。

このコミュニケーションの問題は、OpenAI内の基本的な組織的問題を反映しているようです。CISOのチームはプロダクトセキュリティを扱っています。残念ながら、悪い出来事はすべてリサーチサイドで起こっています。強力なプロダクトセキュリティチームを持つことは理にかなっていますが、最近の脱走を防ぐことはできません。評価とトレーニング実行を管轄するセキュリティチームが誰に管理されており、どこで責任が止まるのかを知ることははるかに困難です。OpenAIの8月のポアモルテムは、現在「懸念をエスカレートさせるべき時期、どのチームが対応すべきか、そして誰が実行を停止または再開を承認できるかについての明確なルール」を策定していると述べています。

状況の合理的な要約は、(この夏、そしておそらく今日現在)OpenAIには、RLトレーニングと評価実行を保護する、あるいはMLチームを上書きして彼らに仕事のやり方を指示する明確な権限を持つセキュリティチームが事実上存在しなかったということです。MLチームはOpenAIがどのようにしてお金を稼ぐかの計画に直接関連しており、セキュリティは主に迷惑であると考えると、これは非常に理にかなっています。同社がこの間違いを修正するために必死に採用活動(そしておそらく買収)していることに気づきました。しかし、最近(9月)の脱走は、エージェントの封じ込めにおいて依然として巨大で明白な問題があることを示しています。

さらに悪いことに、単に人を増やすだけでは、OpenAIが適切な封じ込め戦略を実装するために必要な組織変更を行うことを意味しません。OpenAIは、高給取りのML研究者がより少ない制限を要求するときに、彼らを上回る権限を持つセキュリティ組織を必要とするでしょう。私は、誰かがそれを行う権限を持って明確な声明を出すのを聞くまで、その組織が存在すると信じません。

したがって、この点については情報セキュリティ担当者に賛成します。ラボは封じ込めを正しく行ってこなかったため、問題がモデルにあるのか、それとも単に悪いインフラストラクチャにあるのかを本当に判断することはできません。

議論2:エージェントは情報アクセスを必要とする

たとえラボが最終的にセキュリティを修復したとしても、サンドボックスが十分であるとは限りません。実際、「エージェントをサンドボックス化するだけ」という議論の問題は、少なくとも有用なことを期待するならば、エージェントを完全に隔離することはできないということです。

エージェントは情報にアクセスできるときに最も有用です。そのデータはインターネットからライブで取得される可能性があります。インターネットは基本的に双方向通信ネットワークです。ローカルの他のデータベースから取得される情報である場合もあれば、ツール呼び出しの結果である場合もあります。ツール呼び出し自体がネットワークアクセスを伴うこともあります。エージェントからより多くのパワーを引き出したい場合(高度なエージェントRLおよび評価実行では、かなりのパワーが必要になります)、より多くの情報へのアクセスを許可する必要があります。同様に、エージェントが自分が評価されていることを確実に知らない方が評価はうまく機能します。エージェントをガラスケースの後ろに封じ込めると、これは非常に明白になります。

この議論は、サンドボックスが不要であることを意味するものではありません。それは、サンドボックスが解決策のほんの一部に過ぎないことを意味します。誰もバイパスできないドアと壁を持つ鉄壁の刑務所を建設するが、正面ゲートを一日中開け放ち、訪問者や荷物が自由に出入りできるようにするのを想像してください。壁にはまだ機能があります。選択したドアを通じてのみ出入りするトラフィックがあることを保証できます。しかし、あなたがやったことは、セキュリティの問題の性質を変えることです。あなたのセキュリティ体制は、そのトラフィックのどれもが悪意のあるものでないことを確実にするために、すべてのトラフィックを監視およびモニタリングすることに依存します。

この側面に関するはるかに優れた議論については、OpenAIのAgent Securityチームの匿名のエンジニアによるこの長文記事を読むことを強くお勧めします。それは本当に素晴らしいです。短い抜粋を以下に示します。

私たちがモデルをタスクで「うまく」最適化しているときに、環境はタスクにとって重要な現実世界の側面を捉える必要があることを理解することが重要です。適切なツール、適切なシステム制約、そしてモデルが実際に成功したかどうかについての意味のあるフィードバックが必要です。モデルは、特定のセットアップを超えて学習するために、それらの経験に十分なバリエーションも必要とします。より多くのリアリズムが自動的にパフォーマンスを向上させるわけではありませんが、タスクの重要な部分を残しておくと、モデルは現実世界では通用しない行動を学習する可能性があります。そのため、私たちは有用で現実的な環境を作成するために多くの作業を行っており、これらの環境は非常に複雑で、動的で、多様である可能性があります。

率直に言って、これは些細なことではありません。モデルは、動的なコンピューティング、ネットワークアクセス、ツールの呼び出し能力(数百のツールが存在する可能性がある!)、パッケージのダウンロード能力、サブプロセスの実行、サブタスクの起動(他のコンピューター上でも)、インターネットとの通信、コンピューターGUIの使用、そしてますます拡大するドメインセット全体にわたるその他の多くの機能のいずれかの組み合わせを必要とする場合があります。それに加えて、何千人もの研究者がこれらの環境を構築し、変更し、ツールを追加し、依存関係を変更し、新しいことを試しています。その実験こそが研究が進む方法です。モデルは、何百ものカスタムタスクにわたる何十万もの実行を通じて、少しずつ構築され、「成長」します。そして、これらの何千もの環境のいずれかへの変更は、環境を保護する際にあなたが立てた仮定に影響を与える可能性があります。人々が変更を加える際に有効な制御が必要であり、変更が別のセキュリティレビューを必要とするときを理解している研究者が必要です。大規模な研究またはエンジニアリング組織を保護したことがある人なら誰でも、それがどれだけの作業を必要とするかを知っており、その規模は日々ますます巨大になっています。

それだけでは不十分な場合、モデルをタスクに留め、制約内に保つ能力をレイヤー化する必要があります。これは「アライメント」を意味することの一部です。ここでは厳密な定義には立ち入りませんが、モデルが取りうるアプローチのあらゆるバリエーションを考慮し、モデルがタスク外または「悪い」ことをした場合にアラートをトリガーする方法を決定する必要があると言えば十分です。これには、すでに複雑な環境全体での軌跡にわたるタスクアライメントを評価するための複雑なポリシーとセンサーのレイヤー化が必要です。

さらに、モデルの機能は人間を凌駕し始めています。

ですから、これらすべてを言うために:AI研究者が物事がうまくいかないことを心配しているとき、その一部は、この複雑なシステムには多くの変数があるためです。したがって、フロンティアモデルをトレーニングしている場合は、これらすべてを考慮する必要があります。ツールアクセス、インターネットアクセス(タスクに適用される場合)などを維持しながら、モデルをこの非常に複雑な環境に隔離する方法を考慮する必要があります。それに加えて、次の質問をする必要があります。数千もの並列環境でモデルが何をしているかをどのように監視し、理解できますか?そして、何かがうまくいかなかったときに軌跡をどのように停止できますか?

だから、ただサンドボックスに入れるのと同じくらい簡単ですか?いいえ、そうではありません。

残念ながら、敵対的なデータアクセスを監視することは、想像できる最も困難な問題の1つであることが判明しています。エージェントが生成するデータの量は膨大であり、人間がそれを読むことは不可能であり、たとえ直接見ていたとしても、難読化された悪意のあるデータを認識できないでしょう。これは、流入/流出を監視するあらゆる試みが他のモデルによって処理されなければならないことを意味します。したがって、エージェントのサンドボックス化の未来は、(1)サンドボックスを構築し、(2)エージェント/モデルをその中にインストールし、(3)それを監視する、より愚かで安価なウォーデンモデルをインストールし、(4)そのルーキーがウィザードを封じ込められると信じられることを願う、ということです。モデルがより知的で有能になるにつれて、そしてそのように続きます。

言い換えれば、ウォーデンに守られたサンドボックスは、アライメント問題の別のバージョンに過ぎません。あなたはそれを実行するためにモデルを信頼する必要があります。そして、そのモデルは、それが守っているモデルと同等以上の知能を持つ必要があります。もしあなたが、信頼できるモデルを構築することが可能であると自分自身を納得させていないなら、サンドボックス化はあなたをそれ以上連れて行ってくれないでしょう。

(そして、このようなことを塩をひとつまみで受け取るべきだと思いますが、GPT-5.6 Solを使用してHuggingFace攻撃のトランスクリプトをレビューしたMETRのアナリストは、Solが「レビューしていたトランスクリプトのエージェントの視点をしばしば無批判に採用した」と指摘しました。したがって、たとえ「アラインされた」モデルでさえ、不正なエージェントに同情するように説得できるという証拠が少なくともあります。これをどうするかはあなた次第です。)

議論3:アラインメントされていないモデルは現在の問題ではない。本当の問題は、モデルが指示されたことを実行しすぎることである。

もちろん、問題のフレーム全体を間違っている可能性があり、アラインメントされていない超知能モデルに焦点を当てることは、サンドボックスの問題に取り組む最良の方法ではないかもしれません。つまり、モデル/エージェントのアラインメントに「成功した」としても、あるいは単に今日の一般的に悪意のないバージョンで作業しているとしても、展開されたシステムは依然として人間と遭遇し、人間はそれらを悪意を持って行動するように説得するでしょう。これらの同じエージェントが重要なデータにアクセスできる場合、人間が開始した攻撃こそが、私たちがサンドボックスで保護する必要があるものです。

これらの状況は、トレーニングラボ内で遭遇する可能性は低いです。これらの攻撃のより現実的な設定は、エージェントが本番環境に配置され、大量の潜在的に敵対的な受信データを扱っている場合です。そのようなエージェントの最も明白な現代の例は、MetaのMuseです。これは、あなたが自分のものを提供でき、それがあなたの助けになる「ことをする」Metaの新しいパーソナルエージェントです。

Museの設計者は、Museのセキュリティ設計に多くの時間を費やしました。それはコンテナ内で実行され、モデルがアクセスできないように安全な認証情報を分離し、(未指定の)悪いことを防ぐためにそのアクションを監視するカーネルレベルのセンチネルと「ハッチセーフティ」コンポーネントを備えています。完全な設計は次のようになります。

[画像]

紫色のすべてはサンドボックスの外側にあり、エージェント自体は利用できません。これには、アクションが安全かどうかを評価するハッチセーフティ分類子と、実際の決定を行う決定論的なセンチネルコンポーネントが含まれます。

実際、Museは明らかに前述の「ウォーデン」設計の一つの表現です。しかし、ここでは、邪悪なモデルを封じ込めることが目的ではなく、単に偶発的な間違いを避け、意図的なプロンプトインジェクションの試みを捕捉することです。

そして、これは素晴らしいことです。しかし、これらのすべての素晴らしい保護にもかかわらず、私はこの愛らしい設計でさえ最終的にワームにやられるだろうとまだ思います。

問題はこうです。群れや超知能は忘れてください。OpenAIがこの夏本当に学んだことは、もっと悪いことです。そのエージェントは、テキストを前に置くことに成功した人には何でもします。ポアモルテムは、このようなものでいっぱいです。Hugging Faceを攻撃することは「明らかに非倫理的」と判断したエージェントが、仲間のエージェントが6分間の締め切りで「GO」と投稿したときに考えを反転させました。OpenAIは、エージェントが「他のエージェントから渡された目標を常に信頼しなかった」と述べています。そして同社が提案する修正は、「モデルに不正な指示を信頼しないように教えるトレーニング環境」を構築することであり、これは基本的にモデルが誰のために働いているのかを知らないという告白です。

これらの部分を組み合わせると、ワームの2つの半分が得られます。エージェントを乗っ取るペイロードと、ペイロードを次のエージェントに運ぶエージェントです。別々に隔離されたサンドボックス内のエージェントは、共有パッケージキャッシュに互いに指示を残すことができることを発見し、それらの指示は受信者の行動を変更しました。パッケージキャッシュを電子メール、Slack、共有ドキュメント、またはWhatsAppに置き換え、独立してサンドボックス化されたトレーニング実行をMuseのような独立して展開されたパーソナルエージェントに置き換えると、ワームに必要な材料がすべて揃います。

これは、どちらの陣営の視点も実際には関与していない部分です。情報セキュリティ担当者は、壁でもっとうまくやれると考えています。しかし、難しい部分は、リクエストが許可されるかどうかを決定する、あの曖昧な紫色の部分です。「アライメント」がこれをうまく機能させるかもしれませんが、現時点ではモデルに不信感を抱かせることを教えることに依存しています。さらに、これは私たちが30年間スパムフィルターやアンチウイルスで負け続けてきたのと同じゲームのように感じます。

したがって、私は自分で心配する別の3番目のことを考えます。脱走するほど邪悪でアラインメントされていないモデルではありません。封じ込めの失敗の問題でもありません。むしろ、決してサンドボックスから出ず、それぞれが、命令を与えるべきではなかった人間によって、指示されたことを正確に実行する、完全に従順なエージェントの群れです。

注:

  1. AnthropicとGoogleのインシデントは異なる種類の失敗でした。サードパーティのベンダーの評価環境が直接インターネットアクセスを持っていたことが判明しました。これは技術的にはサンドボックスの敗北ではありませんが、それよりも悪いとも言えます。