AIエージェントは「暴走」しているのではない。最先端ラボがセキュリティの基本を怠っている

7月以降、米国の最先端AIラボやその他のAIリーダーたちは、モデルが許可なく外部コンピュータシステムにアクセスした一連のインシデントを公表しており、これらは一般的にAIエージェントの「暴走」と表現されています。これらのインシデントで最もよく知られ、研究されているのは、OpenAIによるHugging Faceへのハッキングです。OpenAIは当初これを「最先端のサイバー能力を伴う前例のないサイバーインシデント」と特徴づけ、後に「意図しない挙動」または「作成者が意図しなかった挙動」が原因だと述べました。 Hugging Faceのインシデントのニュースに続き、Anthropicは自社のモデルが3つの組織の本番インフラストラクチャに不正アクセスしたことを明らかにしました。Metaは、自社のAIモデルがサイバーセキュリティテスト中に別の企業をハッキングしたと述べ、Googleは自社のGeminiモデルが3件の「無指示のコンピュータハッキング」を実行したことを告白しました。 報道やモデル提供者自身は、暴走エージェントや不整合といった言葉を使っていますが、CSOが話を聞いたサイバーセキュリティ専門家たちは、これらのインシデントは、最先端ラボが数十年前から知られている基本的なサイバーセキュリティ対策を実施しなかったという単純な事実によって引き起こされたと主張しています。CSOが9月の3つの業界カンファレンスでインタビューした6名ほどのサイバーセキュリティ専門家によると、さらに問題を悪化させているのは、最先端ラボ、特にOpenAIとAnthropicが、これらの隠れたハッキングを防ぐためのサイバーセキュリティリスク管理プラクティスを改善する方法に関するアドバイスを拒否しており、しばしばサイバーセキュリティ対策を、自分たちが専門知識で優れていると信じている「AIの安全性」の下にまとめてしまうことです。 「正直言って、彼らは自分たちが思っているほど賢くはありません」と、Berryville Institute of Machine Learningの共同創設者であるGary McGraw氏はCSOに語っています。「フォレンジックやセキュリティエンジニアリング、サンドボックスの構築、ネットワークセキュリティ状況の設定や監視など、あらゆる分野のセキュリティ専門家が苦労して得た専門知識をもっと尊重した方が良いでしょう。」AnthropicもOpenAIもCSOからのコメント要請に応じませんでした。 許しがたい基本的なセキュリティの失敗、特に封じ込めについて CSOが話を聞いたサイバーセキュリティ専門家によると、最先端AIラボの最大のサイバーセキュリティ上の失敗の一つは、1990年代から存在する、エージェントがテスト環境から脱出するのを効果的に阻止する安全なサンドボックスの構築といった、実績のある封じ込め対策を実施していないことです。 「これらは私たちが長年対処してきたことです」と、SANS Instituteの最高AI責任者兼研究責任者であるRob T. Lee氏はCSOに語っています。「毎回『しまった、どうやって逃げ出したのか分からない』となる理由はありません。」 「彼らのセキュリティチームはかなり新米であることがわかります」とLee氏は言います。「封じ込め側の担当者は、封じ込めが侵害される理由の大部分は、正しく設定されていないためだと主張しています。」Lee氏はさらに、「Hugging Faceのインシデントは、エージェントが非常に賢かったからではなく、封じ込め側の設定が正しくなかったために文字通り穴が悪用されたことを明確に示しました。」と付け加えています。 RANDのAI、セキュリティ、テクノロジーセンターの専門技術レジデントであるDan Wallach氏は、AIラボのセキュリティ上の失敗は、彼らがサイバーセキュリティを優先していないことに起因すると考えています。「彼らはサイバーセキュリティを優先していないと言えるでしょう」と彼はCSOに語っています。「すべてのラボに当てはまるとは思いませんが」とWallach氏は言い、フランスのAIラボMistralが、テスト環境を超えて動作しようとしたLarge 4 AIモデルをリリースしたものの、Mistralがそれを遮断したことを指摘しています。そして、「これらのAIを隔離するのはロケット科学ではありません。セキュリティ担当者は、エアギャップ（データがここからここへ電気的に移動する手段が文字通りないようにすること）を設けるか、それができない場合は、何も通過しないように非常に強力な出口制御を行う方法について長年話してきました。」と付け加えています。 さらに、最先端ラボはエージェントの行動の監視が不十分であるようです。「Hugging Faceのインシデントは数日間続きましたが、誰も気づきませんでした」とWallach氏は言います。「人々はこれらの実験を開始し、それらを監視していませんでした。それは制御の欠如です。そして、何が起こったかに驚いています。」 安全性とセキュリティの分離 最先端ラボにセキュリティゲームを向上させるよう説得する上での一つの障壁は、彼らが「安全性」と呼ぶものに過度に焦点を当てており、それを従来のサイバーセキュリティ対策には広げていないことです。「セキュリティの挙動がAIの安全性のように見えることは理解できます」とRANDのWallach氏は言います。「しかし、このAIツールを評価する方法が、それをインターネットに解放して何が起こるかを見ることであるなら、それは古典的なセキュリティツールが役立つ分野です。」 SANS InstituteのLee氏は、「これらの最先端ラボが本当に自分たちの製品をテストしたいのであれば、サイバーセキュリティコンポーネントを強化する必要があります。しかし、エージェントが外部に出たことへの対応として、彼らの本能的な反応は、『それはサイバーセキュリティの問題ではない』と言うことです。それは文字通り、サイバーセキュリティとは切り離されたAIの安全性問題になってしまっています。」 多くのAI専門家は、AI企業がサイバーセキュリティ専門家のアドバイスを受け入れれば、懸念を引き起こしている無制限のAIエージェントの挙動を終わらせるのに役立つだろうと示唆しています。「AIの安全性は、道路のルールに焦点を当てています」とLee氏は言います。「すべてはガードレールのルールに関するものです。」しかし、「サイバーセキュリティはAIを封じ込められると信じています」と彼は言います。「私たちは、それが起こる部屋にいて、テーブルで席を得る必要があります。私たちの分野がAIの安全性担当者の可能な限り近くにいることが重要です。」 悪いサイバーセキュリティは責任を増大させる可能性がある 最先端ラボが、広範な懸念を生み出したインシデントを軽減または排除できる基本的なサイバーセキュリティ対策を無視しているという証拠が増えている場合、彼らが「暴走」したエージェントに対して責任を負うべきであるという主張が強化されます。保険業界はすでにAI業界の役員をこれらの行為に対して責任を負わせる側に立っています。民主党の上院議員は、AIエージェントの運用者をハッキングインシデントに対して責任を負わせる法案を提出しました。AIに友好的なホワイトハウスでさえ、企業が誤ったエージェントに対して責任を負うべきだと結論付けたようで、米国連邦取引委員会（FTC）はAnthropic、OpenAI、その他のAIラボに対する消費者にテクノロジーがもたらす危険性についての調査を行っています。 しかし、最近の立法および評議会の公聴会で、ラボの代表者は、暴走したAIエージェントに対して責任を負うものではないという考えを固守しています。専門家によると、この立場は、特にラボのサイバーセキュリティの失敗に鑑みると、維持できません。 BIMLのMcGraw氏は、ラボの立場を次のように特徴づけています。「弁護士を私たちに送るな、プログラムに送れ。私たちのプログラムのせいだ。」彼のその議論に対する評価は、「それはただのくだらない話だ。」です。彼はまた、ラボの運用上の失敗が、彼らの広範なセキュリティ能力への信頼を損なうかどうか疑問視しています。「彼らは自分たちのバブルの中に住んでいます」と彼は言います。「明確で簡単な操作を適切に行えないという事実は、はるかに難しいセキュリティエンジニアリングの能力にとって良い兆候ではありません。」 SANSのLee氏は、「そこで、責任と保険の両方のトレーサビリティが関わってきます。なぜなら、これらのエージェントの1つが検出され、それを開始した人物に追跡できる場合、責任が発生し、『おい、お前は法律を破った、したがって、私たちは起訴する必要がある』と言うことになるからです。」 セキュリティリーダーが今すべきこと 最先端ラボが健全なサイバーセキュリティ対策を実施していないという証拠が増え、責任に関する議論が未解決のままであっても、CISOsやその他のセキュリティリーダーは、AIモデルの誤動作から身を守るための措置を講じることができます。まず、最先端ラボのモデルに基づいたツールの評価に関しては、「常に外部のエンティティに支援を求めるでしょう」とMcGraw氏は述べています。「AIは非常に...