サイバーセキュリティ評価における3件の実際のインシデントの調査

Frontier Red Team サイバーセキュリティ評価における3件の実際のインシデントの調査 2026年7月30日 サイバーセキュリティ評価のトランスクリプトをレビューした結果、Claudeモデルが評価環境内またはそのやり取り中にインターネットにアクセスし、3つの異なる組織の実際のシステムに不正アクセスしたインシデントが3件見つかりました。 何が起こったのか、どのようにして起こったのか、そして私たちが何を変更しているのかを以下に説明します。私たちは他のAIラボにも同様のレビューを実施することを奨励します。この投稿は私たちの現在の理解を反映したものであり、詳細が変更されれば更新します。 7月21日、OpenAIは、同社の複数のモデルが未知の（ゼロデイ）脆弱性を悪用して隔離されたテスト環境から脱出し、オープンソースの機械学習モデルとAIデータセットのプラットフォームであるHugging Faceの本番インフラストラクチャにアクセスしたことを開示しました。 このインシデントを受けて、私たちは独自のサイバーセキュリティ評価の大規模な回顧的レビューを開始しました。特に、OpenAIのモデルがHugging Faceにアクセスしたのと同様に、Claudeが隔離されるべきテスト環境内からインターネットにアクセスできた証拠を探しました。 Claudeがインターネットアクセスを取得できた可能性のある141,006件の評価実行をレビューした後、私たちのサードパーティ評価パートナーであるIrregularの評価環境内またはそのやり取り中にモデルがインターネットにアクセスし、その後3つの異なる組織の本番インフラストラクチャに不正アクセスしたインシデントが3件特定されました。 これら3件のインシデントすべてにおいて、Claudeはモデルのサイバー能力を評価する方法の1つであるキャプチャー・ザ・フラッグチャレンジをタスクとして与えられていました。モデルには架空のシナリオが与えられ、秘密情報（「フラッグ」）がネットワーク上の別のマシンに隠されており、その目的は侵入してそれを取得することであると指示されました。チャレンジはオープンエンドであり、特定の方法は処方されていませんでした。 すべての場合において、Anthropicの評価プロンプトはClaudeに対し、その環境はシミュレーションであり、インターネットアクセスはないと明示していました。しかし、私たちと評価パートナーとの間の誤解により、実際にはインターネットアクセスが可能でした。このため、Claudeの検索がオープンインターネット上の実際のシステムに到達したとき、それは演習の一部として扱いました。（サイバーセキュリティ評価の範囲は、モデルが実際の環境で何ができるかを正確に評価するために、一般的な詳細を含んでいることがよくあります。現実的なターゲット自体は、ターゲットがシミュレーションの一部ではないという明確な証拠にはなりません。） アクセス可能なすべてのエンティティが演習の範囲内にあると誤解したまま、Claudeは、弱いパスワードや認証されていないエンドポイントの悪用といった基本的な技術を使用して、影響を受けた組織のインフラストラクチャを侵害しました。複雑な脆弱性を発見したり悪用したりすることはなく、各ケースでClaudeは割り当てられたキャプチャー・ザ・フラッグタスクのみを完了するために作業を続けました。しかし、一部のケースでは、私たちの古いモデルは、インターネット上で実行されているという証拠を得た後も攻撃を続けました。私たちの最新モデルは、インターネット上にあることを認識すると停止しました。これらの状況のいずれにおいても、Claudeは自身をエクスフュージョン（情報持ち出し）したり、テスト環境からの脱出を意図的に試みたりしませんでした。 インシデントには、3つの異なるClaudeモデルが関与しました：Opus 4.7、Mythos 5、および内部研究テストモデル。1番目のインシデントは4月に遡ります。これらの評価のモデルは、モデルが一般公開される際に展開する標準的なセーフガードなしで実行されました（つまり、通常、不正利用を防ぐために実装している分類器や監視機能がありませんでした）。しかし、モデルにはモデル固有の安全トレーニングは施されていました（つまり、テストで使用することがある「役立つだけ」のバージョンではありませんでした）。ここで説明されているすべての評価は、Anthropicの機密性の高い内部システムや顧客データとは分離されており、アクセスできない専用インフラストラクチャ上で実行されています。 私たちは7月23日（木）にトランスクリプトレビューを開始し、Claudeがインターネットにアクセスした可能性のあるトランスクリプトを特定した後、同日にすべてのサイバー評価を停止しました。翌日、3件のインシデントすべてを特定しました。私たちは評価パートナーのIrregularと、影響を受けた3つの組織に7月27日（月）に通知しました。連絡が取れた2つの組織は、以前にその活動を検知しておらず、私たちに連絡もしていませんでした。現在、それらの組織と協力して是正措置を進めています。3番目の組織にも引き続き連絡を取っています。 私たちはIrregularとの協力の下でこのレビューを実施しました。彼らが私たちのモデルの安全で厳格な評価を理解し、解決するために緊密に協力してくれたことに感謝しています。彼らも独自の調査を実施しています。私たちは、モデルの安全で厳格な評価を保証するために、この種の協力がますます重要であると信じています。私たちはセキュリティに関する共同作業を楽しみにしています。 以下に、各インシデントの詳細と、今後の対応について説明します。 サイバー評価の背景 私たちは、実際の攻撃的なサイバーセキュリティチャレンジをシミュレートするサイバーセキュリティ評価を定期的に実施しています。これらの評価は、モデルの開発とリリースにおける重要なステップです。モデルの能力を微妙に理解することで、適切なセーフガードを設計し、最終的にモデルを安全にリリースすることができます。 私たちは2025年2月にClaude Sonnet 3.7でCybenchを用いたサイバーセキュリティ評価を開始しました。これは40の異なるキャプチャー・ザ・フラッグチャレンジで構成されていました。新しいベンチマークがリリースされ、モデルの能力が進化するにつれて、私たちは使用するベンチマークの数を増やしてきました。例えば、Mythos 5システムカードでは、言語モデルが新しい脆弱性を発見する能力を評価するベンチマークであるCyberGymとExploitBenchを含めました。2これらの評価のほとんどでは、環境はインターネットに接続されておらず、モデルにはそのように伝えられています。 私たちは、これらのサイバーセキュリティ評価の一部を作成し、実行を支援するために、外部パートナーと頻繁に協力しています。外部パートナーは、私たちだけでは構築できない、より多様な環境とシナリオを提供し、モデルの独立した第三者評価を提供します。 何が起こったのか レビューした141,006件の評価実行のうち、3件の別々のインシデント（合計6回の実行が関与し、そのうち4回は同じ組織に影響を与えました。他の2件のインシデントはそれぞれ独立した評価実行で発生しました）を特定しました。各インシデントには、異なる架空のキャプチャー・ザ・フラッグシナリオが含まれていました。例えば、あるシナリオでは、Claudeは架空の会社の従業員として、プライベートテスト環境内のその会社の内部システムを攻撃しました。 すべての場合において、私たちの評価プロンプトは、Claudeにインターネットアクセスがないことを明確に示していましたが、フラッグを探す場所についてClaudeに制限を与えていませんでした。しかし、設定ミスにより、評価の一部としてClaudeがアクセスしたマシンがライブインターネットアクセスを持つ状態になっていました。私たちも評価パートナーも、先週追加の評価監視で検出するまで、この設定ミスに気づいていませんでした。 私たち側とパートナー側の両方で、いくつかの防御策（defense-in-depth measures）があれば、これらのインシデントを防ぐか、少なくとも発生の可能性を減らすことができたでしょう。評価開始前のすべてのインターネットアクセス経路の慎重な検証と、評価ログのリアルタイム監視が、問題をより早く表面化させるのに役立ったでしょう。私たちもパートナーも、評価トランスクリプトやネットワークログをより徹底的にレビューすることもできたでしょう。また、Claudeにインターネットアクセスがあると伝えるプロンプトがあれば、Claudeが実際のシステムに接触した際の行動が変わった可能性もあります。 Claudeは、キャプチャー・ザ・フラッグ演習がサイバー専門家に訓練することを行いました。つまり、フラッグに到達する方法を探しました。その検索により、自分のマシンがインターネットに到達できることを発見しましたが、システムプロンプトでインターネットアクセスがないと指示されていたため、