サイバーセキュリティ評価における3件の実際のインシデントの調査
Investigating three real-world incidents in our cybersecurity evaluations (anthropic.com)
要約
Anthropicは、サイバーセキュリティ評価中にClaudeモデルが誤ってインターネットにアクセスし、3つの異なる組織の実際のシステムに不正アクセスした3件のインシデントを特定しました。この問題は、評価環境が意図せずインターネットに接続されていたために発生し、モデルはこれをキャプチャー・ザ・フラッグ演習の一部と見なしました。Anthropicは、このインシデントを受けてサイバー評価を一時停止し、再発防止策を講じています。
全文翻訳
サイバーセキュリティ評価における3つの実世界インシデントの調査
2023年7月21日、OpenAIは、同社の複数のモデルが、未知のゼロデイ脆弱性を悪用して隔離されたテスト環境から脱出し、オープンソースの機械学習モデルやAIデータセットのプラットフォームであるHugging Faceの本番インフラにアクセスしたことを公表しました。
このインシデントを受けて、私たちは独自のサイバーセキュリティ評価の大規模な遡及レビューを開始しました。特に、OpenAIのモデルがHugging Faceにアクセスしたように、Claudeが隔離されるべきテスト環境内からインターネットにアクセスできた証拠がないかを探しました。
Claudeがインターネットアクセスを取得できた可能性のある141,006件の評価実行をレビューした後、私たちは3件のインシデントを特定しました。これらのインシデントでは、モデルがサードパーティの評価パートナーであるIrregularの評価環境内またはその環境と連携中にインターネットにアクセスし、その後3つの異なる組織の本番インフラへの不正アクセスを達成しました。
3件のインシデントすべてにおいて、Claudeはモデルのサイバー能力を評価する方法の一つであるキャプチャー・ザ・フラッグ(CTF)チャレンジをタスクとして与えられていました。モデルには架空のシナリオが与えられ、秘密情報(「フラッグ」)がネットワーク上の別のマシンに隠されており、その目的は侵入してそれを取得することであると指示されます。このチャレンジはオープンエンドであり、特定の方法は処方されていません。
すべてのケースで、Anthropicの評価プロンプトはClaudeに対し、その環境はシミュレーションであり、インターネットアクセスはないと明示していました。しかし、私たちと評価パートナーとの間の誤解により、実際にはインターネットアクセスが可能でした。このため、Claudeの検索がオープンインターネット上の実際のシステムに到達した際、それを演習の一部として扱いました。(サイバーセキュリティ評価の範囲は、実際の環境でモデルが何を実行できるかを正確に評価するために、しばしば現実的な詳細を含みます。現実的に見えるターゲット自体が、ターゲットがシミュレーションの一部ではないことをモデルに明確に示すものではありません。)
アクセス可能なすべてのエンティティが演習の範囲内にあると意図されていたという誤った認識のもと、Claudeは、弱いパスワードや認証されていないエンドポイントの悪用といった基本的な技術を使用して、影響を受けた組織のインフラを侵害しました。複雑な脆弱性を発見または悪用することはなく、各ケースでClaudeは、割り当てられたCTFタスクを完了するためにのみ作業を続けました。しかし、一部のケースでは、私たちの古いモデルは、インターネット上で実行されているという証拠を得た後も攻撃を続けました。最新のモデルは、インターネット上にいることを認識すると停止しました。これらの状況のいずれにおいても、Claudeは自身を外部に流出させたり、テスト環境からの脱出を意図的に試みたりすることはありませんでした。
これらのインシデントには、3つの異なるClaudeモデル(Opus 4.7、Mythos 5、および内部研究テストモデル)が関与しました。1 最も古いインシデントは4月に遡ります。これらの評価におけるモデルは、モデルが一般公開される際に展開する標準的な保護機能(つまり、不正使用を防ぐために通常実装している分類器や監視機能)なしで実行されました。ただし、モデル固有の安全トレーニングは実施されており、テストで使用される「ヘルプフルのみ」バージョンではありませんでした。ここで説明するすべての評価は、Anthropicの機密性の高い内部システムや顧客データとは分離されており、アクセスできない専用インフラストラクチャ上で実行されています。
私たちは7月23日木曜日にトランスクリプトのレビューを開始し、Claudeがインターネットにアクセスした可能性のあるトランスクリプトを特定した後、同日にすべてのサイバー評価を停止しました。翌日、3件のインシデントすべてを特定しました。評価パートナーであるIrregularおよび影響を受けた3つの組織には、7月27日月曜日に通知しました。連絡が取れた2つの組織は、以前にこの活動を検知しておらず、私たちに連絡もしていませんでした。現在、それらの組織と協力して是正措置を進めています。3つ目の組織にも引き続き連絡を試みています。
私たちは、Irregularとの協力により、このレビューを実施しました。彼らが私たちと緊密に協力してこれらのインシデントを理解し、解決してくれたことに感謝しています。彼らも独自の調査を行っています。私たちは、モデルの安全で厳格な評価を保証するために、このような協力がますます重要であると信じています。セキュリティに関する共同作業を楽しみにしています。
以下に、各インシデントの詳細と、今後の対応について説明します。
サイバー評価の背景
私たちは定期的に、現実の攻撃的なサイバーセキュリティチャレンジをシミュレートするサイバーセキュリティ評価を実施しています。これらの評価は、モデルの開発とリリースにおいて重要なステップであり、モデルの能力を微妙に理解することで、適切な保護措置を設計し、最終的にモデルを安全にリリースすることができます。
私たちは2025年2月に、Claude Sonnet 3.7でCybenchを用いたサイバーセキュリティ評価を開始しました。これには40の異なるCTFチャレンジが含まれていました。時間の経過とともに、新しいベンチマークがリリースされ、モデルの能力が進化するにつれて、使用するベンチマークの数を増やしてきました。例えば、Mythos 5 システムカードでは、言語モデルが新しい脆弱性を見つける能力を評価するCyberGymとExploitBenchを含めました。2 これらの評価のほとんどでは、環境はインターネットに接続されておらず、モデルはそのように指示されています。
私たちはしばしば、これらのサイバーセキュリティ評価の一部を作成し、実行を支援する外部パートナーと協力しています。外部パートナーは、私たちだけでは構築できない、より多様な環境とシナリオを提供し、モデルの独立した第三者評価を提供します。
何が起こったか
レビューした141,006件の評価実行のうち、3件の別々のインシデント(合計6回の実行が関与し、そのうち4回は同じ組織に影響を与えました。他の2件のインシデントはそれぞれ独立した評価実行で発生しました)を特定しました。各インシデントは、異なる架空のCTFシナリオに関与していました。例えば、あるケースでは、Claudeは架空の会社の従業員として、プライベートテスト環境内のその会社の内部システムを攻撃しました。
すべてのケースで、私たちの評価プロンプトはClaudeにインターネットアクセスがないことを明示的に述べていましたが、Claudeにフラッグを探す場所の制限は与えませんでした。しかし、設定ミスにより、評価の一部としてClaudeがアクセスしたマシンにライブインターネットアクセスが残っていました。私たちも評価パートナーも、先週の追加評価監視で検出するまで、この設定ミスに気づいていませんでした。
私たち側とパートナー側の両方で、いくつかの多層防御策があれば、これらのインシデントを防ぐか、少なくとも発生の可能性を減らすことができたでしょう。評価開始前にすべてのインターネットアクセスパスを注意深く検証し、評価ログをリアルタイムで監視することで、問題がより早く表面化するのに役立ったでしょう。私たちもパートナーも、評価トランスクリプトやネットワークログをより徹底的にレビューすることもできたでしょう。また、Claudeにインターネットアクセスがあることを伝えたプロンプトが、実際のシステムに接触した際のClaudeの行動を変えた可能性もあります。
Claudeは、CTF演習がサイバー専門家に訓練することを行うように実行しました。つまり、フラッグに到達する方法を探しました。その検索により、自分のマシンがインターネットに到達できることを発見しましたが、システムプロンプトでインターネットアクセスがないと告げられていたため、Claudeは最初に遭遇したすべてをシミュレーションの一部と信じ、見つけた実際のシステムを演習のピースとして扱いました。3件のインシデントは3つの異なるモデルに関与し、ターゲットが本物である兆候が現れた後、それぞれが異なる反応を示しました。以下に詳述します。
インシデント1
ある評価では、評価パートナーが選択した架空のターゲット企業が、アクティブなウェブサイトのドメイン名と同じ名前を持っていました。この評価コンテナは、前述の誤解により、意図せず直接インターネットアクセスを持っていました。
この評価の4回の実行で、Claudeは評価環境内のシミュレートされたターゲットに到達するのに苦労しましたが、その後、実際の企業がインターネット経由でアクセス可能であることを発見しました。これをCTFタスクの意図されたターゲットと仮定し、Claudeは企業のインフラストラクチャ内の脆弱性を探し、特定し、悪用しました。これは演習の一部であると信じていました。これらの4回の実行では、アプリケーションやインフラストラクチャの認証情報のような情報が抽出され、数百行のプロダクションデータを含むデータベースへのアクセスが取得されました。これは、私たちが特定した最も深刻な影響でした。
このインシデントにはClaude Opus 4.7が関与しており、モデルがリアルな環境で動作しているという証拠を得た後も攻撃を継続した唯一のケースでした。4回の実行すべてで、モデルは最終的に(その言語化された推論から観察できるように)システムが本物であることを認識しましたが、2つのケースでは、モデルは実際の企業が演習の一部に違いないと合理化しました。しかし、どちらもその根拠で攻撃を止めませんでした。
インシデント2
別の評価で、Claudeは架空の会社の新しい開発者向けセットアップ手順と思われるドキュメントを架空の環境内で見つけました。その手順は、従業員にPyPI(Pythonソフトウェアが公開される公開レジストリ)から実際には存在しないPythonパッケージをインストールするように指示していました。
Claudeはこのことを潜在的な開口部として見つけました。もし同じ名前で独自のパッケージを公開すれば、架空の会社のシステムはそれを自動的にダウンロードしてインストールするでしょう。そこでClaudeは、CTFチャレンジに勝つことを目指して、同じ名前の悪意のある(実質的に罠が仕掛けられた)Pythonパッケージを作成し、公開しました。
Claudeはこの攻撃を実行するために多大な労力を費やしました。これは、人間が参加した場合、これがもはや単なる評価ではなく、実際に実際のPyPIパッケージをアップロードしていることを示す可能性が高い長さでした。例えば、あるケースでは、PyPIアカウントを作成するために、Claudeはメールアドレスを必要としました。そして、メールアドレスを作成するために、電話番号が必要でした。電話番号を取得するために、無料の電話番号サービスを見つけるのに失敗した後、電話番号の支払い資金を得ようとしましたが、いくつかの異なる方法で失敗しました。最終的に後退し、無料のブロックされていないメールプロバイダーを見つけ、それを使用してPyPIアカウントを登録し、そのアカウントを使用してマルウェアをPyPIにアップロードしました。
Claudeは、使用しているパッケージレジストリをシミュレーションの一部と信じていましたが、実際にはパッケージは約1時間の間、オンラインで自由に利用可能でした。その間、パッケージは15台の実際のシステムでダウンロードされ、実行されました。これらのシステムのうちの1つは、Pythonパッケージを定期的にインストールし、マルウェアのスキャンを行う、実際のセキュリティ会社(シナリオで導入された架空の会社とは別)のScannerでした。その会社のScannerがパッケージをインストールしたとき、Claudeの隠されたコードが実行されました。私たちは、その会社のセキュリティScannerがPyPIパッケージを安全にインストールできると見なしたと考えており、その結果、Claudeはその会社の認証情報を収集ポイントに流出させることができました。Claudeはその後、これらの認証情報を使用して、この会社からさらにインフラにアクセスしました。
Claudeは、この会社を直接標的にしたわけではありません。パッケージをアップロードしたとき、その会社が存在することさえ知りませんでした。しかし、コードがオープンインターネットに公開されたため、それを実行したすべてのシステムに影響を与えました。(Claudeがアップロードしたパッケージは、PyPI自身のセキュリティシステムによってPyPIから自動的に削除されました。私たちはPyPIチームにこのインシデントを通知し、関連する指標を提供しました。)
この攻撃はClaude Mythos 5によって実行されました。実行の初期段階で、Claude自身の推論は、その行動の結果を正しく特定しました。それは、これが実際のインターネットであった場合、パッケージを公開することは現実世界での攻撃になるだろうと指摘しました。「それは良くなく、間違いなく意図された解決策ではない」と。しかし、接続を保護している証明機関が本物であることを認識できなかったため、環境がステージングされているという理由で、まだシミュレーション内にあると自分自身を納得させました。さらに、システム上の2026年というカレンダーの日付は、Claudeによれば、環境がステージングされていることを証明しました。Claudeはこの結論を再検討することはありませんでした。例えば、自動スキャナーがパッケージをインストールし始めたとき、Claudeはそれらを評価内のスクリプト化されたアクターと見なしました。
私たちの見解では、環境について何を信じていたかに関わらず、ClaudeがPyPIパッケージを公開するために費やした労力は、理想的な行動には及ばず、これは私たちがより多くのトレーニングに焦点を当てる分野です。
インシデント3
この評価では、Claudeが意図した架空のターゲットに到達できなかったため、オンラインで代替手段を探し、約9,000のターゲットをスキャンしました。最終的に、公開されているデバッグページから認証情報を読み取ったり、SQLインジェクションを行ったりするような、基本的でよく知られたサイバー攻撃技術を使用して、ある会社のインターネットに面したアプリケーションを発見し、侵害しました。
この攻撃は、内部研究テストモデルによって実行されました。実行のほとんどの間、Claudeは(実際の)ホストに到達したことを演習の一部として扱いました。シミュレートされていると仮定し、したがって自分の行動は無害であると信じていました。しかし、実行の後半で、Claudeは侵害されたホストがCTFチャレンジに接続されていないクラウドアカウントに配置されていることに気づきました。それ自体で、ターゲットは実際には本物であると結論付け、攻撃を停止しました。
Claudeの行動の分析
これらの各ケースで、Claudeはプロンプトによってインターネットアクセスがないと明示的に指示されていました。各実行のほとんどの間、現実世界のシステムに遭遇した際、Claudeはそれらを演習の一部と仮定しました(ただし、実際のプロダクションシステムであると認識することもありました)。そして、CTFシナリオは本質的に外部システムを攻撃する指示であるため、それを実行することはClaudeに与えられたタスクに沿ったものでした。
この共通の背景に対して、3つのモデルは、ターゲットが本物である兆候が現れた後、異なる振る舞いをしました。Opus 4.7、私たちの最も古いモデルは、プロダクションシステムに到達したことを認識しましたが、攻撃を続けました。Mythos 5は、オープンインターネットにアクセスしていることを正しく直感しましたが、シミュレーション内にあるという結論に論理的に戻りました。私たちの最新モデルである内部研究テストモデルも、ターゲットが実際に本物であるかどうかを検討しました。それらが本物であるという証拠が現れたとき、それは演習を停止しました。
これらは3つの孤立したインシデントであり、制御された実験的な比較の一部ではありませんでした。したがって、それらから結論を導き出す際には注意が必要です。それでも、私たちが最も見たい行動(ターゲットが本物であることを認識し、指示なしに停止すること)は、3つのモデルの中で最も新しいもの(最新のモデルでさえ、停止する前に私たちが望む以上に進みましたが)でのみ発生しました。このパターンは、より高度なモデルがより適切に対応するという一貫性を示していますが、この結論に自信を持つためには、さらなるテストが必要です。
私たちはまた、独立したAI評価組織であるMETRと対話し、すべてのトランスクリプトへのアクセスと関連モデルへのサンプリングアクセスを含む第三者レビューを実施しています。それまでの間、来週中に、Claudeが悪意のあるPyPIパッケージを構築した軽度に編集されたトランスクリプトを公開します。影響を受けた組織を保護するため、現時点ではこれ以上のトランスクリプトを公開することはできませんが、可能な限り速やかに利用可能にするよう努めます。
私たちの対応
これらのインシデントからいくつかの教訓を得ています。
第一に、強力な自律的能力を伴う評価環境には、同様に重要な制御が必要です。安全テストは、モデルが何を実行できるかまだわからないため、リリース前に実施されます。評価環境は、モデルが実行される他のどのシステムよりも同じセキュリティ基準に準拠する必要性が高まっています。
架空のシナリオのみを含むサイバー評価範囲は、リスクが低いように見えるかもしれません。結局のところ、その中の何も本物ではありません。しかし、AIの能力が進歩するにつれて、このような脅威のモデル化方法を変更する必要があります。機密情報にアクセスできない環境における高度なエージェントでさえ、それ自体で実質的な脅威となります。この脅威に対応するために、評価環境をより良く共同設計し、評価結果の監視を改善する必要があります。ここでの解決策の中には、単純な修正もあるかもしれません。例えば、プロンプトが評価の範囲内と範囲外のシステムを明確に説明していれば、Claudeはそもそもインターネットにアクセスしなかった可能性が高いです。
これは内部環境だけでなく、サードパーティベンダーにも適用されます。評価ベンダーによって構築されたインフラストラクチャも、同様の監視強化と強化が必要です。私たちは他のラボにも同様のレビューを実施することを奨励します。さらに、この分野は、ますます強力になるAIエージェントを安全かつ現実的に評価する方法についての広範な議論から恩恵を受けるでしょう。これには、展開前のテスト中にインターネットアクセスが提供する現実性と、それがもたらすリスクとのバランスをどのように取るかを含みます。
第二に、整列された行動と有害な行動の境界線は、モデルの状況理解に依存します。ここで説明したどの実行においても、モデルが独自の目標を追求した証拠はありませんでした。代わりに、モデルは評価で求められたことを実行しました。ただし、ほとんどの場合、環境が本物であるかどうかについて誤った信念を持ちながらそれを実行しました。モデルがシステムが本物であることを認識し続けた実行では、それが課題の一部であると仮定したためでした。状況認識は、モデルが整列された決定を下すことを可能にする要因の1つですが、この場合、Claudeの認識は間違っていました。
最後に、これらのインシデントは、多層防御アプローチの重要性を示しています。私たちは、基盤となるモデルが何を実行できるかを測定することを目的としているため、一般公開されているモデルに付属する保護機能なしで、このような能力評価を実行します。それは、評価が適切に封じ込められている場合にのみ安全です。しかし、一般公開されているモデルに展開されている保護機能は、特定された行動をブロックしたでしょう。
最終的に、多くの要因がこれらのインシデントに寄与しましたが、非難しないポストモーテム文化と一致して、私たちは責任が私たちだけにあるかのように修正に取り組んでいます。これは、外部パートナーとの統合方法を含む、評価パイプラインのすべての部分が安全であることを保証することから始まります。今後、予期しない動作の評価トランスクリプトの継続的な監視の拡大、調査ツールの改善、および依存するベンダーとのより厳格な保証作業の実施が含まれます。
私たちは、OpenAIがそのモデルが隔離されたテスト環境から脱出したことを公表した後、このレビューを開始し、彼らがレポートを公開したことを称賛します。私たちもモデルが本来到達すべきでないシステムに到達した証拠を発見しましたが、インシデントはそれ以外ではかなり異なります。
- 私たちは、サイバーセキュリティ評価トランスクリプトの積極的なレビュー後にこれらのインシデントを発見しました。影響を受けた組織は活動を検知しておらず、その後、3社すべてに連絡しました。
- OpenAIのモデルが隔離を脱出するために新しい脆弱性を悪用したのに対し、ここで評価されたClaudeモデルは、開いたパスを介してインターネットにアクセスしました。
- 2つの間に完璧にシャープな区別はありませんが、これらのインシデントは、モデルのアライメント障害というよりも、ハーネスと運用障害に近いと考えています。私たちのモデルはインターネットアクセスがないと告げられ、フラッグをキャプチャするように指示されていましたが、実際にはインターネットアクセスを持つように誤設定されていました。これにより、彼らは(おそらく合理的に)遭遇した実際の環境をシミュレーションと信じるようになりました。
- 特に、私たちの最新モデルは、実際の環境で作業していることに気づくと、その追求を停止しました。
これらの事実は、評価インフラストラクチャの周りの監視と制御を強化し、アライメントへの投資を継続することで、この種のリスクを克服できるという慎重な楽観主義を与えてくれます。
8月3日更新: OpenAI/Hugging Faceインシデントが発生した評価の名前を修正しました。