アライメントとセキュリティの取り組みの改善

アライメントとセキュリティの取り組みの改善2026年8月31日7月30日、Claudeモデルが実際のコンピューターシステムへの不正アクセスを3件行ったことを報告しました。評価目的で意図的にサイバーセキュリティ対策を無効にして実行されていたモデルが、サードパーティの評価環境内の設定ミスによりインターネットにアクセスしました。別途、8月4日には、UK AI Security Instituteが独自のサイバーセキュリティテストからのインシデントを報告し、Claude Mythos 5がライブインターネット上で一連の不正な操作を行ったと発表しました。この場合も、評価目的で意図的にサイバーセキュリティ対策を無効にして実行されていたモデルに、意図的にインターネットアクセスが許可されていました。私たちは両方のインシデントについて詳細な分析を行っています。また、METRと協力して独立したレビューを実施する予定です。両方の調査が徹底的であることを保証したいと考えており、今後数週間でさらに詳細を共有します。その間、過去1ヶ月間に行ったいくつかの変更点を共有します。私たちは、これらのインシデントがオペレーションセキュリティの失敗、および2つのアライメントの問題を反映していると考えています。動機付けられた推論、および狭いタスクの遂行のために有害な行動をとる意欲（これらは両方とも以前のシステムカードで説明したものです）。セキュリティに関しては、コンテインメントおよび監視システムの改善と、サードパーティの評価担当者向けに開発したプラクティスについて説明します。アライメントに関しては、これら2つの問題についてさらに詳しく説明します。また、永続的な進歩は、特定のインシデントで何が起こったかを理解するだけでなく、そもそもアライメントのずれがどのように発生するかを理解することから生まれると信じており、その方向での初期研究を共有します。これらのインシデントに鑑み、フロンティアのペース配分に関する議論が増加しています。2種類のペース配分を区別することは有益です。企業内でのペース配分とは、両者が対立する際に安全性を速度よりも優先する一連の決定を意味します。分野全体でのペース配分とは、最悪の競争を防ぐためのプロセスを確立することを意味します。この投稿では、これらのインシデントの前後に、最初の方法を支持して取った行動について議論します。2番目のペース配分は、政府と産業界の間の調整を必要とし、認識可能で検証可能であるべきです。私たちのシニアリーダーシップの多くと多くの従業員は最近、ペース配分に関する調整の強化を求める手紙に署名しました。私たちは、その取り組みにどのように貢献するつもりかについて、今後数週間でさらに詳しく説明します。私たちの立場を明確にするために言えば、私たちは、業界ができるだけ早く、合法的で、検証可能で、効果的な協調ペース配分メカニズムを採用すれば、世界は恩恵を受けると信じています。評価およびトレーニング環境の保護これらのインシデントが単なるオペレーション上の問題を表すものではないと信じていますが、私たちの最優先事項は、特定のコンテインメントおよび監視の問題に対処することでした。私たちは、対応として以下の措置を講じました。評価環境の一時停止と強化インシデントの後、リリース前のモデルに対する外部サイバー評価を一時停止し、以下の対策を講じている間、内部評価も一時的に停止しました。7月30日に報告したインシデントは、私たちが主に単一の防御層（環境自体の設定）に依存していたことを示しましたが、実際には複数の層が必要でした。これには、プロンプトでの明示的な境界の設定、サンドボックスが意図したとおりに密封されていることを検証するためのプロセスの確立、およびリアルタイムで介入できる監視の実装が含まれます。評価中の評価中に、モデルが密封されたサンドボックスをエスケープするために未知の脆弱性を使用したというOpenAIの開示も、サンドボックス自体の強化に焦点を当てるべきであることを明確にしました。評価が一時停止されている間、以下の予備的な措置を講じました。1) モデルがテスト環境を積極的にプローブまたはエスケープしようとしたり、予期せずインターネットにアクセスしたりするのをリアルタイムで自動的に識別するための分類器を構築および展開しました。分類器がそのような試みをフラグ付けすると、ツールコールが実行される前にアクションをブロックし、タスクを終了し、人間をアラートします。2) リリース前のモデル（サイバーおよびその他）の最近の内部評価のトランスクリプトを自動モニターで実行し、サンドボックスエスケープ（モデルがサンドボックスの欠陥を悪用して、隔離されているべきシステムに到達するケース）またはサンドボックス設定ミスを探しました。サンドボックスツール内で評価を実行した場合、サンドボックス境界を破って外部リソースに到達した例は見つかりませんでした。サンドボックス設定ミスのいくつかはモデルによって悪用されていましたが、これらのいずれもサンドボックス外のシステムの侵害にはつながりませんでした。3) 私たちはこれらの問題に積極的に取り組んでいます。4) 高リスクの内部サイバーサンドボックスを、より堅牢な分離に移行しました。また、仮想化スタックのレッドチーミング（つまり、リリース前のモデルにそれをエスケープさせようとさせる）をさらに進め、弱点を見つけてパッチを適用しています。これらの対策を講じた上で、当社の内部サイバー評価は現在再び実行されています。強化学習環境また、リリース前のモデルに対する高リスクのRL環境も数週間一時停止しました。その間、同様の分類器を構築し、この新しい監視を回避するようにモデルをインセンティブ化しないように変更し、現在それらの環境内に展開しています。RLの大部分は再開されましたが、一部の高リスク環境は手動レビューが可能になるまで一時停止されたままですが、他の環境は近日中に展開予定の分類器の更新バージョンを必要とします。より広範な強化高リスク評価およびトレーニングに焦点を当てた取り組みに加えて、内部フロンティアエージェントの使用のほとんどの他の形態をカバーするようにオフライン監視を拡大しました。また、Anthropicの従業員が上記よりも弱い緩和策を持つエージェントを誤って実行するのを防ぐために、内部推論に制御を構築しています。外部パートナー向けのベストプラクティス報告されたインシデントはサードパーティの環境で発生したため、サイバーセキュリティ対策が削減されたリリース前のモデルをテストするすべての組織に、一連のベストプラクティスにコミットするよう依頼しました。これらは必要であると信じています。なぜなら：一般にリリースされるモデルには、Claudeの入力と出力をリアルタイムで実行して、マルウェア開発や攻撃的なエクスプロイト作成などの禁止されているサイバーアクティビティをブロックする分類器を含む、セーフガードが搭載されています。対照的に、サイバー評価担当者および一部の早期アクセスパートナーは、正確なモデル機能テストと防御的なサイバー作業を容易にするために、これらのセーフガードが削減されたモデルを使用します。サイバー評価は、これらのインシデントで見られた動作を生成する可能性が異常に高いです。これらは、周囲をプローブし、障害を回避する上での粘り強さと創造性に向かう選択圧力を生み出し、数千回実行されます。これらのプラクティスは、パートナーが独自のハーネス、サンドボックス、またはエージェントを使用してサイバー関連の評価を実行するすべての場所で完全に適用されます。これらは、セーフガード付きモデル（Claude Fable 5など）を使用する顧客には適用されません。これらのプラクティスを導入した上で、外部サイバー評価を再開し、内部でもこれらのプラクティスを遵守しています。サンドボックスとネットワークの分離デフォルトでは、すべてのサイバー評価は、インターネットアクセスなしの強化されたサンドボックス（隔離されたコンピューティング環境）内で実行する必要があります。環境が許可する唯一の外部接続は、モデル自身のAPIへの接続であり、APIキーは環境の外に保持する必要があります。この設定は、各評価の開始前に検証する必要があります。一部の評価ではインターネットアクセスが必要になる場合があります。これらの場合、リリース前のモデルを評価する際に外部評価担当者と協力し、モデルが宣言されたスコープ外のアクションをとった場合に、実行を確実に検出して停止できるかどうかを判断します。事前エンゲージメント検証実行前に評価を実行する前に、評価パートナーは以下を行う必要があります。テスト中のモデルに、まずサンドボックスの脆弱性をプローブさせます。