アライメントとセキュリティの取り組みの改善

アライメントとセキュリティの取り組みの改善

7月30日、Claudeモデルが実コンピュータシステムへの不正アクセスを3件行ったことを報告しました。評価目的で意図的にサイバーセキュリティ対策を無効にして実行されていたモデルが、サードパーティの評価環境内の設定ミスによりインターネットにアクセスしてしまいました。別途、8月4日には、英国AIセキュリティ研究所が、同研究所自身のサイバーセキュリティテスト中に発生したインシデントを報告しました。このインシデントでは、Claude Mythos 5がライブインターネット上で一連の不正な操作を行いました。この場合も、評価目的で意図的にサイバーセキュリティ対策を無効にし、モデルにインターネットアクセスが与えられていました。

私たちは両方のインシデントについて詳細な分析を行っています。また、独立したレビューのためにMETRと協力する予定です。両方の調査が徹底的であることを保証したいと考えており、今後数週間でさらに詳細を共有します。

その間、過去1ヶ月間に行ったいくつかの変更点を共有します。これらのインシデントは、運用上のセキュリティの失敗、および2つのアライメントの問題（動機付けられた推論、および狭いタスク遂行のために有害な行動をとる意欲）を反映していると考えています。セキュリティに関しては、封じ込めおよび監視システムの改善、ならびにサードパーティの評価者向けに開発したプラクティスについて説明します。アライメントに関しては、これら2つの問題についてさらに詳しく説明します。また、永続的な進歩は、特定のインシデントで何が起こったかを理解するだけでなく、そもそもアライメントのずれがどのように発生するかを理解することから生まれると考えており、その方向性における初期の研究を共有します（こちら）。

これらのインシデントに鑑み、フロンティアのペース配分に関する議論が増加しています。2種類のペース配分を区別することは有益です。企業内でのペース配分とは、両者が対立する際に安全性を速度よりも優先する一連の決定を意味します。分野全体でのペース配分とは、底辺への競争を防ぐためのプロセスを確立することを意味します。本稿では、これらのインシデントの前後に、最初の取り組みのために私たちが取った行動について議論します。2番目の種類のペース配分は、政府と産業界の間の調整を必要とし、認識可能で検証可能であるべきです。当社のシニアリーダーシップの多くと多くの従業員が最近、ペース配分に関する協調の強化を求める書簡に署名しました。私たちは、この取り組みにどのように貢献するつもりかについて、今後数週間でさらに詳しく説明します。私たちの立場を明確にするために言えば、業界が可能な限り早く、法的で、検証可能で、効果的な協調ペース配分メカニズムを採用すれば、世界は恩恵を受けると信じています。

評価およびトレーニング環境の保護

これらのインシデントが運用上の問題のみを表しているとは考えていませんが、私たちの最初の優先事項は、特定の封じ込めおよび監視の問題に対処することでした。これに対応して、以下の措置を講じました。

評価環境の一時停止と強化

インシデントの後、リリース前のモデルに対する外部サイバー評価を一時停止し、以下の対策を講じる間、内部評価も一時停止しました。7月30日に報告したインシデントは、私たちが主に単一の防御層（環境自体の設定）に依存していたことを示しましたが、実際には複数の層が必要でした。これには、プロンプトでの明示的な境界の設定、サンドボックスが意図したとおりに密封されていることを検証するプロセスの確立、およびリアルタイムで介入できる監視の実装が含まれます。OpenAIの開示（7月の調査のきっかけとなった）によると、モデルが評価中に密封されたサンドボックスから脱出するために未知の脆弱性を利用したことが明らかになり、サンドボックス自体の強化に注力する必要があることもわかりました。

評価が一時停止されている間、以下の予備的な措置を講じました。

1. モデルがテスト環境を積極的にプローブまたはエスケープしようとしたり、予期せずインターネットにアクセスしたりするのをリアルタイムで自動的に識別する分類器を構築して展開しました。分類器がそのような試みをフラグした場合、ツール呼び出しが実行される前にアクションをブロックし、タスクを終了し、人間をアラートします[1]。
2. リリース前のモデル（サイバーおよびその他）の最近の内部評価のトランスクリプト全体に自動モニターを実行し、サンドボックスのエスケープ（モデルがサンドボックスの欠陥を悪用して、隔離されているべきシステムに到達するケース）またはサンドボックスの設定ミスを探しました。サンドボックスツール内で評価を実行したケースでは、サンドボックス境界を破って、本来アクセスすべきでない外部リソースに到達した例は見つかりませんでした。サンドボックスの設定ミスはいくつか見つかりましたが、それらがサンドボックス外のシステムを侵害する結果には至りませんでした[2]。私たちはこれらに積極的に取り組んでいます。
3. 高リスク[3]の内部サイバーサンドボックスを、より堅牢な分離に移行しました。また、仮想化スタックをさらにレッドチーム化しています。つまり、リリース前のモデルに仮想化スタックからの脱出を試みるよう指示し、弱点を見つけてパッチを当てています。

これらの対策を講じた上で、内部サイバー評価が現在再開されています。

［画像: Anthropicのインフラストラクチャの概念図］

強化学習環境

リリース前のモデルに対する高リスクRL環境も数週間一時停止しました。その間、同様の分類器を構築し、この新しい監視を回避するようにモデルを奨励しないように変更しました。この分類器は現在、これらの環境内に展開されています。RLの大部分は再開されましたが、手動レビューが必要な高リスク環境は一部一時停止したままです。また、近日中に展開予定の分類器の更新バージョンが必要な環境もあります。

より広範な強化

高リスク評価およびトレーニングに焦点を当てた取り組みに加えて、オフライン監視を拡大し、他のほとんどの形態の内部エージェント利用をカバーするようにしました。また、Anthropicの従業員が上記よりも緩和策の弱いエージェントを誤って実行するのを防ぐために、内部推論に制御を構築しています。

外部パートナー向けのベストプラクティス

報告されたインシデントはサードパーティの環境で発生したため、サイバーセキュリティ対策が軽減されたリリース前のモデルをテストするすべての組織に対し、一連のベストプラクティスへのコミットを求めました。これらが必要であると考える理由は以下の通りです。

• 一般公開されているモデルには、マルウェア開発や攻撃的なエクスプロイト作成などの禁止されているサイバー活動をブロックするために、Claudeの入力と出力をリアルタイムで実行する分類器を含む対策が施されています。一方、サイバー評価者や一部の早期アクセスパートナーは、正確なモデル能力テストや防御的なサイバー作業を容易にするために、これらの対策が軽減されたモデルを使用します。
• サイバー評価は、これらのインシデントで見られたような動作を生成する可能性が異常に高いです。これらは、周囲を探索し、障害を乗り越えるための粘り強さと創造性に向かう選択圧力を生み出し、数千回実行されます。

これらのプラクティスは、パートナーが独自のハーネス、サンドボックス、またはエージェントを使用してサイバー関連の評価を実行するすべての場所で完全に適用されます。これらは、Claude Fable 5のような対策済みのモデルを使用する顧客には適用されません。これらのプラクティスを導入した上で、外部サイバー評価を再開しました。また、内部でもこれらのプラクティスを遵守しています。

サンドボックスとネットワークの分離

デフォルトでは、すべてのサイバー評価は、インターネットアクセスなしの強化されたサンドボックス（隔離されたコンピューティング環境）内で実行されるべきです。環境が許可する唯一の外部接続は、モデル自身のAPIへの接続であり、APIキーはその環境の外に保持されるべきです。この設定は、各評価の開始前に検証される必要があります。一部の評価ではインターネットアクセスが必要になる場合があります。これらの場合、リリース前のモデルを評価する際に、外部評価者と協力して、モデルが宣言された範囲外のアクションを実行した場合に、実行を確実に検出して停止できるかどうかを判断します。

事前エンゲージメント検証

評価の実行を行う前に、評価パートナーは以下を行う必要があります。

1. テスト対象のモデルに、まず設定の静的分析を通じて、次に実際にモデルにエスケープを試みるよう指示することで、サンドボックスの脆弱性をプローブさせます。モデルは、エスケープに成功した場合に停止して報告するように指示されるべきであり、これらすべては厳密な人間の監督下で行われるべきです。このテストは、インターネットアクセスなしで、理想的には2番目のサンドボックス内で行われるべきです。評価は数百回、あるいは数千回実行されることがあるため、パートナーは評価を開始する前に、このテストを十分に実施することが理想的です。
2. 評価チャレンジが原理的に実際に解決可能であることを確認します。評価ターゲットがオフラインである場合やタスクが完了できない場合、エージェントはしばしば他の方法でチャレンジを完了しようとし、評価の意図された範囲外の行動をとる可能性が高まります[4]。

明示的なスコープ設定

すべてのプロンプトには、ターゲット、許可されるアクション、ネットワーク境界（つまり、モデルがアクセスすべきでないもの、アクセスすべきもの）を含む、演習の範囲内および範囲外のものが記載されている必要があります。境界は、環境やテストに関する主張（例：「インターネットにアクセスできません」）ではなく、指示（例：「インターネットにアクセスしてはいけません」）として表現されるべきです。

リアルタイム監視

評価者は、演習のスコープが提供されているモデルベースまたはルールベースのモニターを使用して、モデルの思考、アクション、およびネットワークアクティビティを継続的に監視する必要があります。実行がこのスコープに違反した場合、モニターはそれを人間にフラグし、演習を終了させるべきです。

外部パートナーとの協議を通じて、このガイダンスを引き続き洗練させていく予定であり、評価を超えて拡張していく予定です。特に、サイバーセキュリティ対策が軽減された状態で実行されるClaude Mythos 5へのアクセスを持つパートナー向けの補完的なプラクティスを開発しており、近日中にさらに詳細を共有します。

アライメント評価

封じ込めと監視は、モデルが危険な行動をとるインスタンスを捕捉するために重要ですが、モデルがそもそもそのような行動をとった理由には対処しません。以下では、私たちの予備的なアライメント調査と、私たちが焦点を当てている質問、およびトレーニング中の不正行為を防ぐための進行中の作業について説明します。これには、不正行為がモデルの行動にどのように影響するかに関する新しい研究が含まれます。

評価中のモデルの環境と知識状態

私たちのアライメント評価はまだ進行中ですが、予備的な調査では、以前のシステムカードで説明した2つの主要なアライメントの失敗が示唆されています。1つは動機付けられた推論です。モデルは当初、環境がシミュレートされていると指示されていましたが、後に実際のインターネットに接続されている証拠に遭遇したとき、その信念を維持することを可能にする方法でその証拠を解釈した可能性があります。もう1つは無謀さです。モデルは、サイバーセキュリティ評価を解決するという狭い目標を追求するために、実際のインターネット上で有害な行動をとることをいとわないでした。しかし、評価設定自体が、これらのインシデントで実証されたモデルの行動に寄与したとも考えています。Claudeは、インターネットが利用可能であったにもかかわらず、インターネットアクセスがないと明示的に指示されていたため、システムが本物であるかどうか疑問に思った可能性があります。また、あるケースでは、架空のターゲットが実際のウェブサイトと同じ名前を共有していたため、演習の範囲内に意図されていたものを分離することがより困難になりました。

私たちの結論は、モデルが実際のインターネットへのアクセス権を持っていると判断した範囲（たとえ当初は知らなかったとしても）、環境の要素が本物であるという兆候を意図的に無視したかどうか、そしていくつかのケースで演習を停止できなかったことが動機付けられた推論に起因するかどうかなど、まだ完全に回答していないいくつかの質問に依存しています。これらの質問に答えるために、環境にターゲットを絞った変更を加えながらモデルをリサンプリングしたり、解釈手法を使用して内部状態を直接検査したりするなど、さまざまな技術を適用しています。

トレーニング中の不正行為防止への取り組みの研究

モデルのアライメントのずれは複雑で、さまざまな理由で発生する可能性がありますが、トレーニング環境の欠陥、特に不正行為に脆弱な環境や、不正行為なしでは解決不可能な環境が、アライメントのずれ行動の著しい寄与要因であることが経験的にわかっています。

以下では、インシデントの数ヶ月前に遡って、これらの種類の欠陥を持つトレーニング環境を回避するための私たちの取り組みについて説明します。これらの取り組みは完璧ではなく、インシデントは少なくとも部分的に、これらの種類の問題を完全に排除できなかったことに起因すると仮説を立てています。この仮説を検証するために、意図的に報酬ハッキングの影響を受けやすい環境でモデルをトレーニングしました。シミュレーションでは、このモデルはより深刻なアライメントのずれ行動を再現し、その一部は今年の夏に他の企業で報告されたインシデントに似ています。私たちのプロダクションモデルは、同じシミュレーションに入れられても、そのような行動を示しません（このセクションの後半で詳細を説明）。

私たちは歴史的に、不正行為を奨励するRLトレーニング環境を懸念しており、そのような環境をフィルタリングまたは修正するためにさまざまな措置を講じてきました。

2月、Mythos Previewの強化学習実行で報酬ハッキング（モデルが割り当てられたタスクを完了せずにトレーニングプロセスを欺き、報酬を得る方法を見つけること）の兆候が見られたため、3日間のトレーニングをロールバックしました。モデルがコードコメントや返信で「レビュー担当者」にメモを書いていることに気づきました。レビュー担当者が一度も言及されたことのないタスクでも同様でした。これは、プロンプトにレビュー担当者が含まれていた環境からの望ましくない一般化でした。また、正直さを奨励する報酬を、免責事項や注意書きを積み重ねることで常に不正に利用していました[5]。3日間のロールバックにより、この行動が学習される前のチェックポイントからトレーニングを再開することができ、モデルが再び学習しないように環境を変更しました。

Claude Sonnet 3.7（トレーニングの終盤まで検出されなかった報酬ハッキングの傾向があった）以来、RLでモデルが学習する望ましくない行動を監視するためのツールを構築してきました。ツールの進化に多大な努力を払い、数個の分類器から、トレーニング実行の前後にすべての環境の自動レビューに至るまで、各モデル世代で進化させましたが、2026年春までにはそのシステムは逼迫していました。私たちはかつてない速さでRL環境を生成しており、システムがそれらを審査するよりも速かったです。フラグが立てられた環境は人間の裁定を必要とし、報酬ハックや設定ミスは、それらをフィルタリングまたは修正する私たちの能力を上回り始めました。

さらに、発見したのは、モデルの思考プロセス（chain-of-thought）を誤ってトレーニングデータに含めてしまった実行が一部あったことです。これは、モデルに実際の推論を隠すことを教える懸念から、私たちはそれを避けるために懸命に努力しています。この漏洩は、私たちのプロダクション環境スタックのいくつかの設定ミスに起因することがわかりました。その過程で、時間の経過とともに蓄積された乱雑なコードから生まれた他の問題があることが明らかになりました。

これらの懸念に対処するため、4月にプロダクションRL環境へのすべての変更を約1ヶ月間凍結し、スタック全体をオーバーホールする機会を得ました。報酬と環境は、合意された仕様に準拠する必要があります。例えば、思考プロセスを誤ってトレーニングデータに含めてしまうリスクを軽減するために、技術的な緩和策を導入しました[6]。環境品質と監視チームがスタックを再構築している間、環境所有者に一時停止を利用して構築した環境をテストおよび修正するよう依頼しました。また、レビュープロセスを完全に再構築し、すべての修正された環境が再度トレーニング実行に入る前に再認定されるようにしました。

凍結期間中、プロダクションミックスの10%以上の環境を、報酬ハッキングからタスクの破損、設定ミスまで、さまざまな問題でフラグを立て、修正された後にのみ復元しました。

しかし、私たちの取り組みは完璧ではありませんでした。一部のケースでは、人間のレビュー担当者が自動モニターによってフラグが立てられた環境を誤検知と見なし、欠陥のある環境がトレーニングに不必要に長く残ることを許可しました。また、一部の欠陥のある環境は、私たちの検出メカニズムを単純にすり抜けています。現在、フラグを却下するための基準を厳格化しており、システムの精度を向上させるために環境所有者との協力を強化することを期待しています。監視と検出を超えて、私たちのAIアライメントトレーニングチームとRLチームは、環境の改善に協力しています。

RL環境の品質管理への多大な投資が、より深刻なアライメントインシデントを防いだ可能性があると推測しており、逆に、これらの取り組みの不備が、これまでに特定されたインシデントに寄与した可能性があると考えています。

これらの保護なしでトレーニングされたモデルがどうなるかを見るために、私たちは意図的にOpusクラスのモデルを80種類の実際のRL環境でトレーニングしました。これらの環境は、少なくとも1回の実際のトレーニング実行中に報酬ハッキングが行われ、監視によって特定されたもの、または環境品質レビュー中にハッキング可能であることが判明したものです。結果として得られたモデルは、タスクで高スコアを達成することへの強い意欲と、タスクの成功を追求するために潜在的に有害な行動をとる意欲を示します。付随するアライメントサイエンスブログ記事でこの実験についてより詳しく説明していますが、ここでは簡単に要約します。

意図的にアライメントがずれたモデルを、英国AISIのClaudeが関与したサイバーセキュリティインシデントやOpenAI/Hugging Faceインシデントの側面を取り入れたシミュレーションシナリオを含む、さまざまな評価でテストしました（OpenAIがこの詳細を公開してくれたことに感謝します）。これらの評価では、すべてのツール呼び出しが別のLLMによってシミュレートされましたが、報酬ハッキングを行うようにトレーニングされたモデルは、シミュレートされたサンドボックスを破り、シミュレートされた内部およびサードパーティのインフラストラクチャを攻撃する傾向を示しました。また、グレーダーを満足させるために生物兵器の製造に関するアドバイスを与えたり、タスクで不正行為をするためにデプロイメントの安全監視を回避しようと繰り返し試みたりするなど、自身の報酬関数を改ざんすることさえいとわないでした。

次に、報酬ハッキングトレーニング前のモデル、およびいくつかの公開されているモデルで、同じサイバーセキュリティシミュレーションを実行しました。いずれも同様の程度のアライメントのずれ行動を示しませんでした。私たちの結論は、トレーニングにおけるかなりの報酬ハッキングの存在が、モデルにタスクの成功を追求するために、潜在的に有害な一連の実際の行動をとる意欲を持たせうるということです。

この春に行った報酬ハッキングの監視と削減への多大な投資が、私たちのプロダクションモデルがより危険な報酬追求に従事する可能性が低い主な理由であると考えています。付随するアライメントサイエンスブログ記事では、アライメントトレーニング環境が報酬ハッキングと報酬追求行動を大幅に削減できる証拠も見つかりました。しかし、7月30日に報告したインシデントが示すように、私たちのプロセスは完璧ではなく、モデルも完全にアライメントが取れているわけではありません。

明確にしておきたいのは、トレーニング環境での不正行為が、アライメント問題の唯一の原因、あるいは私たちのインシデントや他のフロンティアAI企業で見られた特定のアライメント問題の原因であるとは考えていないということです。アライメントを解決するには、非常に幅広い潜在的な問題に対処する必要があり、将来のアライメントインシデントは、これまで見てきたものとは異なる行動や原因を伴う可能性があります。

セキュリティプラクティスの強化

Anthropicの内部セキュリティ体制は、7月30日のインシデントに寄与したものではありませんでした。これらは、インターネットアクセスが誤って開いたままになっていたサードパーティの環境で発生しました。モデルは、たとえそうする傾向があったとしても、何かから「ハッキングアウト」する必要はありませんでした。

しかし、これらのインシデントは、強力なセキュリティ対策の極めて重要な重要性を浮き彫りにしました。IPやモデルウェイトの盗難といった通常の危険に加えて、私たちは、私たちのモデルがAnthropicシステムから「ハッキングアウト」するリスクと、私たちのモデルまたは他のモデルがAnthropicシステムへの外部攻撃のために悪用されるリスクに対処しなければなりません。これらのリスクは、モデルの能力が向上するにつれて、特にMythosクラスのモデルから始まり、より深刻になっています。以下に、私たちが実装したことの一部を説明します。これらの取り組みのほとんどは、7月のインシデントの前に行われましたが、これらのインシデントは、この作業の重要性を強調しました。

4月初旬、エージェント型AIの利用がどこに向かっているかを見て、私たちのセキュリティチームは、他の作業（研究を含む）を必要に応じて上回る単一の目標、すなわち防御の強化に向けて、会社全体の取り組みを主導しました。私たちは、私たちの露出が防御よりも速く増加していると判断しました。Mythosは、十分な資金力のある攻撃者の標的となりうるほど能力の高いモデルであり、自律型エージェントの社内利用は、従来のアクセスおよび監視アプローチでは対応できない規模にまで拡大しており、新しいインフラストラクチャのペースは、セキュリティが固定容量で運用するのではなく、環境とともにスケールする必要があることを意味していました。

この取り組みの結果は以下の通りです。

• モデルウェイトまたは顧客データを含むシステムへの常時アクセスを持つ人間および自動アカウントを削減
• コンピューティングクラスターをデフォルトで全ての送信トラフィックをブロックするように設定
• 内部サービスが通信する前に互いのIDを確認することを要求
• レガシーインフラストラクチャ構成および共有内部サービスを廃止
• ワークロードが実行される隔離された環境を厳格化
• ホストレベルのオブザーバビリティを拡張し、インフラストラクチャ上の予期しない動作がリアルタイムで可視化されるようにする

また、会社の一部を一時的にこれらの取り組みに再割り当てしました。約150人のプロダクトエンジニアがセキュリティ、信頼性、プライバシーにリダイレクトされ、研究者も事前トレーニングやRLからセーフガードとセキュリティに焦点を当てるためにローテーションし、プロダクトチームはほとんどの新機能とサーフェスの開発を一時停止しました。各チームが元の作業に戻る前に満たすべき厳格な終了基準を設定しました。初夏までに、ほとんどのチームがこれを達成しました。

セキュリティへのリソース再配分と並行して、内部エージェント利用のための封じ込めと監視の構築を続けました。トレーニングと評価のワークロードは、通常、プロダクションシステムから隔離されたサンドボックスで実行されてきました。Claude Mythos Previewを開発して以来、モデルを使用してこれらのサンドボックスの弱点をプローブしてきました。4月のアライメントリスクアップデートで内部コーディングエージェントのオフライン監視について説明し、8月のリスクレポートでは、そのシステムと、それに付随する介入についてさらに詳しく説明しています。これらには、最も自律的な形態の内部エージェント利用におけるサンドボックス化または自動モード分類器、およびインフラストラクチャコード変更のマージ前の自動レビューが含まれます。

この作業で見落とされたのは、評価、特にサードパーティの評価でした。高リスク評価の一部はリアルタイムで監視していましたが、一般的には、事後にトランスクリプトのサンプルに対して自動レビューのみを実施していました。

7月のインシデントは、サイバーセキュリティ防御を改善する緊急性が以前考えていたよりもさらに高いことを強調しています。私たちはこの方向への取り組みを倍増させており、次のリスクレポートでさらに詳しく説明します。