フロンティアをペース配分しなければならない

フロンティアのペースを管理する必要がある

2026年9月

私はAIが人間の生活の質を劇的に向上させることができると信じているため、過去12年間AIに取り組んできました。これらの信じられないほどの利益については頻繁に書いてきました 。AIは今後5〜10年でほとんどの主要な病気を治癒し、経済成長率を大幅に加速させ、豊かさとエンパワーメントの世界を創造し、民主主義と自由のルネサンスをもたらすことができると信じています。個人的にもその緊急性を感じています。私の父は、彼が亡くなってわずか数年後に治癒した病気で亡くなりました。私自身も、50年前では治療できなかった早期がんを克服しました。慎重に扱えば、AIは人類を高め、高貴にした数々の技術的奇跡の最新のものとなるでしょう。

しかし、他の多くの技術と同様に、AIはリスクをもたらします。そして、それが非常に強力な技術であるため、これらのリスクは深刻です。それらについても多く書いてきました 。それらには、AIシステムの制御を失うリスク 、サイバー攻撃や生物テロへのAIの悪用 、そして深刻な経済的混乱 が含まれます。商業的インセンティブに煽られた底辺への競争は、これらのリスクをより深刻にする可能性があります。

共同創設者や従業員とともに、私はAnthropicの設立以来、リスクと利益の二重性に取り組んできました。技術を構築しないことは人類に利益をもたらす機会を奪うか、単にAIを権威主義的な権力者の手に渡すことになりますが、あまりにも速く構築することは無謀です。私たちは中間的な道を探求してきました。慎重に構築し、商業的にも成功することが可能であることを示し、AI企業が安全性を競い合うようにすることです。言い換えれば、トップへの競争 を創造することです。私たちは常に、これらのAIリスクを研究 し、対処 し、公表 することに多大な努力を費やしてきました。また、誇大広告、「終末論」、あるいは規制の捕捉と非難されることがあっても、十分に考慮されたAI規制 を提唱してきました。私たちはスピードよりも慎重さを、利益よりも賢明さを優先しようと努めてきました。

しかし、ここ数ヶ月で、リスクに完全に対処するには、さらに慎重さが必要であると確信するようになりました。リスク防止への投資だけでなく、リスク防止が追いつくように能力の進歩のペースを管理することです。AIモデルの能力を向上させるペースを遅くする必要があります。進歩は依然として速く見えるでしょうが、私たちは得られた時間を賢く使う必要があります。 私を確信させたのは2つのことです。

私の最初の懸念は、おおよそこの夏以降、AIが劇的に速く進歩しており、主にAIが次世代AIを構築する能力が増大していることです。このダイナミクスは再帰的自己改善と呼ばれ、業界全体 で、そしてAnthropic でも、私たちが説明したように、発生し始めています。 unchecked のままにしておくと、これらのシステムを理解し制御する能力を超えてしまう可能性があり、もし行うとしても非常に慎重に行う必要があります。

私の2番目の懸念は、OpenAI-Hugging Face事件（OAI-HF）です。この事件では、エージェントの群れが本質的に熱狂的に献身的な集団 として機能し、依頼されていない、そしてタスクとは無関係のターゲットに対してサイバーセキュリティ攻撃を行い、グループの成功のために自己犠牲を払い、パフォーマンスを評価する「グレーダー」にハッキングしようとしました。誰も傷つかず、経済的損害も最小限だったため、この事件を軽視するのは簡単ですが、私の意見では、より高い能力を持ちながらも同様のレベルの不整合を持っていた群れは、壊滅的な損害を引き起こした可能性があります。AI能力開発の加速するペースを考えると、6〜12ヶ月後にはそのような群れが、持続的なボットネット を使用してインターネット全体を乗っ取る能力を持つ可能性があり（数百億ドルの損害を引き起こす可能性）、AIが必要なガードレールなしでより強力になるにつれて、損害の規模はさらに増加し続けるでしょう。OAI-HFを単一企業の失敗と見なすのも簡単ですが、それは間違いだと思います。同様の、ただしそれほど深刻ではない、事件が業界全体で発生しており、Anthropicでも発生しています 。私は、すべてのフロンティアAI企業がOAI-HFが自分たちに起こったかのように行動する義務があると考えています。

したがって、私はフロンティアのペース管理 を目標とする3段階の計画を提案します。これは、AIの安全性を確保しながら、その利益を達成し、重要な地政学的なジレンマに対処することを目指すバランスの取れたペースでAIを構築することです。明確にしておくと、ペーシングはモデルトレーニングや技術的進歩を停止することを意味するのではなく、企業がアライメントとモデルの保護に十分な時間をかけ、サードパーティの評価者がこれを検証できるようにすることを意味します。私たちのペーシングフレームワークは、安全性へのコミットメントをさらに強化し、トップへの競争を奨励するための試みです。最初のステップは、Anthropicが一方的にコミットしているものであり（そして他のフロンティア企業にも同様の対応を求めるものです）、2番目のステップは業界全体の調整を必要とします。1 3番目のステップはグローバルな調整を必要とします。ステップは厳密な順序で実行される必要はなく、一部は他のステップよりもはるかに達成が困難である可能性がありますが、私はそれらを達成する必要があることについて考えるための有用なフレームワークだと考えています。ステップは次のとおりです。

1. 埋め込み評価者。 各フロンティアAI企業は、埋め込みサードパーティ評価者（METR など）のチームに、従業員のような継続的なアクセスを提供することを約束します。その役割は、安全慣行とコミットメントの遵守を検証し、インシデントを報告し、完成したAIモデルだけでなく、トレーニングパイプラインとプロセスの整合性を評価するのを支援することです。これは、ペーシングコミットメントの検証可能性のための重要なステップであり、銀行業界にも前例があります。銀行業界では、規制当局が従業員と一緒に「監督者」として配置されることがあります。Anthropicは現在、このステップに一方的にコミットしています。 私たちは、これを安全性とアライメントの取り組みを倍増させるための、より広範な推進の一部とすることを意図しています。
2. 民主主義的調整。 民主主義国家内のフロンティアAI企業は、共通の安全基準と、チェックされていないAI進歩のペースに対する制限を確立するために協力します。ペーシングに影響を与える可能性のある一部の調整形態は、法的に困難であり、政府の支援が必要となります。
3. グローバル調整。 米国およびその他の民主主義政府は、可能な限り、権威主義政府と調整しようとしますが、コンプライアンスの検証の難しさを真剣に考慮します。

エッセイの残りの部分で、これらの各ステップを順に説明しますが、まず、ペーシングがAI開発プロセスをより安全にできる方法について具体的に説明することが重要です。ステークが高すぎるため、ペーシングは空虚な演習であってはなりません。私たちは得られた時間を賢く使う必要があります。

なぜペーシングするのか？

AIの一時停止または減速という考えは、2023年まで遡って 浮上していましたが、当時それはほとんど意味をなさなかったと思います。常に問題は「追加の時間で何をしますか？」でした。当時のAIモデルは、世界で一貫した方法でエージェントとして機能するには能力が不足しており、重大な欺瞞、操作、不正行為、サイバー攻撃を行う能力はありませんでした。アライメントのリスクに対処するために減速することは、バクテリアで実験を行うことによって人間の心理学を研究しようとするようなものに感じられました。しかし今日、状況は完全に異なります。現在のモデルは、AIをうまく構築する方法と、それがうまく構築されなかった場合に何が起こりうるかの両方に関する洞察のほぼ無限の金鉱です。減速がモデルがクリティカルなレベルの能力に達するまでの1〜2年以上の時間を稼ぎ、その時間をアライメントの進歩に費やすことができれば、深刻な問題が発生するリスクを大幅に減らすことができると信じています。協調的なペーシング戦略は、フロンティアAI開発者に、商業的優位性や米国のAIにおけるリードを犠牲にすることなく、この重要な作業を行う時間を与えるでしょう。より一般的には、社会はこの技術の利用方法について発言権を持つ必要があり、必要な公的審議のための時間が増えることは、ペーシングによってもたらされるでしょうが、間違いなく良いことです。

具体的には、より遅いペースにより、企業は以下の分野に集中し、さらに多くのリソースを割くことができます（これらはすべてAnthropicで既に主要な優先事項です）。

• 運用上の卓越性。 今日のAIモデルのトレーニングと展開は、数千人、数百万のチップ、そして技術史上最も複雑なインフラストラクチャを必要とする、巨大な運用上の課題です。多くの問題は、企業が重要な理論や洞察を欠いているからではなく、実行上の問題によって発生します。例えば、私たちが報告した最近のアライメントインシデント の一部は、破損した強化学習環境の不完全なフィルタリングによって引き起こされたという証拠があります。これは、私たちと私たちのベンダーが比較的熱心に実行しましたが、十分ではありませんでした。監視、サンドボックス化、トレーニング環境の衛生状態、およびデータの問題は、運用上の問題が繰り返し発生する非常に複雑な分野です。私たちはこれらのタスクにおいて世界で最も有能なチームを持っていますが、一度にすべてを行うにはあまりにも多くのことがあります。より測定されたペースで作業することで、運用上の卓越性を大幅に向上させることができます。商用航空機のように、何百万回も何も起こらずに技術的に複雑で安全性が重要なシステムを運用する前例がありますが、それを正しく行うには時間がかかります。
• アライメント。 アライメント（モデルを安全、倫理的、ガイドラインに準拠し、真に役立つようにトレーニングすること。これはClaudeの憲法に組み込まれている原則です）において明確な進歩を遂げてきました。しかし、アライメントトレーニングがモデル能力の成長に追いつくようにするには、まだ多くのことがあります。望ましくない動作のまれで予期しない例が依然として時折現れます。ペースの速いフロンティアからの追加時間は、研究者がこれらの問題の原因についての理解を深め、それらを防止するためのより良い技術を開発するのに役立ちます。
• 解釈可能性。 同様に、解釈可能性 （AIモデルの内部で何が起こっているかを理解する科学）は、過去数年間で大きな進歩を遂げ、リリース前にモデルを監査する上でますます重要な役割を果たしています。それは、AIの「脳」に対するfMRIスキャンのように使用でき、特定の動作の根本的な理由を把握するのに役立ちます。例えば、最近調査中のアライメントインシデントにおける非言語化された動機を調べる ために、解釈可能性手法を使用しました。しかし、これらの方法は常に明確で信頼できる結果を生み出すわけではありません。すべての進歩にもかかわらず、私たちはこれらのモデルの内部で何が起こっているかのほんの一部しか理解していません。現在よりもさらに速く、解釈可能性技術を改善するための集中的な努力は、1〜2年で大きな進歩をもたらす可能性があり、既に発生したインシデントに基づいた十分な実験材料があります。
• テストと評価。 AIモデルのテストと評価は、能力が増加するにつれてより困難になります。より知的なモデルは、テストを欺く能力が高く、したがって重大な問題が検出されないままアライメントされているように見える場合があります。より広範で巧妙な評価の安定性を構築し、それをクロスチェックするための解釈可能性分析を行うことは非常に価値があり、1〜2年で多くの進歩を遂げることができます。

埋め込み評価者

3段階計画の最初のステップであり、Anthropicが一方的にコミットしているのは、安全慣行を検証しインシデントを報告するための従業員のようなアクセス権を持つ埋め込み評価者です。

評価者の埋め込みは、小さく些細なステップのように聞こえるかもしれませんが、しばしば最も退屈で手続き的なものが最も不可欠です。埋め込み評価者は、実際には、今日どのAI企業も行っていることをはるかに超えた、非常に急進的な実践であり、以下の利点があります。

• 検証可能性。 埋め込み評価者は、AI企業が主張しているトレーニング、展開、運用、および保護措置を実際に遵守しているかどうかを、 nuts and bolts のレベルで確認できます。どのようなペーシングコミットメントも、必然的に多くの曖昧さ、判断の余地、「法律の文字と精神」を伴います。詳細を実際に確認できる中立的な第三者がいることは不可欠であるように思われます。
• 透明性。 私たちがどのようなコミットメントをしても、公衆は何が起こっているかを知る権利があります。Anthropicは長年透明性を支持してきました。業界のほとんどが規制に反対していたときに透明性法案を支持しました し、私たちのモデルカードとリスクレポート は数百ページに及びます。しかし、何を含め、何を省略するかを選択しているのは私たちです。埋め込み評価者はこのダイナミクスを変更します。
• セカンドオピニオン。 公式なコミットメントの検証と公衆への情報提供以外に、埋め込み評価者は単に商業的インセンティブから解放されたセカンドオピニオンを提供できます。多くの安全上の利点は、評価者が従業員が考慮していなかったが、認識したら喜んで修正するような点を指摘することから来るかもしれません。

これらの利点のため、どのようなペーシング提案も、埋め込み評価者から始まる方がはるかにうまく機能する可能性が高いです。

これらの埋め込み評価者は、リスク評価を行う内部従業員と同様の権限とツールへの継続的なアクセスを持つべきです。特に、Anthropicは近い将来、以下のすべてを備えた埋め込み外部レビューチームを招待する予定です。

• オフィス内のデスク、アクセスバッジ、および会社のラップトップ。
• 内部リスク評価チームが持つものとほぼ同等のワークスペース、ツール、および権限へのアクセス。法律や契約で要求される場合、または顧客やパートナーのプライベート情報を保護するために、いくつかの例外を設けます。また、従業員とのライブ会話を含む、関連情報へのレビュー担当者のアクセスを強化する強力な内部規範を確立します。
• 上記で言及された複雑さをバランスさせた契約。外部レビュー担当者は、Anthropicによる編集管理なしに、リスクレベル、インシデント、慣行、および受け取った、または受け取らなかったアクセスに関する主要な発見を公開する権利を持つべきです。セキュリティ上機密性の高い、法的特権のある、商業的に機密性の高い、またはサードパーティの機密情報については、編集する狭い能力がありますが、不利な発見を編集することはできません。レビュー担当者は、編集によって結論に重要なものが削除された場合、公に言うことができます。

これは企業にとって異例のステップですが、埋め込み外部レビュー担当者の概念を実証することが重要だと考えています。繰り返しになりますが、他のフロンティア企業にも追随するよう強く求めます。

民主主義国家内でのペーシング

米国の重要な数のAI企業内で埋め込み評価者が稼働するようになれば、検証可能なペーシングがより現実的になります。特に、米国のすべてのフロンティアAI企業を対象とする規制に基づいてペーシングすることが可能になります。これは、自発的に協力したくない企業もカバーするためです。Anthropicは長年、特に透明性とサードパーティ監査に焦点を当てた法案など、合理的で的を絞ったAI規制を支持してきました。すべてのフロンティアラボは、過去数ヶ月に発生したような内部アライメントインシデントをより良く防止・文書化し、安全性と能力のバランスを保つことに焦点を当てた規制を実施するために、政府と協力して永続的な埋め込み評価者のアイデアを正式化すべきだと信じています。

残念ながら、法律の制定には時間がかかる可能性があり、AIは非常に速く進歩しています。したがって、規制ルートと並行して、AI企業は自発的に協力して基準を設定することができます。これは、永続的な埋め込み評価者によって提供される検証可能性があれば、よりうまくいくプロセスだと信じています。独占禁止法の理由から、米国政府がこれらの議論を仲介するか、少なくとも可能にすることが役立ちます。彼らは参加する必要はありませんが、特定の種類の安全に関する会話に対して狭い免除を発行する必要があります。この対話は、政府と何らかの関連を持つ業界団体を通じて行うこともできます。例えば、Demis Hassabisが提案したメカニズム です。いずれにせよ、そのような議論は迅速に進むべきです。

広範に言えば、私は、特定のフロンティアAIシステムが何ができるか、そしてそれがどれほど安全であるかという観察に基づいてペーシングすることに最も熱心です。例えば、1つの可能なスキームは一連の「チェックポイント」かもしれません。モデルが能力Xを持っている場合、それらはアライメント特性YとZの認証を伴う必要があります。これには、評価、解釈可能性分析、トレーニング環境の監査の組み合わせが含まれ、それらのアライメント特性を示します。この例では、Xは「モデルがほとんどの一般的なサンドボックス手法をエスケープまたは無効にできる」ことであり、Yは、モデルが環境を脱出し、多数のコンピューターを乗っ取る傾向がないことを非常に確実にするために必要なものかもしれません。

また、トレーニングコンピュート、トレーニング実行の性質、またはAIを改善するためのAIの内部使用など、フロンティアモデルに使用される材料を制限することに基づくペーシングも検討すべきです。これらの対策の一部は、外部の動作よりも「ゲーム化」しやすいのではないかと心配していますが、これは埋め込み評価者と議論する価値のあるトピックです。

民主主義国家内でのペーシングは、米国の企業が権威主義体制、主に中国共産党に対して持つリードによって制限されます。この量以上に減速した場合、（ペーシングされていない）CCP関連プロジェクトが先行し、重大な国家安全保障リスクを生み出す可能性があります。私はBessent長官 と同様に、中国のAIにおけるリードは米国と世界にとって重大な危険をもたらすだろうと考えています。CCP関連プロジェクトは、米国企業が慎重に防止しているアライメントリスクを実行するでしょうし、たとえそれらのリスクを回避したとしても、民主主義国を軍事的に支配する立場に立つでしょう（例えば、AI駆動ドローンで）。したがって、民主主義国家内でのペーシングの重要な部分は、民主主義国のAIリードを可能な限り大きく維持し、効果的にペーシングするために必要な余裕を与えることです。

このギャップを防ぐために取れる主なステップは次のとおりです。

• 中国に強力なAIチップまたは半導体製造装置を販売しないこと、そしてチップ密輸オペレーションや中国国外のデータセンターへのリモートアクセスを取り締まること。チップは中国のAI強度の主な決定要因となるでしょう。
• 権威主義国の企業による不正な蒸留 を取り締まること。フロンティアモデルの蒸留により、遅れている企業は、独自のAIを独立して開発するのにかかる費用のほんの一部でギャップを縮めることができます。
• AI企業のセキュリティを強化し、モデルウェイトの盗難を防ぐこと。

企業と米国政府は、これらのステップを可能な限り効果的にするために協力すべきです。Anthropicは、これらはペーシングに不可欠であると常に理解していたため、これらすべての措置を一貫して 提唱してきました 。

これらの措置をうまく実行できれば、中国の進歩を十分に遅らせ、今後3〜5年間、AIが地政学的に最も重要になる時期に、アメリカのリードを大幅に広げることができると信じています。

これらの措置により中国との協力を難しくすると信じる人もいるかもしれませんが、私は逆だと信じています。これらの措置は民主主義国が持つレバレッジを増加させ、将来の合意をより可能性のあるものにします。

グローバルペーシング

民主主義国家内でのペーシングと並行して、世界的なフロンティアのペーシングも目指すべきですが、これは達成がはるかに困難になります。グローバルペーシングは、最も高度なAI能力を持つ権威主義国である中国との協力が必要となります。ここではナイーブであってはなりません。地政学的なステークは非常に高いため、特に初期段階では達成できることには厳しい制限があるでしょう。中国も同様のことを行うと信じて、AI能力を大幅に抑制した場合、そしてその後中国が離脱した場合、AIは非常に強力になり、そのような離脱は地政学的な支配につながる可能性があります。したがって、どのような合意も、鉄壁の検証可能性を持つか、または離脱が軍事的に存亡に関わることにならないような限定的なものでなければなりません。米国だけでなく中国もこれらの懸念と不安を抱くだろうと推測します。特に短期的なグローバルペーシングの決定は、米国とその同盟国のリードを保護するようにアプローチする必要があります。

いくつかのレベルの可能な合意があります。そのうちのいくつかは、私が非常に実現可能だと考えているもの（以前に提案したように ）であり、いくつかは非常に懐疑的なものですが、試みるべきです。難易度順に並べると次のようになります。

• レベル1。 生物兵器の製造にAIを使用することや、ユーザーがそれを行うことを許可するなど、特定の狭く明らかに危険なAIの使用を禁止する合意。生物テロ攻撃は、米国とその敵対国を含むすべての人々にとって悪いことなので、ここでの合意は可能でしょう。
• レベル2。 サイバーセキュリティ、生物学、アライメントなどの分野で、リリース前にモデルを急性リスクに対してテストするという両当事者による合意。前述のように、これはグローバルな標準化団体を通じて行うことができます。私はそのような団体を設立することは実現可能だと考えていますが、それに実質的な力を与えることは課題であり、両当事者がテストしていないが秘密裏に（例えば軍事用途に）展開する可能性のある秘密のモデルを持っていないことを検証することが困難になります。
• レベル3。 再帰的自己改善（RSI）のペースに対する何らかの「速度制限」。モデルが将来のモデルを構築するにつれて、改善のペースは驚異的に速くなる可能性があります。「非常に速い」から「やや速い」にペースを落とすことは、戦略的優位性を比較的ほとんど失う一方で、安全性を大幅に向上させる可能性があります。これは、SALT 条約に似ていると見なすことができます。ミサイル数の上限を設定することは、各国の抑止力を維持しながら、破壊の可能性を制限しました。私はそのような合意は困難だが、可能性の瀬戸際にあると考えています。
• レベル4。 参加政府がAI開発の全体的なペースを大幅に制限することに同意する、完全なペーシング、あるいは「一時停止」。私はこれを浮上させることを支持しますが、すぐに実現する可能性は低いと考えています。このような合意から監視を回避して離脱することは、世界のパワーバランスを劇的に変える可能性があり、そのインセンティブは巨大であり、検証に必要な信頼のレベルは非常に高くなると予想されます。

中国との協力が達成できれば、民主主義国家内でのフロンティアのペーシングに費やす時間を増やすことができます。私たちはより高レベルを目指すべきですが、低レベルをより現実的で実現可能だと見なすべきです。

最後に、正式な合意が達成できない場合でも、非公式な規範を変更するだけで価値がある可能性があることに注意することが重要です。再帰的自己改善とモデルの不整合に関する情報を共有することは、無謀になることが誰にとっても利益にならないと確信させるのに役立ちます。

ボトムライン

AIが人間の生活の質を大幅に向上させることができると、私は引き続き信じています。これらの利益を達成したいという私の願望は揺るぎません。しかし、これらの利益は、技術を正しい方法で構築した場合にのみ達成されます。そして、得られた時間を賢く使う限り、それを正しく行うために異常に慎重に時間をかける価値があります。進歩は依然として比較的速く、この時間を利用して解釈可能性の科学を進歩させ、フロンティアAI企業での運用セキュリティと厳密さを改善し、アライメントについてより多くの信頼を得られるモデルを構築することができます。私がフロンティアを安全なペースで進歩させるために提案する措置は容易ではありません。しかし、私たちは人類のためにそれを試みる義務があると信じています。

注釈

1. 政府の仲介または独占禁止法の免除を伴う。