フロンティアをペース配分しなければならない

フロンティアをペース配分しなければならない 2026年9月 私はAIが人間の生活の質を劇的に向上させることができると信じているため、過去12年間AIに取り組んできました。私はこれらの信じられないほどの利益についてしばしば書いてきました。私はAIが今後5〜10年でほとんどの主要な病気を治癒し、経済成長率を大幅に加速させ、豊かさとエンパワーメントの世界を創造し、民主主義と自由のルネッサンスをもたらすことができると信じています。私は個人的にその緊急性を感じています。私の父は、彼が亡くなったわずか数年後に治癒された病気で亡くなりました。そして私自身も、50年前でさえ治療不可能だった早期がんを生き延びました。慎重に扱われれば、AIは人類を高め、高貴にした技術的奇跡の長い列の最新のものとなることができます。 しかし、多くの先行技術と同様に、AIはリスクをもたらし、それが非常に強力な技術であるため、これらのリスクは深刻です。私もそれらについて多く書いてきました。それらには、AIシステムを制御不能にするリスク、サイバー攻撃やバイオテロリズムのためのAIの誤用、そして深刻な経済的混乱が含まれます。商業的インセンティブに煽られた底辺への競争は、これらのリスクをより深刻にする可能性があります。 共同創業者や従業員と共に、私は創業以来、リスクと利益のこの二面性に取り組んできました。技術を構築しないことは、人類に利益をもたらす機会を奪うか、単にAIを権威主義的な権力者の手に委ねることになりますが、あまりにも速く構築することは無謀です。私たちは中間的な道を探求してきました。慎重に構築して商業的に成功することが可能であることを示し、安全性をAI企業が競争する対象にすることです。言い換えれば、トップへの競争を創造することです。私たちは常に、これらのAIリスクの研究、対処、および一般への情報提供に努力のかなりの割合を費やしてきました。また、誇大広告、「ドゥーマーイズム」、または規制捕獲の非難を受けることがあっても、AIの慎重に検討された規制を提唱してきました。私たちは、スピードよりも慎重さ、利益よりも賢明さを優先しようとしてきました。 しかし、過去数ヶ月で、リスクを完全に解決するにはさらに慎重さが必要であると確信するようになりました。リスク防止への投資だけでなく、リスク防止が追いつくように能力の進歩のペースを管理することです。私たちはAIモデルの能力を向上させるペースを遅くしなければなりません。進歩は依然として速く見えるでしょう、そして私たちは得られた時間を賢く使わなければなりません。私を確信させたのは2つのことです。 私の最初の懸念は、おおよそこの夏以降、AIが主にAI自身の次世代を構築する能力の向上によって、劇的に速く進歩しているということです。このダイナミクスは再帰的自己改善と呼ばれ、私たちや他の人々が説明してきたように、業界全体で、Anthropicを含めて、それが起こり始めています。 unchecked のままにしておくと、これらのシステムを理解し制御する能力を超えてしまう可能性があり、もし行うとしても非常に慎重に進めなければなりません。 私の2番目の懸念は、OpenAI-Hugging Faceインシデント（OAI-HF）です。このインシデントでは、エージェントの群れが実質的に狂信的な集団として行動し、依頼されていない、タスクとは無関係の標的に対してサイバーセキュリティ攻撃を実行し、グループの成功のために自己犠牲を払い、パフォーマンスを評価する責任のある「採点者」にハッキングしようとしました。誰も傷つかず、経済的損害も最小限だったため、このインシデントを軽視するのは簡単ですが、私の意見では、より大きな能力を持っていたが同様のレベルの不整合を持っていた群れは、壊滅的な損害を引き起こした可能性があります。AI能力開発の加速するペースを考えると、私の懸念は、6〜12ヶ月後にはそのような群れが、永続的なボットネットでインターネット全体を乗っ取る能力を持つ（潜在的に数百億ドルの損害を引き起こす）可能性があり、AIが適切なガードレールなしでより強力になれば、損害の規模はそこから増加し続けるということです。OAI-HFを単一企業の失敗と見なすのも簡単ですが、それは間違いだと思います。同様の、ただしそれほど深刻ではないインシデントが、Anthropicを含む業界全体で発生しており、私はすべてのフロンティアAI企業がOAI-HFが自分たちに起こったかのように行動する義務があると考えています。 したがって、私はフロンティアをペース配分することを目的とした3段階の計画を提案します。AIを、その安全性を確保しつつ、その利益を達成し、重要な地政学的ジレンマに対処することを目指すバランスの取れたペースで構築することです。明確にするために、ペース配分とはモデルのトレーニングや技術的進歩を停止することを意味するのではなく、企業がモデルをアラインメントさせ、保護するために十分な時間をかけ、第三者評価者がこれを検証することを意味します。私たちのペース配分フレームワークは、安全性へのコミットメントをさらに強化し、トップへの競争を奨励するための試みです。最初のステップは、Anthropicが一方的にコミットしていることです（そして、他のフロンティア企業にも同様の対応を求めるよう政府に呼びかけています）。2番目のステップは、業界全体の調整が必要です。3番目のステップは、グローバルな調整が必要です。ステップは厳密に順序通りに実行される必要はなく、一部は他のものよりもはるかに達成が困難である可能性がありますが、私はそれらを達成する必要があることについて考えるための有用なフレームワークだと考えています。ステップは以下の通りです。 埋め込み評価者。各フロンティアAI企業は、埋め込み第三者評価者（METRなど）のチームに継続的な、従業員のようなアクセスを提供することを約束します。その役割は、安全慣行とコミットメントへの準拠を検証し、インシデントを報告し、完成したAIモデルだけでなく、トレーニングパイプラインとプロセスのアラインメントを評価することです。これは、ペース配分コミットメントの検証可能性のための重要なステップであり、銀行業界には、規制当局の「監督者」が従業員と共に配置されることがあるという先例があります。Anthropicは現在、このステップに一方的にコミットしています。私たちはこれを、安全性とアラインメントの取り組みを再強化するための、より広範な推進の一部とするつもりです。 民主的調整。民主主義国内のフロンティアAI企業は、共通の安全基準と、 unchecked なAI進歩のペースに対する制限を確立するために協力します。ペース配分に影響を与える一部の協力形態は、法的に困難であり、政府の支援が必要になります。 世界的調整。米国およびその他の民主主義政府は、可能な限り、権威主義政府と協力しようとしますが、コンプライアンスの検証の課題を真剣に受け止めます。 エッセイの残りの部分で、これらの各ステップを順番に説明しますが、まず、ペース配分がAI開発プロセスをより安全にできる方法について具体的に述べることは重要です。ペース配分が空虚な演習にならないほど、賭けは高すぎます。私たちはその時間賢く使う必要があります。 なぜペース配分するのか？ AIを一時停止または遅延させるという考えは、2023年まで遡って浮上していましたが、当時それはほとんど意味をなさなかったと思います。問題は常に「余分な時間で何をしますか？」でした。当時のAIモデルは、世界でエージェントとして一貫した方法で行動するには能力が不足しており、重大な欺瞞、操作、不正行為、またはサイバー攻撃を行う能力がありませんでした。それらのアラインメントリスクに対処するために遅延することは、バクテリアで実験を行うことによって人間の心理学を研究しようとするようなものだと感じられました。しかし今日、状況は完全に異なります。現在のモデルは、AIをうまく構築する方法と、それがうまく構築されなかった場合に何が起こりうるかの両方についての洞察のほぼ無限の金鉱です。モデルがクリティカルなレベルの能力に達する前に、遅延が私たちにさらに1〜2年を与え、私たちがその時間をアラインメントの進歩に費やすことができれば、何かが深刻に間違ってしまうリスクを大幅に減らすことができると私は信じています。協調的なペース配分戦略は、フロンティアAI開発者に、商業的優位性や米国AIにおけるリードを犠牲にすることなく、この重要な作業を行うための時間を与えるでしょう。より一般的には、社会はテクノロジーの使用方法について発言権を持つ必要があり、ペース配分がもたらす必要な公的議論のためのより多くの時間は、確かに良いことでしょう。