AI 2040: プランA

AI企業は、あらゆる面で人間より賢いAIを構築するために競い合っています。「AI 2027」では、これが絶滅または権力の不可逆的な集中をもたらすと予測しました。プランAは、代わりに起こるべきことについての私たちの肯定的なビジョンです。このシナリオでは、人類は超知能の開発を2040年まで遅延させ、全てのAI研究を公開し、世界中の数十の企業が追いつけるようにし、意図的に相互確証計算破壊（mutually assured compute destruction）の体制に入ります。プランAとは何か？なぜ私たちはこれを書いたのか？なぜシナリオなのか？AIのタイムラインは？プランAは、人類がAIによる存亡の危機を回避し、繁栄する未来に到達するために、私たちが取るべき肯定的なビジョンです。これは、米国の主要なフロンティアAI企業のエキスパートとの会話、OpenAIでの直接的な経験、卓上演習、および政策立案者、国家安全保障専門家、AI政策リーダーとの議論に基づいています。私たちは、超知能への危険な競争を回避するための国際的な合意を推奨します。この合意には、AIの研究開発における完全な研究透明性が含まれており、これにより世界の国々が何が起こっているかを理解し、ガードレールを施行できるようになります。その結果、秘密裏に競争するのではなく、複数の国にわたる複数の企業が、超知能に向けてゆっくりと安全に共にスケールアップすることになります。プランAは主に推奨事項であり、予測ではありません。このシナリオは、将来実際にどのようになるかについての私たちの最善の推測ではありません。むしろ、私たちの政策推奨事項を伝え、ストレステストするための手段です。プランAの実施は推奨事項であり、実際に起こると予想することではありませんが、その後の描写される影響は予測です。このAI 2040シナリオでは、プランAは不完全ながらも、ぎりぎりのところで成功裏に実施されます。私たちはプランAを4つの代替プラン（B、C、D、S）と対比させます。これらは、米国が超知能の課題にどのように対応できるか（またはできないか）の主な方法に対応します。AI企業は、おそらく今後1年から10年以内に、人間より賢いAIシステムを構築するという公言された目標を達成するでしょう。業界は、超知能AIを制御することはその場で解決できると確信しており、そのため、適切な計画を全く持っていません。私たちはこの状況はひどいものであり、私たち全員を簡単に死に至らしめる可能性があると考えています。競争に「勝った」者が大きなリードを持つとは予想していませんし、存亡の危機を減らすために一方的に減速するとも予想していません。この競争が続けば、AIが超知能になるにつれて、人間が効果的な制御を維持できるとは予想していません。さらに、AI企業が何らかの方法でAIを連携させたとしても、その結果は前例のない権力の集中になるでしょう。つまり、ごく少数の人々、あるいは単一の個人が、世界で唯一の超知能軍を数ヶ月間実質的に支配し、それらの超知能から、世界を乗っ取ることに相当する様々な選択肢を提示される状況になります。私たちが推測できる限りでは、OpenAI、Anthropic、xAI、Google DeepMindのCEOはこのことを理解しており、おそらく彼らは、習近平やライバルのCEOとは異なり、自分たちがより良い悪であり、その計り知れない力を責任を持って使用すると考えて、それでも進んでいます。私たちは、より良い悪を選ぶことが一般的に正しいことであるという点では同意しますが、人類の絶滅や世界的な独裁につながる可能性が非常に高い戦略を推奨すべきではないと考えています。代わりに、実際に良いものを推奨したいと考えています。十分な人々が同様に行動すれば、それは起こり得ます。そこで、私たちはその可能な世界を描写するシナリオを書きました。「計画は無価値だが、計画立案は全てである。」 - ドワイト・D・アイゼンハワー私たちは、ほとんどのAI政策提案は、シナリオの精査に耐えられないと考えています。つまり、その提案が成功する詳細で説得力のあるシナリオを書こうとすると、困難に直面し、その計画が思っていたよりも実現可能性が低い、またはその提唱者が認識していたよりも多くの不快な副作用があることに気づくでしょう。おそらく、AI政策におけるシナリオの精査がまれなのはそのためです。誰もが自分の好きな政策が素晴らしい結果をもたらし、ライバルの政策がひどい結果をもたらすと主張したいのです。自分の好きな政策にシナリオの精査を適用すると、それらの政策に関する不都合な問題が表面化する可能性があります。一方、ライバルの政策にシナリオの精査を適用することは、修辞的な利益がほとんどないため、多くの労力がかかります。私たちは、より多くのAI政策提案がシナリオの精査を受けるようになれば、議論が改善されると考えています。そこで、私たちはまず自分たちのものから始めます。これにより、批判にさらされることになります。私たちは、批評家が、AI移行を乗り切るための既存の最先端技術（もし見つけられれば）と比較して私たちを評価し、誰も難しい選択をしなければならないわけではなく、全てがうまくいくだろうという曖昧で心地よい幻想と比較して評価しないことを願っています。超知能AIに近づく世界で、私たちの政策がどのような影響を与えるかを予測することの計り知れない困難についてはどうでしょうか？これは、第三次世界大戦との戦い方を予測しようとするようなものですが、過去の事例研究からはさらに大きくかけ離れています。それでも、米国軍が台湾のシナリオを綿密に検討することが価値があるのと同じように、試みることは価値があります。他の前例もあります。諜報機関、気候団体、パンデミック対策局はすべて、さまざまな種類のシナリオ計画に依存しています。プランAは、私たちの野心的な提案であり、残された時間がどれだけあるか不確かなため、できるだけ早く実施されることを望んでいます。しかし、具体的なシナリオを書く目的のために、具体的なタイムラインが必要です。このシナリオのタイムラインは次のとおりです。2029年：米国と中国は、超知能への無謀な競争を回避することに合意します。2030年：AI研究開発の完全自動化が行われ、年末までに超知能が実現します。合意のおかげで、これを回避します。2030年から2035年：人間の能力範囲内でスケールアップし、トップ人間の専門家と同等の能力を持つAIを開発します。2035年：人間の制御を維持するために、トップ人間の専門家レベルのAIで一時停止します。2040年：一時停止を解除し、超知能までスケールアップします。（したがって、タイトルはAI 2040です。）私たちの以前のシナリオ「AI 2027」では、AIは2027年に人間より賢いAIを構築するプロセスを完全に自動化し、その年のうちに知能爆発と超知能につながりました。このシナリオにおける2つの違いは、（1）デフォルトのタイムラインが2030年になったこと、（2）ガバナンスアクションのおかげで、一般的に超人的なAIが2040年に最初に現れることです。デフォルトのタイムラインを変更したのは、私たちのシナリオのポートフォリオにAIのタイムラインに関する不確実性を反映させたいからです。「AI 2027」のタイトル年が選ばれたのは、執筆を開始した当時、ダニエルはそれがその速さかそれ以上になる可能性が約50％あると考えていたためです。プランAの執筆を開始した当時、トーマスにとっての対応する年は2030年でした。ダニエルは現在、物事はこのシナリオで描かれているよりもいくぶん速く進むと考えています。タイムラインに関する私たちのチームの見解については、こちらとこちらをお読みください。ガバナンスアクションを変更したのは、このシナリオが主に推奨事項であり、予測ではないからです。全速力での知能爆発を実行することは、極めて無謀であり、権力を極端に集中させます。2027年：壁に書かれた文字アメリカには今、2つの労働力があります。1つ目は人間で、1億6500万人です。2つ目はAIエージェントです。毎時間、数百万のコピーが起動・シャットダウンされ、人間よりも速い速度で24時間体制で働いています。彼らの仕事のほとんどはゴミですが、十分な質があるため、人々は理論上は何でもできるAIに毎月100億ドルを支払っています。AI企業が最も自動化したい仕事はただ1つ、それは自分たちの仕事です。まだ成功していませんが、再帰的な自己改善はまだ達成されていません。しかし、彼らはそれに近づいているようで、後ろの梯子を引き上げています。最も強力なコーディングAIは...