問題

目次 問題 これは私たちの立場についての、より詳細な説明です。短いバージョンについては、「ブリーフィング」を参照してください。 世界の主要なAI企業が掲げる目標は、理論物理学における難問の解決から、社会環境の巧みなナビゲーションまで、人間ができるあらゆることを実行できる汎用AIを構築することです。最近の機械学習の進歩は、この目標を達成可能にしたようです。現時点では、今後1、2年で人間を超える能力を持つAIが実現する可能性を排除することはできず、それが20年後までかかるという結果になった場合は、私たちは中程度に驚くでしょう。 MIRIの研究科学者の現在の見解は、今年中に人間を超えるAIが開発された場合、その結果は前例のない大惨事になるということです。AI分野のシニア研究者によって広く支持されているCAIS声明は、次のように述べています。 パンデミックや核戦争といった社会規模のリスクと同様に、AIによる絶滅のリスクを軽減することは、世界的な優先事項であるべきです。 私たちは、現在の分野の技術的理解や手法で超知能AIを構築した場合、予想される結果は人類の絶滅であると信じています。 「世界中の研究室が現在、人類の絶滅を引き起こす可能性が高い技術を構築している」という結論は、迅速な政策対応を促すべきです。しかし、AIの急速な進歩は、政府や有権者を不意打ちにしました。この文書は、読者を最新の状態にし、大惨事を回避できる可能性のある政策措置の種類を概説することを目的としています。 この文書の主なポイント： 人間の能力レベルに天井はない。 ASIは目標指向的な行動を示す可能性が非常に高い。 ASIは間違った目標を追求する可能性が非常に高い。 間違った目標を持つASIを構築することは、致命的に危険である。 大惨事は、十分に積極的な政策対応によって回避できる。 1. 人間の能力レベルに天井はない。 CAIS声明の署名者には、AI分野で最も引用されている存命中の科学者3名、ジェフリー・ヒントン、ヨシュア・ベンジオ、イリヤ・スツケバーが含まれています。そのうちヒントン氏は、「もし私が政府に助言するとしたら、これらのものが今後20年間で人類を絶滅させる可能性が10%あると言うだろう。それは妥当な数字だと思う」と述べています。2024年4月のQ&Aで、ヒントン氏は「実存的脅威のリスクは50%以上だと思う」と述べています。 AIがこれほど極端な危険をもたらす根本的な理由は、AIの進歩が人間の能力レベルで止まらないことです。人間レベルの汎用性を持つシステムの開発は、急速に人工超知能（ASI）につながる可能性が高いです。ASIとは、経済的、科学的、軍事的能力を含むあらゆる能力において、人間を大幅に凌駕するAIです。歴史的に見て、計算タスクを自動化する方法を見つけたとき、コンピューターはそのタスクを人間よりもはるかにうまく、速く、そしてはるかに大規模に実行できることが一般的であることがわかっています。これは、AIがトップ人間のプロフェッショナルレベルの能力に到達するのにほとんど時間をかけずにそれを超えた、ボードゲームやタンパク質構造予測における最近のAIの進歩にも当てはまります。戦略的に豊かで習得が難しいゲームである囲碁では、AIは1年の間に、最悪の人間プロフェッショナルに対する試合に一度も勝てなかった状態から、最高の人間プロフェッショナルに対する試合に一度も負けない状態になりました。 特定のシステムであるAlphaGo Zeroを見ると、AlphaGo Zeroは3日間で囲碁について何も知らない状態から、人間のゲームや戦略に関する情報にアクセスすることなく、人間のプレイヤーよりも優れた能力を持つようになりました。 ほとんどの次元において、コンピューターハードウェアは計算の基本的な活動において、生物学的な対応物を大幅に上回っています。現代のトランジスタは、現在エネルギー効率ははるかに低いですが、ニューロンが発火するよりも少なくとも1000万倍速く状態を切り替えることができます。コンピューターシステムのワーキングメモリとストレージ容量も、人間の脳よりもはるかに大きくなる可能性があります。現在のシステムはすでに、人間ができるよりも桁違いに速い速度で、文章、芸術、コードなどを生成しています。AIが人間ができる認知タスクの全範囲を実行できるようになると、AIの速度の利点（またはその他の利点）が突然なくなることを期待すべきではありません。むしろ、人間を超えるAIが速度、ワーキングメモリなどで人間を劇的に凌駕することを期待すべきです。 AIのアーキテクチャの多くはデジタルであり、展開されたシステムでさえ迅速に再設計および更新できます。これにより、AIは人間ができるよりもはるかに迅速かつ根本的に自己修正および自己改善する能力が得られます。これは、AIの自己改善が加速し、AIの自己改善能力を向上させるフィードバックループ（I.J.グッドの「知能爆発」）を生み出す可能性があります。 人間の科学的能力は世界に計り知れない影響を与えてきました。しかし、私たちは、精神的計算のような中核的な科学的能力においては最適からほど遠く、私たちの脳は進化によってそのような仕事をするように最適化されていませんでした。より一般的に言えば、人間は若い種であり、進化は一般知能を持つ心の設計空間を探求し始めたばかりであり、人間の生物学の偶発的な特徴によってこれらの努力が妨げられてきました。その一例として、人間の産道は二足歩行を妨げるほどしか広げることができませんでした。これは、人間がより大きな脳へと進化する能力のボトルネックとなりました。AIに10倍のコンピューティングパワーを追加することは、単に10倍のGPUを接続する問題であることがよくあります。これは文字通り些細なことではない場合もありますが、人間の産道を開くよりも簡単です。 これらすべてにより、AIが最高の人間科学者やエンジニアの知能レベルで長期間停滞する可能性ははるかに低くなります。むしろ、「人間レベル」のAIと考えるのではなく、弱いAIは異なる領域で人間以下のスキルと人間以上のスキルの奇妙な混合を示すと予想すべきであり、強いAIは人間の能力範囲をはるかに外れると予想すべきです。 人工超知能について警鐘を鳴らす科学者の数は多く、急速に増加しています。Anthropicのダリオ・アモデイ氏との最近のインタビューからの引用： アモデイ：はい、ASL-3（AI安全レベル3）は今年か来年簡単に起こると思います。ASL-4（AI安全レベル4）は、2025年から2028年の間にどこでも起こる可能性があると思います。 クライン：ああ、なんてこった。 アモデイ：いいえ、いいえ、言いましたよ。私は指数関数を信じています。 クライン：それは速いですね。 アモデイ：ええ、いいえ、いいえ、私は本当に近い未来について話しています。 AnthropicはASL-4を、「現実世界で無期限にリソースを複製、蓄積し、シャットダウンされるのを回避する能力が明確にあるAI」や、「AIモデルが主要な領域で国家安全保障リスクの主な原因となったシナリオ」といった閾値と関連付けています。 詳細はこちら：なぜ人間を超えるAIがすぐに開発されると予想されるのか？ これらの広範な懸念を受けて、米国上院議員は「リスク、アライメント、および終末シナリオに対する防御」というテーマで超党派のAIインサイトフォーラムを開催し、国連事務総長のアントニオ・グテーレス氏は、多くの研究コミュニティが大きな警鐘を鳴らしており、「AIを人類に対する実存的脅威と宣言している」ことを認めました。米国国務省が委託した報告書で、Gladstone AIは、汎用AIシステムを制御不能にすること「は、人類種に対する絶滅レベルのリスクをもたらす可能性がある」と警告しました。政府がこの技術の開発を停止するために介入しない場合、私たちは人類の絶滅がデフォルトの結果であると信じています。積極的な短期政策対応がない場合の絶滅の可能性を数値化するとすれば、MIRIの研究リーダーシップは90%以上と答えるでしょう。この文書の残りの部分では、この脅威がどのように、そしてなぜ現れるのか、そしてどのような介入が必要だと考えているのかに焦点を当てます。 2. ASIは目標指向的な行動を示す可能性が非常に高い。 目標指向的な行動は経済的に有用であり、主要なAI企業は明確にそれを追求しています。