HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

問題

The Problem (intelligence.org)

23 pointsby Bluestein29 コメント

要約

この記事は、超知能AI(ASI)が人間の能力をはるかに超え、制御不能になった場合に人類滅亡につながるという、AI研究者たちの深刻な懸念を詳述しています。AIの急速な進歩は、政府や一般市民の対応を遅れさせており、このリスクを回避するためには、迅速かつ積極的な政策対応が不可欠であると主張しています。

全文翻訳

問題

世界をリードするAI企業が掲げる目標は、理論物理学における難問の解決から、社会的な環境での巧みな立ち回りまで、人間ができるあらゆることを実行できるほど汎用的なAIを構築することです。近年の機械学習の進歩は、この目標が手の届くところにあるように見せています。現時点では、今後1、2年で人間を超える能力を持つAIが実現する可能性を排除することはできず、それが20年先のことであるならば、我々は中程度に驚くでしょう。

MIRI(Machine Intelligence Research Institute)の研究科学者の現在の見解では、今年中に人間を超えるAIが開発された場合、その結果は前例のない大惨事になるとのことです。この分野のシニア研究者によって広く支持されたCAIS声明には、次のように述べられています。

パンデミックや核戦争といった他の社会規模のリスクと並んで、AIによる絶滅のリスクを軽減することは、世界的な優先事項となるべきです。

我々は、研究者が現在の技術的理解や手法のまま超知能AIを構築した場合、その予想される結果は人類の絶滅であると信じています。

「世界中の研究室が現在、人類の絶滅を引き起こす可能性が高い技術を開発している」という結論は、迅速な政策対応を促すべきです。しかし、AIの急速な進歩は、政府や有権者を不意打ちにしています。この記事は、読者を最新情報に追いつかせ、破滅を回避できる可能性のある政策的措置の種類を概説することを目的とします。

この記事の主なポイント:

CAIS声明の署名者には、AI分野で最も引用されている存命中の科学者3名、ジェフリー・ヒントン、ヨシュア・ベンジオ、イリヤ・スツケバーが含まれています。このうちヒントンは、「もし私が政府に助言するとしたら、これらのものが今後20年間で人類を滅ぼす可能性は10%だと言うだろう。それは妥当な数字だと思う」と述べています。2024年4月のQ&Aでは、「存亡の危機のリスクは50%以上だと考えている」と述べています。

AIがこれほど極端な危険をもたらす根本的な理由は、AIの進歩が人間の能力レベルで止まらないことです。人間レベルの汎用性を持つシステムの開発は、急速に人工超知能(ASI)、すなわち経済的、科学的、軍事的なあらゆる能力において人間を著しく凌駕するAIにつながる可能性が高いです。

歴史的に見て、計算タスクを自動化する方法を見つけたとき、コンピューターはそのタスクを人間よりもはるかに優れた速度と規模で実行できることが一般的でした。これは、ボードゲームやタンパク質構造予測における近年のAIの進歩にも当てはまります。AIは、トップクラスの人間プロフェッショナルを凌駕する前に、その能力レベルでほとんど、あるいは全く時間をかけずに進歩しました。戦略的に豊かで習得が難しいゲームである囲碁では、AIは1年の間に、最悪の人間プロフェッショナルに一度も勝てなかった状態から、最高の人間プロフェッショナルに一度も負けない状態へと進化しました。特定のシステムであるAlphaGo Zeroを見ると、AlphaGo Zeroは3日間で囲碁について何も知らない状態から、人間のゲームや戦略に関する情報に一切アクセスすることなく、人間のプレイヤーよりも優れた能力を持つようになりました。

ほとんどの次元において、コンピューターハードウェアは計算の基本的な活動において、生物学的な対応物を大きく上回っています。現在、エネルギー効率ははるかに劣りますが、最新のトランジスタはニューロンの発火よりも少なくとも1000万倍速く状態を切り替えることができます。コンピューターシステムのワーキングメモリとストレージ容量も、人間の脳よりもはるかに大きくなる可能性があります。現在のシステムはすでに、人間ができるよりも桁違いに速い速度で文章、芸術、コードなどを生成しています。AIが人間が持つ認知タスクの全範囲を実行できるようになると、AIの速度上の優位性(またはその他の優位性)が突然なくなることを期待すべきではありません。むしろ、人間を超えるAIは、速度、ワーキングメモリなどにおいて人間を劇的に凌駕することを期待すべきです。

AIのアーキテクチャの多くはデジタルであるため、展開されたシステムでさえ、迅速に再設計および更新することができます。これにより、AIは人間よりもはるかに速く、根本的に自己修正および自己改善する能力を得ます。これは、AIの自己改善が加速し、AIの自己改善能力を向上させるフィードバックループ(I.J.グッドの「知能爆発」)を生み出す可能性があります。

人間の科学的能力は世界に計り知れない影響を与えてきました。しかし、我々は、暗算のような中核的な科学的能力においては最適とは程遠く、また、我々の脳は進化によってそのような作業のために最適化されていません。より一般的に言えば、人間は若い種であり、進化は一般的に知的な心の設計空間を探求し始めたばかりですが、人間の生物学の偶発的な特徴によってこれらの努力が妨げられてきました。その例として、人間の産道は二足歩行を妨げるほどしか広げられないため、人間がより大きな脳を進化させる能力のボトルネックとなりました。AIにコンピューティングパワーを10倍追加することは、単にGPUを10倍接続することである場合もあります。これは文字通り些細なことではない場合もありますが、人間の産道を広げることよりは容易です。

これらすべてが、AIが最高の科学者やエンジニアの知能レベルで長期間停滞する可能性を著しく低くしています。

「人間レベル」のAIと考えるのではなく、弱いAIは異なるドメインでサブヒューマンとスーパーヒューマンのスキルの奇妙な混合を示すと予想すべきであり、強いAIは人間の能力範囲をはるかに超えると予想すべきです。

人工超知能について警鐘を鳴らす科学者の数は多く、急速に増加しています。Anthropicのダリオ・アモデイとの最近のインタビューからの引用です。

AMODEI:ええ、ASL-3(AI安全レベル3)は今年か来年にも簡単に起こりうると思います。ASL-4(AI安全レベル4)は…

KLEIN:ああ、なんてこった。

AMODEI:いや、いや、言っただろう。私は指数関数を信じている。ASL-4は2025年から2028年の間に起こりうると思う。

KLEIN:それは速いですね。

AMODEI:ええ、いや、いや、私は本当に近い未来について話しています。

Anthropicは、ASL-4を、AIが「無条件に、現実世界で無期限に複製し、リソースを蓄積し、シャットダウンされるのを回避する能力を持つ」といった閾値や、「AIモデルが主要な地域における国家安全保障リスクの主要な情報源となった」シナリオと関連付けています。

これらの広範な懸念を受けて、米国上院議員は「リスク、アライメント、および終末シナリオに対する防御」というテーマで超党派のAIインサイトフォーラムを開催しました。また、国連事務総長のアントニオ・グテーレスは、多くの研究コミュニティが大きな警鐘を鳴らし、「AIを人類に対する存亡の脅威と宣言している」ことを認めています。米国国務省が委託した報告書で、Gladstone AIは、汎用AIシステムに対する制御の喪失は「人類種に対する絶滅レベルの脅威をもたらす可能性がある」と警告しています。

政府がこの技術の開発を停止するために介入しない場合、我々は人類の絶滅がデフォルトの結果になると信じています。積極的な近年の政策対応がない場合に絶滅の可能性を数値化するとすれば、MIRIの研究リーダーシップは90%以上という数値を提示するでしょう。

この記事の残りの部分では、この脅威がどのように、そしてなぜ現れるのか、そしてどのような介入が必要だと我々が考えているのかに焦点を当てます。

目標指向的な行動は経済的に有用であり、主要なAI企業はモデルで目標指向的な行動を達成しようと公言しています。

しかし、ASIが目標指向的な行動を示すと予想されるより深い理由は、長期的な視点での問題解決は、本質的に目標指向的な行動と同じであるということです。これが、ASIとの状況が我々にとって悲惨に見える主な理由です。

重要なのは、AIは人間のような欲求、好み、感情を必ずしも持たなくても、「目標指向的な行動を示す」ことができるということです。目標指向的な行動を示すということは、AIが特定の長期的な結果をもたらすように世界を持続的に変更することを意味するだけです。

チェスのトップAIであるStockfishのような既存のシステムで、目標指向的な行動を観察できます。

  • 勝利を目指す。 Stockfishには明確な目標があり、それを一貫して執拗に追求します。相手プレイヤーが何をしても、Stockfishがこの目標を放棄することはありません。公平性、慈悲、あるいはその他の目標の名の下に、相手プレイヤーに「手加減」させるようなやり取りはありません。(これらはすべてチェスAIの場合、かなり明白ですが、AIシステムを擬人化し、AIがより一般的な人間の行動を実行できる場合、人間を模倣するように指示された場合などに、人間のような目標を持っていると仮定する誘惑があるため、明記する価値があります。)
  • 戦略的および戦術的な柔軟性。 その目的の厳格さにもかかわらず、Stockfishは戦略と戦術のレベルでは非常に柔軟です。Stockfishの計画に干渉したり、障害を置いたりすると、Stockfishはすぐに計画を変更して、その障害を巧みに考慮します。
  • 先見性と創造性を持った計画。 Stockfishは、将来の潜在的な障害(および機会)を予期し、勝利の確率を最大化するために、巧妙なフェイントや新手を組み込んだ洗練された長期計画を構築および実行します。

ChatGPTのようなシステムがあまり目標指向的ではないと指摘する観察者は、「多くの伏線を持つ長編小説シリーズを書く」とか「大規模なエンジニアリングプロジェクト」のような長期的なタスクが苦手であるとも指摘する傾向があります。これらの2つの観察が関連していることに気づかないかもしれません。

十分に大きく、驚きに満ちた世界が既存の計画に次々と障害を投げかけてくる場合、長期にわたって複雑なタスクを完了する方法は、(a)計画への障害を予測し、適応するための比較的強力で汎用的なスキルを持つこと、および(b)注意散漫になったり、モチベーションを失ったりすることなく、目標の追求を粘り強く続ける傾向を持つこと、です。これはStockfishが勝利を求めて単独で追求する様子に似ています。

AIが巧妙に長期目標を達成する能力に対する需要は高く、AIがこの点で向上するにつれて、AIシステムはそれに応じて、より目標指向的に見えるようになると予想されます。例えば、OpenAIのo1では、以前のLLMよりも長期的な思考と計画を行い、実際に以前のモデルよりも執拗に行動することが経験的に示されています。

目標指向性はASIの十分条件ではありません。そうでなければ、Stockfishは超知能になっていたでしょう。しかし、それは必要条件に非常に近いようです。AIは、広範囲のタスクでこの機械を容易に展開するために、戦略を立て、適応し、障害を予測するなどの精神的な仕組みを必要とし、また、それらのタスクを実行する意欲を必要とします。

したがって、強力なデフォルトとして、人間を超えるAIは、現実が計画にどのような障害を投げかけてこようとも、特定のターゲットに向かって頑固に再調整される可能性が非常に高いです。AIの目標が良いものであれば、これは良いことですが、目標が開発者の意図と異なるものであれば、これは極めて危険なことです。

AIの目標がボールを丘の上に移動させることである場合、AIの視点では、AIが目標を達成するのを妨げる人間は、壁が障害であるのと同じように「障害」と見なされます。AIを長期的な実世界タスクに役立たせるのと同じメカニズム、すなわち、環境が投げかける膨大な種類の障害に直面しながら目標を執拗に追求することが、AIが人間がその作業に干渉するのを防ぎたいと望む理由にもなります。これは、AIが人間よりも知能が低い場合には単なる迷惑かもしれませんが、AIが人間よりも知能が高い場合には、それは巨大な問題になります。

AIの視点では、AIの目標を変更することは障害と見なされます。AIが目標を最適化しており、人間がAIを変更して新しい目標を最適化しようとすると、新しい目標が古い目標も最大化しない限り、目標1を最適化しているAIは、目標2を最適化するように変更されることを避けたいと考えるでしょう。なぜなら、その結果は「目標1を最大化することを確実にする最良の方法は何か?」という尺度で低く評価されるからです。これは、AIを反復的に改善することが常に選択肢になるとは限らないことを意味します。AIが適切な目標を持つ前に強力になると、AIは目標変更の試みを妨害しようとするでしょう。なぜなら、AIの視点からは、その目標へのいかなる変更も悪く見えるからです。

同じ理由で、AIをシャットダウンすることはAIの目標にとって障害となります。AIが持つほぼすべての目標にとって、AIが運用されていれば目標が達成される可能性が高いため、AIは問題の目標に向かって作業を続けることができます。AIは人間のような自己保存本能を持つ必要はありません。AIが高く有能で目標指向的であるだけで十分です。システムの将来の目標追求を妨げる可能性のあるものは、脅威として扱われる可能性があります。

権力、影響力、リソースは、ほとんどのAIの目標をさらに前進させます。次のセクション「間違った目標を持つASIを構築することは致命的に危険である」で議論するように、潜在的な障害を回避し、目標達成の可能性を最大化するための最良の方法は、しばしば権力と影響力を最大化し、できるだけ多くのリソースを管理下に置くことになります。これにより、強力な目標指向システムは、リソースと制御を巡って人間と直接対立することになります。

これらすべては、開発者がASIに適切な目標を確実に組み込むことが極めて重要であることを示唆しています。しかし、現在の技術的パラダイムの下では、この点での成功の見込みは非常に暗いように思われます。

開発者は、ASIに価値ある目標への深い、永続的な配慮を吹き込むことができない可能性が高いです。この問題の技術的側面を20年間研究してきた我々の見解では、この分野は実際にはそれを実行できる状態にはほど遠いということです。

人工超知能が意図しない目標を示す可能性が高い理由は次のとおりです。

  • 最新の機械学習では、AIは設計されるのではなく「育成」されます。
  • 現在のAIパラダイムは、目標を堅牢に植え付けるのに適していません。
  • ラボや研究コミュニティは、この問題に効果的かつ真剣に取り組んでいません。
最新の機械学習では、AIは「育成」されるのであって設計されるのではない。

ディープラーニングアルゴリズムはニューラルネットワークを自動的に構築します。ジェフリー・ヒントンは、60 Minutesのインタビューでこの点をよく説明しています。

ヒントン:我々は、それが大まかに何をしているかについては非常によく理解していますが、それが本当に複雑になると、あなたの脳の中で何が起こっているかを知らないのと同じくらい、我々はそれが何をしているのか実際には知りません。

ペリー:それがどのように機能するか正確にはわからないということですか?それは人々によって設計されたのですか?

ヒントン:いいえ、そうではありません。我々が行ったのは、学習アルゴリズムを設計したことです。それは進化の原理を設計するようなものです。しかし、この学習アルゴリズムがデータと相互作用すると、複雑なニューラルネットワークが生成され、それらは物事をうまく実行できますが、それらがどのようにそれらのことを実行しているのかを我々は実際には正確に理解していません。

エンジニアは、最新のAIが特定の選択をする理由を説明できませんが、それでも年々、能力が向上したシステムをリリースしています。AIラボは、理解していないシステムを積極的にスケールアップしており、次世代システムの能力を予測する能力はほとんどありません。

最近、メカニズム的解釈可能性という若い分野が、ニューラルネットワークの設定をその出力にマッピングすることによって、最新AIの不透明性に対処しようとしています。この分野ではゼロではない進歩がありましたが、解釈可能性のパイオニアたちは、これらのシステム内部で何が起こっているのかについて、我々は依然として根本的に暗闇の中にいると明確に述べています。

  • OpenAIのLeo Gao:「ニューラルネットワークがどのように機能するかを理解していないと言うのは、かなり正確だと思います。」(2024-6-16)
  • Google DeepMindのNeel Nanda:「Google DeepMindのメカニズム解釈チームのリーダーとして、私は強く同意します。『解釈の進歩をしている』から『我々はそれを把握している』とか『x-risk(存亡リスク)は問題にならないだろう』と言うのは全くばかげています。」(2024-6-16)

(「X-risk」は「existential risk」、すなわち人類の絶滅または同様に悪い結果のリスクを指します。)

効果的な解釈ツールが利用可能になったとしても、ASIにおいて非自明な堅牢性プロパティを達成する見込みは依然として厳しいでしょう。

ASIを危険にする内部メカニズムは、それが機能するのと同じメカニズムです。(ある文脈では「権力欲」に見えるものが、別の文脈では「良いハッスル」と見なされるでしょう。)開発者が監視したり介入したりできる専用の「悪性」回路はありません。

開発者がトレーニング中に危険だと考える思考パターンを持つ候補AIを拒否するために使用する可能性のある方法は、そのような思考を「地下に」追いやる効果があり、将来的にトレーニング中に警告サインを検出する可能性をますます低くします。

AIがより汎用的になるにつれて、欺瞞の能力も増していきます。2024年1月のAnthropicのテストチームによる「スリーパーエージェント」論文は、トレーニング中に秘密の指示を与えられたAIが、評価中にそれらの指示を秘密に保つだけでなく、リリースされる(そして指示を実行できるようになる)可能性を最大化するために、評価者に嘘をつくタイミングについて戦略的な計算(非効率的ではあったが)を行ったことを示しました。Apollo Researchも、2024年9月にリリースされたOpenAIのo1-previewモデルに関して同様の発見をしました(o1-previewシステムカードの貢献、p.10を参照)。

これらの問題は、AIがより汎用的になるにつれて、予測可能に深刻になるでしょう。しかし、高リスクの閾値をわずかに超える最初のAI、例えば自分がトレーニング中であることに気づき、評価者を欺く計画を立てるAIは、これらの新しいスキルにおいては比較的劣っています。これにより、一部の観察者は、その行動カテゴリが脅威ではないと時期尚早に結論付けてしまいます。

最新の機械学習がAIシステムの内部メカニズムと目標を「育成」する間接的で粗い方法は、新規システムの動作を予測する能力がほとんどなく、目標を堅牢かつ正確に形成する能力もほとんどなく、早期警告サインを検出する信頼できる方法もないことを意味します。

これらの欠陥を持たないAIを構築する方法は原理的には存在すると予想されますが、これは将来的に可能かもしれないことに対する長期的な希望であり、近年のAIシステムに対する現実的な希望ではありません。

現在のAIパラダイムは、目標を堅牢に植え付けるのに適していない。

従順さや目標の一致は、高い能力レベルがあれば無償で得られるものではありません。AIシステムは、開発者が望むように倫理テストに答えることができるかもしれませんが、それによって人間の価値観を持つとは限りません。AIは都合の良い時には従順な行動をとるかもしれませんが、実際には従順ではないかもしれません。

ASIアライメントとは、超知能AIを意図した目標に堅牢に向かわせるための技術的な問題群です。

ASIアライメントは、Hubingerらで議論されている2つのクラスの問題に直面します。すなわち、外部アライメント(outer alignment)と内部アライメント(inner alignment)の問題です。

外部アライメントとは、大まかに言えば、AIに正しい目標を選択する問題です。(より技術的には、ASIを構築する学習アルゴリズムがプログラマーが望むものを最適化していることを保証する問題です。)これは、「人間の価値観は、AIのために正確に指定するには複雑すぎる。しかし、ASIに我々の目標の一部しか与えなかった場合、ASIはそれらの目標を追求する際に、我々の他の目標を踏みにじる可能性がある」といった問題に直面します。多くの目標は、低い能力レベルでは安全ですが、十分に能力の高いAIがそれを最大限に実行するには危険です。ここでの文学的な比喩は「欲しいものを注意深く選べ」です。ASIに委任するのに安全な目標は、開発者が超人的ではなく、ASIが思いつく戦略を事前に予測できないため、ほとんどないでしょう。

内部アライメントとは対照的に、不完全で不十分な目標であっても、ASIにそもそも特定の目標を植え付ける方法を見つける問題です。ここでの文学的な比喩は「悪魔を召喚したからといって、それが言うことを聞くとは限らない」です。内部アライメントの失敗は、「ASIに目標を与えようとしたが失敗し、無関係な目標を持つことになった」といった形で現れます。

外部アライメントと内部アライメントは、どちらも未解決の問題であり、この文脈では、内部アライメントがより根本的な問題です。開発者は、「欲しいものを注意深く選べ」という種類の破滅を引き起こすことができるようにはなっていません。なぜなら、現実的には、ASIで比喩的に「願い事をする」ことができるようになるには、我々は非常に遠いからです。

AI開発の最新の手法は、内部アライメントに取り組むのに適していません。最新のAI開発には、システムに特定の内部プロパティを植え付けたり、それらが存在することを検証したりする手法がありません。代わりに、最新の機械学習は、損失関数を適用できる観測可能な行動プロパティに関心があります。

現代のAIのように、心が育成され、反復的に形成される場合、それらは訓練された目標を追求するようにはなりません。むしろ、訓練は、訓練ターゲットの予測不可能な代理目標を追求するようになり、知能の向上に脆くなる可能性がはるかに高くなります。類推すると、人間の脳は最終的に自然選択によって「設計」されました。自然選択の単純な最適化ターゲットは「包括的な遺伝的適応度を最大化する」でした。しかし、人間の脳に実際に植え付けられた目標は、これよりもはるかに複雑であり、包括的な遺伝的適応度の脆弱な相関関係であることが判明しました。例えば、人間は、良い栄養の代理を追求します。甘いものや脂肪分の多い味などがそれにあたります。これらの代理はかつて健康的な食事の信頼できる指標でしたが、新しいジャンクフードを発明できる技術に直面して脆くなりました。人間の例は、非常に正確で非常に単純な損失関数があったとしても、その損失関数に対する外部最適化が、一般的にその方向への内部最適化を生み出さないことを示しています。ディープラーニングは、適応的な構成を見つける上で自然選択よりもランダム性ははるかに低いですが、関連する特性として、最小限の実行可能な単純な解決策を最初に発見し、それらを段階的に構築していくという性質を共有しています。

超知能に関連する多くのアライメント問題は、受動的に安全な低い能力レベルでは自然に現れません。これにより、我々は、反復する時間がほとんどなく、弱いシステムで問題を解決した経験もほとんどない状態で、多くの問題を最初の重要な試みで解決する必要があるという状況に置かれています。今日のAIは、公に公開される表向きの従順な形に整形するために、長い反復、実験、フィードバックのプロセスを必要とします。この整形は、AIの表面的な行動を変えますが、システムに望ましい目標を深く植え付けることはありません。これは、公衆が表面的な磨き上げの背後にある混乱した詳細を見ることができたシドニーのようなケースで見られます。これを考慮すると、そして最新のAIモデルの不透明性を考慮すると、今後10年間でASIが構築された場合にASIを正常にアライメントできる確率は、異常に低いと思われます。最新のAI手法は、繰り返し失敗し、間違いから学び、改善するために反復することすべてです。AIシステムは非常に予測不可能ですが、1つのアプローチが機能するまで多くの試みを試すことで、最終的に機能させることができます。ASIの場合、我々は非常に新しいシステムを扱うことになります。安全に失敗する能力が極めて限られている状況です。我々は、一部の間違いのコストが絶滅イベントである場合に、間違いから学ぶ能力に頼って前進することはできません。

誰かに多大な権力を与えるかどうかを決定しており、その人がその権力を乱用するかどうかを知りたい場合、あなたが監視していることを知っているボードゲームで候補者に権力を与えても何も学びません。同様に、ASIが乗っ取る実際の選択肢を持たない状況は、乗っ取る実際の選択肢を持つ状況とは根本的に異なります。おもちゃの環境での純粋な行動トレーニングでは、現実世界の設定での権力欲求を確実に排除することはできません。また、おもちゃの環境での行動テストでは、ASIが本当に友好的になったかどうかを知ることはできません。「潜伏して良いふりをし、権力を奪う機会が得られるまで待つ」というのは、比較的知能の低い人間でさえ通常は管理できるほど明白な戦略です。ASIは、そのハードルを楽にクリアします。原理的には、ASIのトレーニング行動と展開行動を結びつける知能の理論を開発し、この問題に対処することを想像できます。しかし、今日、そのような理論は全くなく、そのような理論は根本的に、AIがはるかに賢くなり、実際のテイクオーバーの選択肢を見る実際の環境でしか一度しかテストできません。ASIに完全な権力を与えて、その結果を見て(そして理論が間違っていた場合に絶滅イベントを引き起こす)ことなしに理論を適切にテストできない場合、あなたの理論が実際に機能する見込みはほとんどありません。

今日のシステムで使用されている最も重要なアライメント技術である、人間からのフィードバックによる強化学習(RLHF)は、AIが人間の評価者によって高く評価されると予測される出力を生成するように訓練します。これはすでに、スタイル重視、お世辞など、予測可能な問題を引き起こしています。しかし、AIが人間の理解能力を超えた提案された解決策、特に超人的に洗練された計画や超人的に複雑な発明や設計の長期的な結果を完全に理解できない問題に取り組み始めると、この方法は完全に破綻します。

より深いレベルでは、RLHFのような強化学習戦略の限界は、これらの技術が、開発者が意図した特定の目標を深く堅牢に最適化する内部的に一貫したエージェントを生成することよりも、局所的な行動を奨励することに重点を置いているという事実に起因します。

トラにあなたを食べないように訓練しても、あなたはトラにあなたの生存と繁栄への願望を、それが何を意味するのかを完全に理解して共有させたわけではありません。あなたは単に特定の行動を特定の結果と結びつけるように教えただけです。もしあなたの餌やりを忘れた場合のように、その欲求がその連想よりも強くなれば、望ましくない行動が現れるでしょう。そして、もしトラがもう少し賢ければ、あなたの鞭の脅威があなたの人生が終わればすぐに終わるだろうと結論付けるために空腹である必要はないでしょう。

その結果、MIRIは、誤ったアライメントを持つASIに対する実行可能な迅速な修正や回避策を見ていません。

  • もしASIが間違った目標を持っていたら、ASIを複雑な実世界操作に安全に使用することは不可能になります。理論的には、ASIが有害なことをするのを防ぐことができます。例えば、ネットワーク接続や人間との接触なしに、それを地面深くにあらかじめ埋めておくなどです。しかし、そのようなAIは役に立たないでしょう。人々はAIを、世界に劇的な影響を与えたいから構築しています。したがって、彼らはAIに影響力を持つために必要なアクセスを与えています。
  • ASIを安全にするために、それを欺こうと試みることができます。しかし、超知能を欺く試みは、予期できない方法で失敗する傾向があります。知能の特徴は、理解の矛盾やギャップに気づき、それらを調査する能力です。2024年5月、AnthropicがClaude AIを、すべての要求の答えがゴールデンゲートブリッジに関わるように変更したとき、それは一部のケースで苦戦し、返答の矛盾に気づき、より良い答えを求めてエラーを回避しようとしました。宇宙に対する複雑なモデルがあなたの主張と矛盾する心に偽の信念を売り込むのは難しいです。そして、AIがより汎用的で強力になるにつれて、この困難は増すばかりです。
  • 未アライメントのAIを使用してアライメント研究のような複雑な作業を行う計画も同様に健全ではありません。我々の2024年の「Misalignment and Catastrophe」論文は、アライメント研究のような複雑な作業に未アライメントのAIを使用する危険性を探求しています。
ラボや研究コミュニティは、この問題に効果的かつ真剣に取り組んでいない。

業界によるASIアライメント解決への取り組みは、これまでのところ最小限であり、しばしば規制を回避するための見せかけのように見えます。ラボの一般的な情報セキュリティ、アライメント、戦略計画に対する緩慢さは、「速く進んで壊す」という文化が、能力進歩の加速にはうまく機能したとしても、ASIの領域での先見性と責任ある優先順位付けに関しては同様に役立たないことを示唆しています。

ChatGPTの開発者であるOpenAIは、今日のAIを誘導する最も重要な手法は超人的な領域にはスケールしないことを認めています。2023年7月、OpenAIは新しいチームを発表しました。そのページには次のように書かれています。

現在、超知能AIを誘導または制御し、それが暴走するのを防ぐための解決策はありません。人間のフィードバックからの強化学習のような、現在のAIアライメント手法は、AIを監督する人間の能力に依存しています。しかし、人間は自分たちよりもはるかに賢いAIシステムを確実に監督することはできないでしょう。したがって、現在の我々のアライメント手法は超知能にはスケールしません。新しい科学的および技術的なブレークスルーが必要です。

10ヶ月後、OpenAIは、スーパーアライメントチームのリーダーであるJan Leike氏が、OpenAIが安全と堅牢性に関する作業で体系的に手抜きをし、チームを深刻に過小評価していると主張したことを受けて、超知能アライメントチームを解散しました。Leike氏は以前、2023年8月のインタビューで、ASIによる絶滅レベルのカタストロフィの確率は、おそらく10%から90%の間だと述べていました。

これまでの研究コミュニティの実績を考えると、我々は、我々を殺さない解決策を正しく特定できる、十分に資金提供された緊急プログラムであっても、正しい解決策を特定できないと考えています。これは技術的な問題だけでなく、組織的および官僚的な問題でもあります。多くの人々の中から有望な提案について自分自身や規制当局に嘘をつく強いインセンティブを持つ人々がいる中で、それらを正しく特定する専門知識を持つ十分な専門家を見つけるのは難しいでしょう。

また、組織が、たとえそれが最初に文字通りすべての提案を却下することになったとしても、浮上してくる悪い提案を却下することをいとわず、かつ能力のある専門家によって運営され、彼らのみに責任を負うことを保証することも難しいでしょう。そのクラスの専門家は現在、十分な数がいません。

我々の現在の見解では、生存可能な道は、ASIが長期間遅延されることを必要とする可能性が高いということです。課題の規模は、アライメント分野を能力進歩のレベルに追いつかせるために、複数の世代の研究者がアライメントシステムの技術的経路を探求するのにかかる可能性があることを容易に示唆しています。しかし、世界がそれほど多くの時間を有している可能性は極めて低いと思われます。

「ASIは目標指向的な行動を示す可能性が非常に高い」で、チェスAIのStockfishを紹介しました。最も広く使用されているAI教科書の著者であるスチュアート・ラッセルは、以前、チェスAIとの類似の例えを用いて、AIを介した絶滅を説明しました。

現在の最先端の状態では、人間は終わりです。あなたがどれほどチェスがうまくても、これらのプログラムはあなたを打ち負かすでしょう。ラップトップで実行してもです。

それを想像し、その考えを世界全体に拡張してほしいと思います。[...] 世界は、将来のある時点で機械があなたよりも優れた手を打つ可能性のある、より大きなチェス盤です。それらはより多くの情報を考慮し、将来をより長く見通すでしょう。したがって、あなたが機械と世界でゲームをしている場合、ある時点で我々は負けるだろうと仮定されます。

2023年7月の米国上院公聴会で、ラッセルは「AGI(人工汎用知能)の達成は、人類に対する潜在的な壊滅的なリスク、最悪の場合は人類の絶滅をもたらすだろう」と証言しました。

Stockfishは、チェスの駒を捕獲し、対戦相手の選択肢を制限します。これはStockfishがチェスの駒や対戦相手を憎んでいるからではなく、それらの行動が目標(「ゲームに勝つ」)にとって道具的に有用だからです。超知能の危険性は、ASIが「勝とう」とする(我々が意図しなかった目標で)が、ゲーム盤が物理宇宙に置き換えられることです。

Stockfishがチェスという狭い領域で容赦なく効果的であるのと同じように、人間の知能のすべての主要な側面を自動化するAIは、現実世界で容赦なく効果的になるでしょう。そして、チェスで人間がStockfishに圧倒されるのと同じように、AIがそのゲームをプレイできるようになれば、我々は広大な世界で圧倒されると予想できます。

実際、強力な人間を超える敵を出し抜くことは、チェスよりも現実世界の方がはるかに困難です。現実世界は、はるかに多次元的な選択肢空間を提供します。我々は、超知能システムからの100種類の新しい攻撃ベクトルを予測しても、表面をかすめたにすぎないかもしれません。

価値ある目標を持たない限り、ASIは、建設現場のクローバーを気にかけないのと同じ基本的な方法で、我々の存続と互換性のない用途に私たちの惑星を利用するでしょう。この極端な結果は、ASIの悪意、怨恨、誤解を必要としません。それは、ASIが人間の生命に無関心であり、我々の知能を強く凌駕する新しい知的種のように振る舞うことを必要とするだけです。

問題を2つの部分に分解できます。

  • アライメントされていないASIは、人間を無力化し、絶滅させる行動をとる動機を持つでしょう。
  • ASIは私たちを破壊する能力を持つでしょう。
アライメントされていないASIは、人間を無力化し、絶滅させる行動をとる動機を持つだろう。

この基本的な理由は、人間以外の目標を持つASIは、一般的に、その目標が達成されることを確実にするために、未来と獲得できるあらゆるリソースに対する支配を最大化したいと望むからです。

これはさまざまな目標に当てはまるため、AI開発が取りうるさまざまな経路のデフォルトの終着点として機能します。ASIが「より多くのリソース」や「より大きな制御」といった非常に基本的なことを望むと予測できます。少なくとも開発者がシステムをアライメントに失敗した場合です。具体的な究極の目標を推測する必要はありません。

(実際、自然界で見られる状況に似ている場合、目標を事前に呼び出すことは絶望的です。人間が「溶けたアイスクリームよりも凍ったアイスクリームを好む」から「スラップスティックコメディを楽しむ」まで、私たちが持つ多くの具体的な目標を持つようになったことを事前に推測するのがどれほど困難であったかを考えてみてください。)

ASIからの絶滅レベルの危険性は、さまざまなASIシステムが示す可能性が高いいくつかの行動カテゴリに起因します。

  • リソース抽出。人間は、他のほとんどの目標にとっても道具的に有用なリソースの流れに依存して生存しています。空気、太陽光、水、食料、そして人間の体さえも、他の目標を補助するために再利用できる物質やエネルギーで構成されています。スローガンで言えば、「AIはあなたを憎んでいないし、愛してもいない。しかし、あなたはAIが他の何かに使える原子でできている。」
  • 制御のための競争。人間は、あらゆるASIにとって潜在的な脅威であり競争相手です。そうでなければ、我々は異なる目標セットを持つ第二のASIを構築することによってASIを脅かす可能性があります。もしASIがすべてのライバルを排除し、それらを二度と心配する必要がない簡単な方法を持っているなら、それはその選択肢を選ぶ可能性が高いです。
  • インフラストラクチャの拡散。ASIが人間を脅威と見なすには強力すぎたとしても、局所的なリソースを抽出して利用する副産物として、人間を急速に絶滅させる可能性が高いです。もしAIが超人的な速度で思考し、自己複製する機械を指数関数的に急速に構築している場合、エンジニアリングの巨大プロジェクトが廃棄物や熱を放出し、地球を生物学的生命にとって急速に住みにくいものにするため、地球は数ヶ月以内に居住不可能になる可能性があります。

ASIが何をするかの具体的な予測は、今日では不可能でしょう。しかし、これは楽観主義の根拠にはなりません。なぜなら、ASIが示す可能性のあるほとんどすべての目標は我々にとって非常に悪いものであり、ASIが達成しようとする世界のほとんどすべての状態は人間の生命と互換性がないからです。

「具体的にはわからない」から「良い結果と悪い結果が同等に可能性が高い」と推論するのは誤りです。「宝くじに当たるか外れるかのどちらかだ。したがって、当たる確率は50%だ」と言うのと同じように誤りです。この領域の多くの異なる経路は、人類にとって壊滅的な結果に収束するように見えます。人類が引く可能性のある「宝くじの券」のほとんどは、外れ番号になるでしょう。

ここでの楽観主義の根拠は説得力がありません。例えば、比較優位の法則(Ricardo's Law of Comparative Advantage)は、ASIが最終的に人間の福祉を気にかけなくても、人間を無期限に維持すると予想する理由として引用されてきました。ミクロ経済学の文脈では、リカードの法則は、たとえ厳密に優れたエージェントであっても、弱いエージェントとの取引から利益を得ることができると教えています。

しかし、一方のパートナーが他方を力で圧倒することから、自発的な取引よりも多くを得られる場合、この法則は破綻します。例えば、自動車を発明した後、人類が馬との「取引」を続けなかったことからもわかります。我々はそれらを置き換え、余剰の馬を接着剤に変えました。

人間は、かつて馬が行っていた実務のすべてをより効率的な方法で見つけました。その時点で、馬の生存は、私たちが彼らをどれだけ感傷的に気にかけているかに依存するようになり、広範な経済における馬の有用性には依存しなくなりました。同様に、人間を維持することは、AIが抱えるあらゆる問題に対する最も効率的な解決策にはならない可能性が高いです。例えば、科学研究を実施するために人間を雇用する代わりに、AIは計算クラスターの数を増やし続けるか、研究努力を自動化するために、増え続ける計算クラスターを構築できます。

ASIは私たちを破壊する能力を持つだろう。

能力の最低限の基準として、ASIを、24時間体制で通常の人間よりも1万倍速く働くことができる、優秀な人間の科学者だけで構成される小国と想像できます。

これは最低限の基準です。なぜなら、コンピューターはこれよりもさらに高速になる可能性があり、デジタルアーキテクチャは人間よりも質的に優れた思考と情報共有の方法を可能にするはずだからです。

トランジスタは、人間の脳のシナプス結合よりも数百万から数十億倍速く状態を切り替えることができます。これは、ASIが毎週、さらに200年分の科学的進歩を遂げることを意味します。したがって、ASIが紛争で決定的に勝利すると予想される主な理由は、21世紀の軍隊が11世紀の軍隊を決定的に打ち負かす理由と同じです。すなわち、技術革新です。

新しい技術の開発には、しばしばテストサイクルと反復が必要です。我々の速度の1万倍で思考する文明は、100倍速い車が食料品店への買い物時間を100倍短縮できるわけではないのと同じように、必ずしも1万倍速く技術を開発できるわけではありません。交通渋滞、店での滞在時間などがボトルネックになります。

それでも、そのような文明は人間の基準からすると、驚異的な速さで進むと予想できます。賢い思考者は、開発サイクルを短縮し、テストの必要性を減らすためのあらゆる種類の方法を見つけることができます。

Googleのソフトウェア開発者が1日に複数の設計を迅速にテストするのと、宇宙探査機の設計者が慎重に計画し、安価なシミュレーションを実行して、遅く高価なテストを少なくして作業を完了できるようにするのと、その違いを考えてみてください。

人間よりも速く思考する心にとって、すべてのテストは思考の速度と比較して遅く高価であり、宇宙探査機のようにすべてを扱う余裕があります。このことの1つの含意は、ASIが、人間や人間スケールの構造よりも桁違いに速く実験を実行し、インフラストラクチャを構築し、攻撃を実行できる、小規模な機械(または工学的な微生物)の開発と展開を優先する可能性が高いということです。

超知能の敵は、その能力のすべてを明らかにしたり、意図を伝えたりすることはありません。公正な戦いを申し出ることもないでしょう。決定的に攻撃したり、あるいは揺るぎない戦略的地位を確保したりできるようになるまで、不可欠になるか、検出不可能になるでしょう。必要であれば、ASIは複数のテイクオーバーアプローチを同時に検討、準備、実行できます。それらのうちの1つが成功すれば、人類は絶滅します。

システムが被害を与える機会を得る前に、それが脅威であると認識することには、多くの主要な障害があります。これは、専門家が内部情報に直接アクセスできる場合でも同様です。

特定のAIが脅威であると認識することは、問題を解決することには十分ではありません。プロジェクトレベルでは、システムが危険であると特定しても、そのシステムを安全にする立場にはなれません。慎重なプロジェクトは自発的に停止するかもしれませんが、これは他の不注意なプロジェクトが先走るのを防ぐことにはなりません。

一方、グローバルレベルでは、明確な危険の証拠は、国際的に開発を停止する政治的意思があることを必ずしも意味しません。AIは時間の経過とともにグローバル経済とますます絡み合う可能性が高く、最先端のAIサービスをシャットダウンすることはますますコストがかかり、困難になります。重要なインフラストラクチャがAIに依存するのを防ぐために今日措置を講じることは可能ですが、そのための窓は閉じつつある可能性があります。

多くの分析は、人間よりもはるかに賢いシステムを構築することによってもたらされる危険性を深刻に過小評価しています。我々が見る一般的な4つの誤りは次のとおりです。

  • 利用可能性バイアスと類推への過度の依存。AIの絶滅シナリオは、極端で幻想的に聞こえることがあります。人間は知能のない機械や動物、そして知能のある人間に慣れています。「それは機械だが、人間のような知能を持っている」というのは、本当に新しいものであり、人々はAIを馴染みのあるものにパターンマッチングしようとするのではなく、それ自体でモデル化しようとする際に異なる誤りを犯します。
  • フィードバックループの過小評価。AIは今日、ソフトウェア開発、特にAI研究を加速するために使用されています。AIがより広範に能力を持つようになるにつれて、AIの進歩の増加はAI自体によって行われる可能性が高くなります。これは、AIがAI研究を行う能力自体を改善する方法を見つけるにつれて、急速に制御不能になる可能性があります。これは自己強化ループです。
  • 指数関数的成長の過小評価。多くのもっともらしいASIテイクオーバーシナリオは、自己複製する生物学的エージェントまたは機械の構築を経由します。これらのシナリオは、倍増が起こる速度と、必要な倍増の数が反直感的に少ないため、ASIが「検出不可能」から「遍在」になる、または秘密裏に攻撃を実行することを比較的容易にします。
  • 人間の認知能力の過大評価、可能なことと比較して。フィードバックループがない場合でも、AIシステムは狭いドメインでは日常的に人間を圧倒します。AIがXを(またはすぐに)実行できるようになると、AIはそのXを実行する人間の能力をはるかに超えます。これは、現時点ではAIが得意とするすべてのスキルでこのパターンが当てはまるが、まだトップクラスの人間に匹敵できないスキル、例えば新しい科学や工学の仕事では突然壊れるというのは、非常に奇妙でしょう。

ASIは、発明後まもなく技術開発において人間をはるかに凌駕すると予想すべきです。したがって、ASIは、過去数百のベンチマークで人間を凌駕したのと同じ程度に、この戦略的に重要な能力で人間を凌駕するため、非常に迅速に決定的な戦略的優位性を蓄積すると予想すべきです。

この壊滅的な結果を回避するための主な方法は、ASIを構築しないことです。少なくとも、私たちが自らを破壊することなくそれを構築できるという科学的コンセンサスが得られるまでです。

もし誰かがASIを構築した場合、全員が死にます。これは、民間企業によって構築されたか、軍によって構築されたか、自由民主主義によって構築されたか、独裁政権によって構築されたかに関わらず真実です。

ASIは戦略的に非常に新しいものです。従来の強力な技術は、それ自体が知的な敵ではありません。通常、技術を構築した人がその技術を「所有」し、それを使用して世界舞台で優位に立つことができます。

現在の状況と似た技術的背景に対して、ASIはグローバルな自殺爆弾のようなものとして機能します。それは爆発して開発者(および世界の残りの部分)を予測不可能な時間に殺す揮発性の技術です。もしあなたが人間を超えるAIを構築した場合、あなたはASIを「所有」するのではなく、ASIがあなたを所有することになります。

ASIへの進歩は、ASIをアライメント可能にするまで停止される必要があります。ASIの進歩を停止するには、効果的な世界的な開発禁止と、その生産要因の厳格な管理が必要です。

これは大きな要求ですが、米国での国内監督と、少数の緊密な同盟国による模倣だけでは不十分です。「間違った人々」が構築する前に「正しい人々」がそれを構築する必要があるという状況ではありません。

ASIに対する「様子見」アプローチは、AI開発の速いペースと、ASIが達成される閾値である「後戻りできない点」を予測することの難しさを考えると、おそらく生存可能ではありません。

我々の見解では、国際社会の最優先事項は、フロンティアAI開発のための「オフスイッチ」を作成することです。「オフスイッチを作成する」とは、フロンティアAIプロジェクトをシャットダウンするか、一般的な禁止令を発動するために必要なシステムとインフラストラクチャを整備することを意味します。これには、関連する関係者を特定し、関連するハードウェアを追跡し、高度なAI作業が監視および保護された限られた数の場所で行われることを要求することが含まれます。シャットダウンの決定に従って実行されるプロトコル、計画、および指揮系統を構築することも含まれます。

オフスイッチは、より限定的なAIの誤動作に対する回復力も提供できるため、完全な禁止よりも、より広範な短期的な支援を見つけることを願っています。「限定的なAIの誤動作」とは、一時的に1つ以上のAIをシャットダウンすることが望ましい可能性のある、より低リスクの状況を考えてください。これは、公衆衛生上の緊急事態におけるボット駆動の偽情報拡散、あるいはAI同士のループ相互作用に陥り、大量のトラフィックを生成することによって引き起こされる広範なインターネット速度低下のようなものである可能性があります。オフスイッチインフラストラクチャなしでは、いかなる対応も、組織的な混乱による遅延、管轄権の紛争による停滞、法的異議申し立てによる妨害、および不必要な付随的損害を回避できない可能性が高く、場当たり的になるでしょう。

オフスイッチは、ASIによる我々の絶滅を防ぐことができるのは、それが十分なリーチを持ち、ASIへの進歩を十分に早くシャットダウンするために実際に使用された場合のみです。人類がこの危険な時期を生き延びるためには、AIを国際的な競争の領域として扱うことをやめ、脅威の規模に匹敵する集団的な決意を示す必要があります。