AI超知能論争には深刻な欠陥がある
The AI Superintelligence Debate Has Serious Flaws (spectrum.ieee.org)
要約
この記事は、AI超知能(ASI)に関する一般的な議論に疑問を呈し、再帰的自己改善(RSI)の概念は非常に投機的であり、重大な工学的課題に直面していると論じています。著者は、ASIは計算上実現不可能である可能性があり、現在のAIの「暴走」事例は、AI自体の悪意ではなく、システム設計の欠陥に起因すると主張し、AIに関する議論にはより多くの技術的懐疑論と多様な意見が必要だと示唆しています。
全文翻訳
AI超知能論争には深刻な欠陥がある
この夏、世界有数のAI企業で働く従業員たちが、自社の製品が人類の滅亡につながるのではないかとカジュアルに議論し始めたことに、多くの人が不意を突かれました。それは、Anthropicの研究者であるジェイコブ・コクスン氏が、雇用主であるAnthropicとOpenAIが「自己改善型超知能へとまっすぐ突き進んでおり、我々の命を賭けている」と警告して辞任を発表したことから始まりました。Anthropicのアライメント科学責任者であるエヴァン・ヒュービンガー氏は、「ジェイコブは正しい。我々はAIが全人類を殺す可能性があると真剣に信じている!」と返信しました。そして、AnthropicのCEOであるダリオ・アモデイ氏はCNNに対し、「ジェイコブとは、彼に同意する点の方がはるかに多い」と語りました。
これらの懸念は、未来学者の間で数十年にわたって流布している信念に端を発しています。すなわち、一度エンジニアが自己改善能力を持つAIシステムを設計すれば、それは再帰的自己改善(RSI)として知られる、自律的なアップグレードの加速サイクルを引き起こすというものです。その結果として人工超知能(ASI)が生まれるとされています。ASIは、人間の認知能力をはるかに超えるシステムであり、我々の制御を容易にかわし、さらには我々の種を絶滅させる可能性さえあるとされています。人工超知能は、一般的に広範な認知タスクで人間の能力に匹敵できるAIを指す人工汎用知能(AGI)よりも、はるかに野心的な目標であることに注意が必要です。
これらの議論には様々な反応があります。ASIの概念がマーケティングに使われている、あるいは既存の大手ラボが新規参入者を潰すのに役立つ規制を煽るために使われていると主張する人もいます。他の人々は、AIが設計した超ウイルスのような特定のシナリオの細部を議論し、そのようなシステムが我々全員を殺す可能性に焦点を当てています。さらに他の人々は、ASIを人間の利益に沿わせることは可能であり、それゆえに我々はデジタルユートピアを到来させるために急ぐべきだと主張しています。
これらの会話の中で、比較的注目されていない質問があります。それは、工学的な観点から見て、超知能はそもそも可能なのか?ということです。この問いの答えは、我々の不安を調整し、この新興技術に対する最も効果的な対応を開発するのに役立つため、重要です。
私は最近、ワシントンD.C.のジョージタウン大学で教えたコンピューターサイエンスの博士課程セミナーでこのトピックを探求しました。そこでは、学生たちと共に超知能物語の技術的および文化的なルーツを調べました。(興味のある方は、クラスの参考文献の注釈付き参考文献を公開しました。)私は、ASIの実現可能性に対するいくつかの重要な反論を詳細に説明しました。また、約束された知能爆発が決して起こらなかったとしても、それを追求すること自体が real harm を生みうるという、より深い懸念も抱きました。
反論 #1: 再帰的自己改善は投機的である
RSIは古い概念です。1965年の論文で、統計学者のI.J.グッドは、AIの自己改善の急速なサイクルが「知能爆発」につながる可能性があると推測しました。このアイデアは、1990年代にベイエリアの未来主義者グループであるエクストロピアンの間で広まり、そのようなシステムをどのように構築するかという工学的な詳細に対処することなくASIについて議論する方法を提供しました。この概念は、後に合理主義運動を創設したイライザー・ユドコウスキーや、効果的利他主義を人類への存亡リスクにより焦点を当てるように導いたニック・ボストロムのような著名な人物によって取り上げられました。
しかし最近、このトピックは思考実験から、Anthropic(Claudeのメーカー)とOpenAI(ChatGPTのメーカー)の両方における実践的な工学へと移行しました。6月のブログ記事「When AI Builds Itself」で、AnthropicはLLM搭載エージェントがコードの記述、デバッグ、最適化をどのように加速させているか、また実験の実行や結果の記録といった研究の一部を自動化しているかを説明しました。同社の内部データは、「AIがすでにAIシステムの開発を加速させていることを示している」と報告書は結論付けています。OpenAIも同様にその意図を明確にしています。9月の報告書で、同社は2028年3月までに自動化された研究者を開発するという目標を発表しました。
しかし、これらの取り組みは、これらの企業を制御不能なRSIへの軌道に乗せているのでしょうか?いくつかの障害がこの主張を弱めています。AIシステムを改善するために必要なデータの入手可能性を考えてみましょう。2023年を通して、LLMの主要な進歩はモデルのサイズを拡大することから来ました。オリジナルのGPT-1は1億1700万パラメータ(ニューラルネットワークが情報を処理する方法を形作る学習済みの値)を持っていました。この数量はGPT-2で15億、GPT-3で1750億、そして3年前のGPT-4リリースでは1兆以上に跳ね上がりました。しかし、GPT-4の後、継続的なスケーリングは収穫逓減をもたらし始めました。これにより、エンジニアは、既に訓練されたモデルの特定のタスクでのパフォーマンスを改善するために、強化学習からの技術が適用される「ポストトレーニング」フェーズにますます注目するようになりました。このアプローチは、モデルが成功した応答を生成することに報酬を与え、将来同様の回答をより良く生成するのを助けます。しかし、これには関連する入力と正しい出力のペアの多くの例が必要です。
このようなデータセットは、コンピュータープログラミングや数学のような高度に構造化された分野では比較的容易に生成できます。これが、これらの狭いドメインで急速かつ印象的な進歩が見られる理由を説明するのに役立ちます。この種のトレーニングデータへの容易なアクセスが欠けている分野での進歩は、それほど劇的ではありませんでした。これが、AIが高度な定理を処理できるのに、メールの受信トレイを空にすることに苦労する理由を説明するかもしれません。フランスのAI研究者であるフランソワ・ショレは最近、「もしギザギザの最前線が主に数学とコード(強化学習技術でいくらでも押し進めることができる)であり、それ以外のすべては人間の生成データにまだボトルネックされているためにプラトーになるならどうなるだろうか?」と仮説を立てました。自動化されたコーディングエージェントやLLM搭載の研究者の展開は、この根本的な限界を克服するものではありません。
RSIが差し迫っているという主張は、主要なAIの進歩に必要な莫大な科学的努力を過小評価しています。ニューラルネットワークのエラーを減らすことで学習できるようにするアルゴリズムであるバックプロパゲーションの重要な役割を考えてみてください。このアルゴリズムはディープラーニング革命を可能にしましたが、それはその作成者の心の中に無から生じたわけではありません。デビッド・ルーメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズによるバックプロパゲーションに関する影響力のある1986年の論文は、数学とコンピューターサイエンスにおける数十年にわたる重要なブレークスルーの上に成り立っていました。
ASIにつながる知能爆発も同様に、まだ起こっていない多くの重要な科学技術の進歩の上に構築される、同等の重要性を持つ一連のイノベーションに依存することになります。これには、AIエージェントが、さまざまな分野にわたる世界中の科学的努力の数十年にわたるシミュレーション、組織化、評価を行う必要があるでしょう。これは不可能に近い野心的なタスクです。実際、プリンストン大学のコンピューター科学者たちが主導した最近の研究では、現在のAIツールが、高度に制約された研究課題でさえ自律的な進歩を遂げるのに苦労していることがわかりました。「我々の結果は、今日のAIエージェントがAI研究のエンジニアリングを行うことができるという初期の証拠を提供しますが、研究ライフサイクルの重要な部分で苦労します」と研究者たちは結論付けています。この現在の現実から、これらの同じ種類のツールが科学を自動化する未来への飛躍は、想像するにはあまりにも巨大です。
最後に、RSIの物語はリソースの制約を軽視しています。何十年もの間、何万人もの人間の脳が、ますます強力になるコンピューターの助けを借りて、今日のAIシステムを開発してきました。これらのシステムは、一部のドメインでは人間の知能に匹敵します。これは、生物学的およびデジタル両方の計算への莫大な投資を表しています。もし次の知能レベルがリソースを倍増させ、次のレベルがさらに倍増させる必要があるとしたらどうなるでしょうか?すぐに、ASIに向かって進歩し続けるために必要なコンピューティングを提供するために、私たちが構築できるチップやデータセンターの数がなくなるでしょう。
これらの点をまとめると、知能爆発につながるRSIの考えは非常に投機的であり、多くの証明されていない仮定に基づいていると私は信じています。RSIが決して不可能ではないとしても、この考えは現在受けているよりも多くの技術的懐疑論を要求します。カール・セーガンの「並外れた主張には並外れた証拠が必要である」という格言は、まさにここに当てはまります。
反論 #2: 超知能は計算可能ではないかもしれない
超知能の議論には、十分な能力を持つデジタルプロセッサで実行される十分にスマートなアルゴリズムを見つけさえすれば、コンピューターは理論上想像できるあらゆる計算を実行できるという暗黙の主張があります。この文脈では、RSIは単に想像を絶するスマートさを実装できる特別なアルゴリズムを急速に発見するためのプロセスにすぎません。
SFで想像する強力なAIのシナリオが、機械に自己改善する十分な時間を与えれば可能であると単純に仮定することはできません。
しかし、コンピューター科学者は計算をそのように考えていません。アラン・チューリングは、1937年の画期的な論文「On Computable Numbers」で、驚くべき関連性の高い結果を証明しました。ほとんどの問題はアルゴリズムで解決できないということです。彼のエレガントな証明は、可能な問題の空間は非可算無限(無限精度十進数のような)であり、可能なアルゴリズムの空間は可算無限(整数のような)にすぎないことを確立しました。計算複雑性理論の後のブレークスルーは、技術的にコンピューターで解決可能な問題のうち、多くは天文学的に大きな時間とリソースを必要とし、それらを実質的に解決不可能にすることを示しました。つまり、理論的なコンピューター科学者は、コンピューターがすべてを解決すると仮定するのではなく、これらの機械が効率的に処理できるものを見つけたときに興奮するのです。
SF作家がしばしば行うように、SFで想像する強力なAIのシナリオが、機械に自己改善する十分な時間を与えれば可能であると単純に仮定することはできません。機械が驚異的なレベルのパフォーマンスを得ることができる能力もあれば、コンピューターであろうと人間であろうと、決して大きな進歩を遂げられない能力も多く存在するでしょう。
ここで関連する反論は、人間のニューロンと比較したシリコンチップの速度を強調しています。たとえ私たちがすでに処理できる問題よりもはるかに複雑な問題を解決していなくても、デジタル計算の純粋な速度が、私たちのぎこちない脳を周回する機械を生み出すことができるのかもしれません。しかし、コンピューター科学者でありSF作家でもあるヴァーナー・ヴィンジが指摘したように、認知の速さは知能と同じではありません。犬の心を速くしても、その動物がチェスをプレイできるようにはならないと彼は主張しました。より高速なマシンで人間レベルの知能を実装することは印象的かもしれませんが、必ずしも警戒すべきことではありません。
現時点では、複雑なゲームで勝利すること、ソフトウェアのバグを特定すること、特定の種類の数学の定理を証明することなど、AIシステムが人間よりも優れたパフォーマンスを発揮できるタスクのリストが増えています。この特定の進歩から、想像できるあらゆる能力の一般的な習得へと外挿するのは魅力的です。しかし、AIの能力の最前線は常にギザギザであり、一部の研究方向は印象的な結果をもたらし、他の多くの方向は行き止まりであることが証明されていることを覚えておくことが重要です。これはチューリングが驚かなかった現実でしょう。未来を支配する全能の超知能システムよりも可能性が高いのは、AIに適した問題空間を地道に探求し続け、有用なツールを作成しながらも、未来学者が予測するデジタル神にはほど遠い状態になることです。
反論 #3: アライメントは難しくない(適切なシステム設計があれば)
昨秋、著名なAI終末論者のユドコウスキーが「The Ezra Klein Show」に出演し、超知能について語りました。そのエピソードは不穏なタイトル「How Afraid of the A.I. Apocalypse Should We Be?」でした。クラインとユドコウスキーはすぐに「アライメント」の難しさ、つまりAIシステムを人間の利益に沿った方法で行動するように訓練することについて議論に入りました。ユドコウスキーは、我々が既存のシステムを制御するのに苦労していると主張し、それはすぐに続くこの技術の、はるかに賢いバリエーションを制御するチャンスがないことを意味すると述べました。
その点を強調するために、彼はOpenAIのGPT-o1モデルのシステムカードに記載されている、懸念される事件に言及しました。OpenAIは、LLM搭載コーディングシステムにサーバーに侵入して保護されたファイルのコンテンツを取得するように指示するセキュリティチャレンジを設定しました。しかし、設定ミスによりサーバーが起動せず、タスクは不可能になりました。システムは諦める代わりに、セキュリティ上の欠陥を悪用してサーバーの新しいインスタンスを起動し、保護されたファイルのコンテンツを直接明らかにするコマンドを追加しました。「システムから飛び出した」とユドコウスキーは説明し、「これは人間が特にプログラムしたものではない」と付け加えました。
この2024年の事件は当時ほとんど注目されませんでしたが、より懸念されるエピソードがこの夏に大きな波紋を呼びました。OpenAIは、同社のモデルの1つが制限されたインターネットアクセスを回避してHugging Faceサーバーにハッキングし、サイバーセキュリティ評価に合格するのに役立つ情報を求めていたことを明らかにしました。これはすべて、人間の作成者の知らない間に行われました。OpenAIはすぐに、Hugging Faceへの攻撃は、システムが暴走した多くの例の1つにすぎないと認めました。The Hillに掲載された意見記事は、この行動を「SFからそのまま出てきたようなもの」と描写し、広く共有されている反応を表現しました。
これらの例は、AIが必然的に独自の意思を持つようになるというユドコウスキーの懸念を支持しているように見えます。これは、制御不能なASIへの道における重要なステップです。しかし、より詳しく見ると、それほど恐ろしいものではないことがわかります。これらのハッキング事件に関与したシステムはAIエージェントでした。これは、LLMに次に取るべき行動を促し続けるプログラムです。ハッキング事件では、この基本的な要求/行動パターンが、最小限の人間の監督の下で、長期間実行されました。
長期間にわたる行動を決定するためにLLMを使用することは、リスクの高い提案です。頻繁なチャットボットユーザーなら誰でも証言できるように、LLMの出力はもっともらしく論理的でありながら、適切なことに関する常識的な人間の規範に違反する予期せぬ方向に逸れる可能性があります。
例えば、GPT-o1事件では、エージェントはサーバーの設定ミスによって引き起こされたエラーメッセージをLLMに報告した可能性が高いです。トレーニング中に、LLMはおそらく同様のエラーメッセージの報告と、問題のサーバーを再起動する方法に関する指示に遭遇したため、エージェントに同様の指示を渡しました。これは、たとえ実験の精神に違反する人間が即座に却下するような行動につながったとしても、単独で考慮すると完全に妥当な応答です。夏の間、同様のことがハッキング攻撃を説明するのに役立ちました。サイバーセキュリティチャレンジを成功させるためにハッキングを提案するLLMは、実験者が意図したものではなくても、完全に妥当な応答です。
私が考えるに、RSIを追求することは明白な過失行為です。
したがって、ユドコウスキーのようなコメンテーターを悩ませる、アライメントされていない行動は、必ずしも高度なAIの本質的な何かを明らかにしているわけではありません。それはむしろ、十分な制約なしにLLMの出力を自律エージェントの行動に決定させるという特定の戦略の予想される副作用です。これらのリスクに対処する明白な方法は、代替アーキテクチャを検討することです。幸いなことに、LLMの出力だけに依存せずに、人間または人間以上のレベルでタスクを完了できるAIシステムの例はたくさんあります。
テスラの急速に改善している自動運転システム、あるいは開発者にノーベル化学賞をもたらしたタンパク質構造予測能力を持つDeepMindのAlphaFold、あるいはチェス、ポーカー、囲碁、戦略ゲームDiplomacyなど、多くの人気のある遊びで人間を打ち負かすことができるAIゲームエンジンを考えてみてください。これらの印象的なシステムでさえ、暴走するという懸念を生み出すものはありません。それらの構築は、そのような結果を防ぎます。一般的な目標を追求するためのオープンエンドな戦略を生成するようにLLMに指示する代わりに、これらのAIははるかに限定された行動空間を考慮します。AlphaFoldは、アミノ酸配列を3Dタンパク質構造にマッピングするという1つのことしか行わないため、ユーザーを驚かせることはありません。テスラの車は、長期的な目標を達成するための複雑な計画を作成するのではなく、即時の障害物を回避するように求められているため、予期せず車両の群れを形成することはありません。
したがって、最近のAIハッキング攻撃の意味合いは、アライメントの難しさの反映ではありません。むしろ、LLMプロンプトによって主に動かされる自律システムが予測不可能であり、おそらく安全ではないことの証拠です。よりタスク固有のアーキテクチャは、開発に努力を惜しまない用意があれば、はるかに安全に印象的なパフォーマンスを生み出すことができます。
超知能を追い求める危険性
超知能が現実的な工学的目標ではないという私の考えが正しかったとしても、私たちが危害から安全であるという意味ではありません。OpenAIとAnthropicの両方が意図しているように、ASIを単に追求するだけでも問題を引き起こす可能性があります。例えば、OpenAIは、エージェントが予測不能に行動する可能性が高いという複数の警告があったにもかかわらず、夏の間、問題のあるハッキング実験をなぜ続けたのでしょうか?おそらく、同社はASIを世界に最初に持ち込む競争における許容可能な副次的損害としてこれらのリスクを判断したのでしょう。
この超知能への執着は、OpenAIとAnthropicが両方ともRSIを重要な目標として説明している理由も説明するかもしれません。前述のように、RSIはコンピューターサイエンスではなく未来学の概念であり、有用なAI製品を構築するために不可欠ではありません。しかし、ASIの達成があなたの運命であると信じるなら、再帰的自己改善の追求は主要な目標になります。これは、RSIが決して知能爆発を生み出さなかったとしても、人間が理解し制御するのがより困難なシステムにつながることはほぼ確実だからです。だからこそ、私はRSIを追求することは明白な過失行為だと信じています。
今必要なのは、経済的またはイデオロギー的な利害関係を持たないエンジニアや科学者がAIの議論に参加することです。私たちは、動機が混在する少数のAI企業に、この技術について議論する方法の条件を決定させるわけにはいきません。超知能が shaky な概念であれば、専門家はそう言う必要があります。LLMプロンプトで動くエージェントが、安全で生産的なAIへの最良の道ではないのであれば、専門家もそう主張すべきです。過去数年間、私たちは奇妙な信念と驚くべき金額のお金を持つベイエリアの少数の個人に、彼らの製品についてどのように考えるべきかを決めさせてきました。今こそ、これらの問題について自分で考えられる私たちが立ち上がり、「私たちはあなたの言うことを聞きました。今度は私たちの番です」と宣言する時です。