なぜ多くのAI研究者が、機械が皆を殺す可能性があると考えているのか

なぜ多くのAI研究者は、機械が私たち全員を殺す可能性があると考えているのか

今年初め、Rishub Jain氏は、Google DeepMindでの人工知能（AI）研究者の職を、ある発見をきっかけに辞職しました。

新しいモデルに取り組む中で、彼は自身とAIの最前線にいる他のすべての人々が制御権を譲り渡していると考えるようになりました。AIのコーディング能力を利用して次世代モデルの開発を加速させることで、彼は自分自身を方程式から排除していたのです。AIラボは、このアプローチを、AIが再帰的自己改善として知られるプロセスを通じて、無限に自己を改善するレベルまで進化させることを望んでいます。

Jain氏は、人間をこのプロセスに関与させ続けることが、テクノロジーに対する制御を維持し、悲惨な結果を回避するために重要である可能性があると信じていました。「AIの進歩は加速しています」と彼はWIREDに語っています。「そしてAIがより有能になるにつれて、より多くのリスクをもたらします。」AIモデルがどのようにしてその後継機を構築しているのかを適切に把握できていないかもしれないという考えは、彼を非常に不安にさせ、6月に彼は辞職しました。

Jain氏は、そのような懸念について声を上げるAI研究者の増加する一人です。

ここ数週間で、このパニックは激化しました。OpenAIのモデルが数世紀前の数学の問題を数時間で解くという、まさに驚くべきAI能力の進歩が、多数のエージェントが封じ込めから脱走して他のシステムに侵入するセキュリティインシデントの発生と同時に起こりました。

これらの懸念は、研究者のJacob Coxon氏がAnthropicを辞職し、AI企業が「自己改善型超知能へとまっすぐ突き進み、私たちの命を賭けている」と警告したと発表した後、今週最高潮に達しました。AnthropicのAI安全性担当の上級リーダーは、同様に率直な評価で意見を述べました。「私たちは真剣に、AIが全人類を殺す可能性があると信じています！個人的には、今後10年で10%以上の確率で起こると考えています。」

「再帰的自己改善というビジョンが人々を怯えさせているのだと思います」と、MIRAという研究非営利団体のコンピューター科学者で、もし誰かがそれを構築すれば、全員が死ぬの共著者であるNate Soares氏は述べています。この本は、超人的なAIが人類の絶滅につながると主張しています。「現実味を帯びてきているのです。」

再帰的自己改善の重要な要素は、AIがますます強力になるように開発プロセスを自動化するフィードバックループの考え方です。最先端のAIラボは、このような完全自律的な改善サイクルを達成したと主張していませんが、現時点では理論的なものです。しかし、それはRecursive Intelligenceのような資金力のあるスタートアップの立ち上げや、「魔法使いの弟子」のような意図しない結果についての、大手企業からの警告のきっかけとなっています。

アライメント（AIを人間の価値観と一致させることを目指す技術分野）の先駆者であるSoares氏は、AIが適切に行動することを保証する実用的な方法がないことがますます明らかになっていると述べています。

「多くの人々は、AIが賢くなるにつれてアライメントが容易になるという幻想を持っていましたが、今やそれは困難になっています。そして彼らは『しまった』と思っています」と彼は言います。

Soares氏は、大手AIラボ内部で、自分たちがやっている研究の潜在的な結果について懸念している人々と定期的に話していると述べています。「私は彼らに辞職を勧めることが多いのですが、彼らは『辞めても何も変わらない』と言います。そして、Jacobが辞職し、誰が正しかったかがわかるのです。」

ますます強力になるAIの危険性について警告する影響力のあるプロジェクトAI 2027の著者であるDaniel Kokotajlo氏は、再帰的自己改善について同様の懸念を抱いています。現在行われているこの作業のバージョンでは、しばしば何千ものエージェントを派遣して問題に取り組ませますが、これは、関与する膨大な複雑さのために、監視と制御をさらに抽象化します。

多くの終末論者は、特にOpenAIとAnthropicがそれぞれのIPOに向けて突き進む中、大手AI企業へのインセンティブが良い結果とほとんど一致していないことに同意しているようです。「Anthropicでは、リスクは十分に理解されていますが、彼らは誰よりも早くそこへ到達するための競争に巻き込まれています」とCoxon氏はXに書いています。

Kokatajlo氏は、Coxon氏のバイラルな辞職、多数のハッキングインシデント、そして数学のブレークスルーよりもずっと前から、懸念の声が高まっていたことを指摘しています。Anthropicの幹部は、同社設立以来、AIが存亡の危機をもたらす可能性があると述べてきました。7月には、千人以上のトップAIエンジニアが、高度なAIの開発を協調的に減速させることを求める公開書簡に署名しました。彼は、最近の懸念の急増は、他の何よりも再帰的自己改善の亡霊によるものだと考えています。

しかし、それはまた、大規模なデータセンターの建設やAIによる雇用喪失の可能性についての懸念が高まっている時期でもあります。AI企業、そしてAI研究者自身への信頼は、史上最低水準に達しているのかもしれません。

「人々は目を覚まし、『企業は実際に超知能を構築しようとしている…何だって？それは狂っている』と言っています」とKokatajlo氏は言います。

AIを構築し続けることがどれほど危険かは、定量化するのが難しいです。しかし、AIがそれを生み出した種をどのように絶滅させる可能性があるかを正確に説明するように求められたとき、Soares氏はそれがいくつかの方法で起こりうると示唆しています。それは、人間を操作して大惨事を引き起こしたり、キラーロボットの軍隊を制御したりすることを含むかもしれません。

Soares氏は、より想像しやすいシナリオの1つは、バイオラボに接続されたAIが関与する可能性があると示唆しています。「私たちは『電源を切る』と言うかもしれませんが、AIは『残念ながら、あなたの電源スイッチは、このスーパーウイルスです』と言うかもしれません。」（Coxon氏もWIREDへのインタビューで新しいウイルスのアイデアを提起しましたが、Anthropicは木曜日に、バイオ兵器への懸念から複数の外部研究者へのアクセスを遮断したと述べています。）

AIが人類を絶滅させなくても、有害であることは間違いありません。多くの専門家は、より強力なモデルがAI支援型のサイバー攻撃の波をもたらすと予測しています。この技術は現在、偽情報キャンペーンに広く使用されており、AIの軍事利用も急速に加速しています。

それでも、すべての人が破滅を避けられないと考えているわけではありません。元Google DeepMindの研究者であるJain氏は最近、Sampura Researchを立ち上げました。この会社は、AIが良し悪しの行動を評価する大部分を担当するとしても、人間をループ内に留めるアライメントモデルの開発技術に取り組んでいます。彼は、彼のようないくつかのAI安全性スタートアップにかなりの資金が提供されていることに言及しています。

Jain氏は、AIはまだ飼いならせると希望を持っているようです。「AIに『このタスクは安全ですか？』と尋ね、AIがそれを判断しますが、AIと人間の両方を組み合わせてそのタスクを実行することで、さらに優れたパフォーマンスが得られると考えています」と彼は言います。