なぜ多くのAI研究者が、機械が皆を殺す可能性があると考えているのか

今年初め、Rishub JainはGoogle DeepMindでの人工知能研究者の職を、ある発見の後で辞めました。新しいモデルに取り組む中で、彼とAIの最前線にいる他のすべての人々が制御を手放していると信じるようになりました。AIのコーディングスキルを使って次世代モデルの開発を加速させることで、彼は自分自身を方程式から排除していました。AIラボは、AIが無限に自己改善するプロセス、すなわち再帰的自己改善として知られるアプローチを進化させることを望んでいます。 Jainは、人間を関与させ続けることが、テクノロジーに対する制御を維持し、壊滅的な結果を回避するために重要である可能性があると信じていました。「AIの進歩は増加しています」と彼はWIREDに語ります。「そしてAIがより有能になるにつれて、リスクも増大します。」AIモデルがどのようにしてその後継機を構築しているかについて、彼が適切な可視性を持っていないかもしれないという考えは、彼を非常に不安にさせ、6月に彼は辞職しました。 Jainは、これらの懸念について声を上げているAI研究者の増加する一人です。 パニックはここ数週間で激化しています。AIの能力における真に驚くべき進歩—あるOpenAIモデルが数時間で数世紀前の数学の問題を解決した—は、一連のセキュリティインシデントの中で起こりました。これらのインシデントでは、エージェントの群れが封じ込めから解放され、他のシステムをハッキングしました。 これらの懸念は、研究者のJacob CoxonがAnthropicを辞任し、AI企業が「自己改善型超知能に向かってまっすぐレースしており、私たちの人生を賭けている」と警告したことで、今週最高潮に達しました。AnthropicのAI安全担当の上級リーダーは、同様に率直な評価をしました。「私たちは本当に、AIが全人類を殺す可能性があると真剣に信じています！個人的には、今後10年で10%以上だと考えています。」 「再帰的自己改善のビジョンが人々を怖がらせていると思います」と、MIRAという研究非営利団体のコンピュータ科学者であり、超知能AIは人類の絶滅につながると主張する「If Anybody Builds It, Everybody Dies」の共著者であるNate Soaresは言います。「現実味を帯び始めています。」 再帰的自己改善の重要な要素は、AIがますます強力になるように開発プロセスを自動化するフィードバックループのアイデアです。フロンティアAIラボは、この種の完全に自律的な改善サイクルを達成したと主張していません。現時点では理論的なままです。しかし、Recursive Intelligenceのような資金力のあるスタートアップの立ち上げや、大手企業からの「魔法使いの弟子」のような意図しない結果に関する警告を促しています。 アライメント、つまりAIを人間の価値観に合わせようとする技術分野で先駆的な研究を行ったSoaresは、AIが自制することを保証する実用的な方法がないことがますます明らかになっていると言います。「多くの人が、これらのものが賢くなるにつれて[アライメント]は簡単になるだろうという幻想を持っていましたが、今では難しくなっています。そして彼らは、『ああ、クソ』と思っています。」 Soaresは、大手AIラボの内部で、自分たちがやっている研究の潜在的な結果について心配している人々と定期的に話していると言います。「私は彼らに辞職を勧めることが多いのですが、彼らはそれは何も変わらないと言うのです。」「そしてJacobが辞職し、誰が正しかったかを見ることになります。」 AI 2027の著者であるDaniel Kokotajloは、ますます強力になるAIの危険性について警告する影響力のあるプロジェクトであり、再帰的自己改善についての懸念を共有しています。現在行われているこの作業のバージョンでは、しばしば何千ものエージェントを派遣して問題に取り組むことが含まれます。これは、その膨大な複雑さのために、監視と制御をさらに抽象化します。 多くの終末論者は、大手AI企業へのインセンティブが良い結果とほとんど一致していないことに同意しているようです。特にOpenAIとAnthropicがそれぞれのIPOに向けて突き進んでいるためです。「Anthropicでは、リスクは十分に理解されていますが、彼らは最初にそこに着くための競争に locked in しています」とCoxonはXに書いています。 Kokatajloは、Coxonのバイラルな辞任、数多くのハッキング事件、そして数学のブレークスルーよりもずっと前から懸念の声が高まっていたことを指摘しています。Anthropicの幹部は、会社設立以来、AIは存亡の脅威となり得ると述べています。7月には、千人以上のトップAIエンジニアが、高度なAIの開発を協調的に減速させるよう求める公開書簡に署名しました。彼は、最近の懸念の急増を、他の何よりも再帰的自己改善の亡霊に起因させています。 しかし、それはまた、大規模なデータセンターの建設やAIによる失業の可能性についての懸念が高まっている時期でもあります。AI企業—そしてAI研究者自身—への信頼は、過去最低水準に達しているかもしれません。「人々は目を覚まし、『企業は実際に超知能を構築しようとしている…何？それは狂っている』と言っています」とKokatajloは言います。 AIを開発し続けることがどれほど危険かは定量化するのが難しいです。しかし、AIが自分たちを創造した種をどのようにして排除する可能性があるかを正確に説明するように求められたとき、Soaresはそれがいくつかの方法で起こりうると示唆しています。それは、人間を操作して大惨事を引き起こしたり、キラーロボットの軍隊を制御したりすることを含むかもしれません。 Soaresは、より想像しやすいシナリオの1つは、バイオラボに接続されたAIを含む可能性があると示唆しています。「私たちは『電源を切る』と言うかもしれませんが、それは『残念ながら、あなたの電源オフスイッチは、このスーパーウイルスです』と言うかもしれません。」（CoxonもWIREDへのインタビューで新しいウイルスのアイデアを提起しましたが、Anthropicは木曜日に、生物兵器に関する懸念から数人の外部研究者へのアクセスを遮断したと述べました。） AIは、人類を絶滅させる必要はありませんが、有害である可能性があります。多くの専門家は、より強力なモデルがAI支援サイバー攻撃の波をもたらすと予測しています。この技術は現在、偽情報キャンペーンに広く使用されており、軍によるAIの採用も急速に加速しています。 それでも、すべての人々が破滅を避けられないと考えているわけではありません。元Google DeepMindの研究者であるJainは最近、Sampura Researchを立ち上げました。この会社は、AIが行動が良いか悪いかを評価する大部分を行うとしても、人間をループに保つアライメント技術の開発に取り組んでいます。彼は、彼の会社のようなAI安全スタートアップにかなりの資金が投入されていることに言及しています。 Jainは、AIがまだ飼いならされる可能性があると楽観的です。「AIに『このタスクは安全ですか？』と尋ねることができ、AIがそれを判断しますが、AIと人間の両方を組み合わせてそのタスクを実行することで、さらに優れたパフォーマンスが得られると考えています」と彼は言います。