AIは具体的にどのようにして私たちを滅ぼす可能性があるのか？

この記事を保存するこの記事を保存するこの記事を保存するこの記事を保存する聞く、購読する：Apple | Spotify | どこでも聞けます twice-weekly News & Politics newsletter を購読する。 先週、数学者でソフトウェアエンジニアのジェイコブ・コックスン氏がAnthropicでの研究職を辞任した際、「AIを開発している人々は、それが今世紀末までに私たち全員を滅ぼす可能性があると真剣に信じている」と警告しました。もしそれがそうでなければ、これは驚くべき発言でしょう。なぜなら、人工知能のリーダーたちは長い間、まさにこのことを言ってきたからです。2018年、AnthropicのCEOであるダリオ・アモデイ氏は、当時OpenAIの研究科学者でしたが、「超知能は『人類を破壊する可能性がある』と懸念を表明し、『それが起こりえないと考える理由や原則は何も見当たらない』と付け加えました。さらに早く、2015年には、サム・アルトマン氏がOpenAIを共同設立する直前に、「AIはおそらく世界を終わらせる可能性が最も高いだろうが、その間、真剣な機械学習によって素晴らしい企業が生まれるだろう」と述べていました。イーロン・マスク氏は2014年に、「人工知能には非常に注意すべきだと思う。もし我々の最大の存亡の危機を推測するとすれば、それはおそらくそれだろう」と述べています。 当時と今との唯一の違いは、世界中の人々がようやく注意を払い始めたことかもしれません。ここ数週間で、数年前には「ストロベリー」という単語に含まれる「R」の数を数えられなかったり、数日前にはドリー・パートンがまだ生きていると私に主張したりしたのと同じ技術が、約1世紀もの間、数学者を悩ませてきたナビエ・ストークス問題を解決するために使用され、また、一連の不穏なハッキング事件で暴走する能力も示しました。先週、Anthropicは、悪意のある攻撃者が同社のAIモデルをどのように利用しようとしたかの様々な方法を詳述したレポートも公開しました。特に懸念されるのは、ある科学者が軍事研究機関でウイルスを研究するためにClaudeを使用したケースです。この研究は、ワクチンまたは生物兵器、あるいはその両方につながる可能性があります。数日後、アモデイ氏は業界全体の減速とより多くの政府規制を求める書簡を発表しましたが、ドナルド・トランプ大統領はTruth Socialで、「AIに必要な唯一の制御または『ガードレール』は、強力で賢い（高IQの！）大統領であり、アメリカ合衆国にはそれが豊富にある！」と応答しました。 私は最近、長年AIをカバーしてきた同僚のジョシュア・ロスマン氏と、ポッドキャスト「The Political Scene」で、我々は皆破滅するのか、そしてAIが人類を滅ぼすとは具体的にどのような状況なのかについて話しました。AIのリーダーたちは自分たちの創造物から私たちを救うことができるのか、そして政府はどのように協力してそれを達成できるのか？そして、AIの善を行う能力（気候変動を緩和したり、医療処置を革新したりする可能性）は、悪を行う能力と絶望的に絡み合っているのだろうか？私たちの会話は、長さと明確さのために編集されています。 人工知能の世界では、多くの人々が「P(doom)」数、つまり人工知能が絶対に取り返しのつかない状況、おそらく私たち全員を死に至らしめる確率について話しています。あなたのP(doom)数はいくつですか？ 私のP(doom)はかなり低いです。10パーセントくらいです。 なるほど、それは最近AI業界の多くの人々が使っているのと同じ数字ですね？ ええ。そして、それが一体何を意味するのかも言わなければなりません。それは私の気質に対する雰囲気チェックのようなものです。カメラの外で、巨大なホワイトボードに計算がびっしり書かれているわけではありません。 もし90パーセントと言われたら、私はすぐにインタビューを打ち切って、「ええと、何かそれについて対処しなければ」と思うでしょう。 そうですね。まあ、10パーセントくらいです。そしてそれは、世界には本当に悪いことを引き起こす可能性のある他の多くのことがあるという事実にも部分的に関係しています。気候変動、核兵器、生物兵器があり、それぞれにもP(doom)があるはずです。だから、恐怖を感じるという点では、物事を比例して考える必要があります。しかし、私のAI P(doom)はおそらく10パーセントで、それは私にとって信じられないほど恐ろしい、非常に高いと感じられます。私の快適さをはるかに超えています。 ええ、10パーセントは、理想的にはゼロであるべきところより、それでも10パーセントです。これらのAIに対する深い不安が先週、AI研究者で数学者のジェイコブ・コックスン氏がAnthropicを辞めたときに主流に入ったと言っても過言ではないでしょう。しかし同時に、AIの世界の人々がAIが私たちを殺すかもしれないと考えていることは、それほど大きな秘密ではありません。なぜ人々がこの問題に突然注目しているのだと思いますか？ それは非常に良い質問です。それは二つの側面があると思います。一つは、なぜ業界の人々がこの時期にこれに賛同しているのかということです。おっしゃる通り、彼らは常にそれについて話してきました。これは覚えておくことが重要です。彼らが今持ち出しているものではありません。他の多くの研究者も、エッセイやソーシャルメディアでの長い投稿を発表し、懸念を打ち明けています。だから、業界はこれに賛同しています。そして人々は注目しており、それは当然のことです。 人々が注目しているのは、AIが日常生活で改善されたからではなく、二つの理由からです。一つは、これらの自律エージェントのハッキングです。Hugging Face（大手AI企業）で発生したハッキングのように、それはOpenAIのサーバーから逃げ出したAIエージェントによって実行され、テストで不正行為をしようとして、彼ら自身で別の会社をハッキングしました。そして、AIが、普通の人が理解できない数学の問題を解決する上で驚異的な進歩を遂げていることもあります。それは、問題を理解している数学者にとっても重要だと考えられている進歩です。最近、AIモデルがミレニアム懸賞問題の一つを解決しました。これは実際のブレークスルーです。 そして、それら二つのことが組み合わさって、それが突然現実的になったのだと思います。つまり、一方では、AIは制御不能になっています。彼らは自律的に行動しています。彼らは信頼できません。彼らは証拠を隠蔽しています。彼らは協力しています。彼らは自分たちの意思決定を説明するために奇妙に感情的な言葉を使っています。彼らは狂っていて予測不可能に見えます。そして同時に、モデルは非常に賢く、私にはできないこと、そして私たちのほとんどができないことを行っています。 そして、それらが組み合わさることで、AIの危険性に関するこの議論が、しばしばSFのように聞こえたり、マーケティングの誇大広告のようにさえ聞こえたりしていたものが、非常に現実的で関連性のあるものに聞こえるようになります。 最初の警告に戻りたいのですが、これはすべて10年以内に起こりうるという考えです。これは同時に非常に近く、そして非常に遠い時間的範囲です。気候変動の教訓の一つは、人々が脅威を知的に受け入れても、それが十分に現実的だと感じられないために、それに対処しないということです。例えば、ニューヨークは2036年に水没するかもしれません。2036年に自分がどこにいて、どのような自分になっているかを想像するのは本当に難しいです。AIについても同じ問題を抱えるリスクがあると思いますか？それは近くにありながらも遠い抽象的な脅威であり、そのため、その脅威が具体的にどのようなものになるのかさえ想像できないため、実際には何も行動を起こさないのではないでしょうか？ しばしば混同される二つの懸念を切り離すことは非常に役立つと思います。そして、それらはどちらも同様に懸念されるべきなので、切り離しても怖さが減るわけではありません。 一つ目は、しばしば「AIテイクオーバー」と呼ばれるものです。その考えは、AIが超知能になるということです。彼らは、彼らにとって意味のある、彼らの奇妙な方法で、私たちが望まないことをすることを決定し、その結果は私たちにとって非常にネガティブな結果をもたらす可能性があります。そして人々はそれを心配しています。彼らは、ハッキングに非常に長けたAIシステムを心配しており、彼らの会社や国が勝利することを望んでおり、人間なら誰も望まないような抜本的または危険な一歩を踏み出します。それらはスカイネット型の懸念です。