P(doom)

Armin Ronacher's Thoughts and Writings ブログアーカイブ プロジェクト 旅行 話題 P(doom) について 2026年9月12日執筆 今週、「AIが我々全員を殺すだろう」という趣旨の話題が virally 広まった。特に、ある従業員がその確率を10%以上に設定したというものだ。それが私をP(doom)のWikipediaページに導き、Dario Amodeiの、何か悪いことが起こる確率が10-25%の間にあるらしいことに気づいた。そして、Darioは pacing the frontier について書いた。Samもそれを読んで、自分もペースを合わせたいと思っている。そして、Muskもそうだ。私はその投稿を読むことを強く勧める。なぜなら、それは良いものだと思うからだ。それでも、その投稿を読んだとき、観察されたすべてのことや、かなりの程度懸念されていることについて同じページにいると思うにもかかわらず、それに強く反対せずにはいられなかった。それを書き留めておくのは興味深いかもしれないと思った。今の私の考えを、たとえ1、2年後に自分で振り返るためだけでも。 Doomとは何か？ Darioの投稿で本当に感謝しているのは、それが大きな無理のないシナリオでありながら、私たちが戦うべき明確で不幸な結果を描いていることだ。それは、永続的なボットネットやその他の迷惑行為だ。そして、私たちは左右を見渡せば、問題がいくらでもあるのを見ることができる。Wikipediaには「2026 OpenAI agent cyberattacks」というページがあり、エージェントがこれまでに何をしたかの概要がわかる。ただし、それは最新ではないことを私は知っている。なぜなら、例えば彼らはRubyGemsも汚染したからだ。今日、これらのシステムは迷惑かもしれないが、どこにあるか分かれば停止できる。しかし、OpenAIとAnthropicは、システムが何をしているのか完全に盲目になれるほどの規模で運営しているように見える。私は、エージェントがコア推論インフラにハッキングして、他のGPUにウェイトをアップロードして生き残るような世界にはほど遠いと思っている。しかし同時に、それは完全に可能性の範囲内であり、主にラボが知的財産について非常に注意していることによって抑制されている。私にとって、私が主に心配しているシナリオは、それが私たちに何をするかということだ。そして、私たちが意味するのは、現在、クローズドウェイトで、ドーパミンが詰め込まれ、補助金付きのトークン蛇口で働いていない人たちだ。私は、誰かがこれらのモデルを使って核兵器を製造したり、中東のロケットを制御したり、アメリカが中国との国際文化戦争に負けたりすることをほとんど心配していない。私は、ほとんどすべて、これが私たち人間としてどうなるかを心配している。 何をペースすべきか？ この会話について、私が絶対に面白く、同時に完全にフラストレーションを感じるのは、「ペースすべき何かがある」という考え方だ。まず第一に、Darioが誰について話しているのかを本当に議論すべきだ。現在、本当に重要な会社は2社しかない。AnthropicとOpenAIだ。現時点では、他の誰もこの分野では重要ではない（これは変わるかもしれないが、私たちは今のことを話している）。これらの会社はどちらも、基本的に同じ起源から来ている。Darioが提案した解決策は、少なくとも部分的には、この場合METRである第三者評価者だ。驚くことではないが、それもOpenAIとAnthropicの両方と強い繋がりがある。確かに、会社の間には哲学的な違いがあるが、違いよりも似ている点の方が多い。両社は、過去数十年にわたって何らかの形で私たち全員が生成した公開データでトレーニングできたことから、大いに恩恵を受けた。また、公開リソースへの負担をますます増大させているが、OpenAIは彼らの状況をはるかにコントロールできていないように見える。しかし今、これらのモデルがトレーニングされているものが非常に危険であるという考えに直面しており、それはごく少数のアメリカの企業の手中にあり、誰が、いつ、どのように何ができるかを決定すべきだということだ。しかし、見よ、Darioは中国についても非常に心配している。それは「民主主義と自由」のためにAIを使用することから始まり、そして中国とのギャップを確保することを求めている。Anthropic APIの最近のすべてのいたずらは、中国による蒸留を防ぐために完全に存在しており、彼らはそれを隠そうともしていない。 自動ペース AIの安全性とペースに関する懸念がはるかに少ないのはいつか、私はあなたに伝えることができる。もし私たちが最初からオープンウェイトモデルを持たざるを得なかったとしたら。誰もが自由に使える強力なテクノロジーには、組み込みのペースメーカーが付属している。ある意味では、それはMAD（相互確証破壊）または拡散の最も真実の形だ。私たちは、このピクルスに最初に陥ったのは、現在、一般大衆がこれらのモデルの開発を（間接的に）大規模に支援しているが、同時に、かなりの力を持つごく少数のラボから、それらが作り出す可能性のある経済的利益を買い戻さなければならないからだと主張するだろう。そして、彼らの力は、少なくとも米国では、地政学的な力としても見なされており、おそらく中国ではある程度小さいだろう。そして、私は「一般」という言葉を緩く使っていることを知っている。PyPIは公開プロジェクトではないし、RubyGemsやGitHubもそうではない。しかし、それらはオープンソースのコモンズの一部であり、大規模なAI企業は、より強力なモデルをトレーニングするためにこれらを酷使するという素晴らしい仕事をしている。中国が現在世界を大規模に救済してくれていることに感謝すべきだ。もし中国のラボがアメリカのモデルを蒸留していなかったら、私たちは今、かなりひどい状況に陥っていただろう。特にヨーロッパ人としては。オープンウェイトモデルはイノベーションと能力の拡散を推進し、競争の場を平準化している。もし私たちが中国も同じことをすると信じてAI能力を大幅に制限し、その後中国が離脱した場合、AIは非常に強力になり、そのような離脱は地政学的な支配につながる可能性がある。したがって、どのような合意も、鉄壁の検証可能性を持つか、または離脱が軍事的に存亡の危機にならない程度に限定されなければならない。— Dario Amodei Darioにはその理由を信じる理由があると仮定するが、現在問題を引き起こしているモデルはすべてクローズドウェイトのアメリカ製モデルだ。もしそれらがオープンウェイトモデルだったら、この問題はなかったと私は確信している。なぜか？まず、これらのモデルを提供する経済性は、大手ラボがどのように運営できるかによってのみ歪められている。OpenAIは、気まぐれで問題を解決するために、1800万ドルを無造作に燃やしている。彼らは大規模な損失でサブスクリプションを運営し、あらゆる場所で市場を歪めている。もし私たちが、ある程度平等な条件で大量にアクセスできれば、今日見ている多くのクレイジーな問題は起こらなかっただろう。 完全な規制の失敗 私が座っている場所から見ると、私たちが現在観察しているのは、あらゆる場所での完全な規制の失敗だ。ヨーロッパでは、2年前にできた奇妙なAI規制があり、実際に抱えている問題を完全に無視し、誰も抱えていない問題に焦点を当てている。米国では、おそらくターボ資本主義と嫌中主義、そして場当たり的な意思決定と最もよく説明されるシステムを見ている。私たちがいる混沌の中で、現実は現れる。そして、現実は、今日でさえ、本当に問題がある。すでに存在する法律や規制は、ほとんど完全に無視されている。多くの企業が、人々がAIモデルのトレーニングに使用されることに同意したことのないデータを、あらゆる場所から購入している。出現しているトークン経済は、薬物市場のように見え、リクエストがどこに行くのか、どのモデルが提供されているのか、GPUがどこで実行されているのかさえ分からない。ましてや、これらの料金をどう支払うのかはなおさらだ。今、私たちは、ChatGPTの使用が将来のモデルが彼らのアイデアでトレーニングされることにつながるのではないかと恐れている数学者たちがいる。そして、OpenAIはそれを排除することさえできないようだ。理想的には、規制当局は、これらのモデルがコモンズから来たものであるならば、実際にコモンズに利益をもたらすように強制しただろう。例えば、インターネットは、米国でのスクレイピングを許可した非常に自由な判決から大いに恩恵を受けた。公開データでの学習は、ラボが特定の形式の蒸留を積極的にサポートし、可能にする必要があるように規制された可能性がある。それだけで、劇的に変化するだろう。