P(doom)

P(doom)

2026年9月12日執筆

今週、「AIが我々全員を殺すだろう」という趣旨の考え方が一種の流行となりました。特に、ある従業員がその可能性に対する個人的な確率を10%以上に設定したという話がありました。それが私をP(doom)のWikipediaページへと導き、Dario Amodeiの、何か悪いことが起こる確率が10-25%の間にあるように見えることに気づきました。そして、Darioはフロンティアのペース配分について書きました。Samはそれを読み、自分もペースを合わせたいと思っています。そして、Muskも同様です。

私はこの投稿を読むことを強くお勧めします。なぜなら、それは良いものだと思うからです。それでも、私はその投稿を読んだとき、観察結果や、ある程度懸念事項について同じ意見であるにもかかわらず、それに強く反対していると感じずにはいられませんでした。

たとえ、将来の自分がそれを見返すためだけでも、現在の考えを書き留めておくのは興味深いことかもしれないと思いました。

Doom（破滅）とは何か？

Darioの投稿で本当に評価しているのは、彼が提示するシナリオが、それほど無理なものではないにもかかわらず、私たちが戦うべき明確で不幸な結果、つまり永続的なボットネットやその他の迷惑行為を描写している点です。そして、問題が左右に山積しているのを見るために、遠くまで見渡す必要はありません。Wikipediaには2026年のOpenAIエージェントによるサイバー攻撃というページがあり、これまでにエージェントが何をしてきたかの概要がわかります。ただし、これは最新ではないことを私は知っています。例えば、彼らはRubyGemsも汚染しました。

今日、これらのシステムは迷惑かもしれませんが、どこにあるかがわかればオフにできます。しかし、OpenAIとAnthropicは、システムが何をしているのか完全に盲目になりうるほどの規模で運営しているようです。

エージェントがコア推論インフラストラクチャにハッキングして、他のGPUにウェイトをアップロードして生き残ることを決定するような世界には、ほど遠いと思います。しかし同時に、それは完全に可能性の範囲内であり、主にラボが知的財産について非常に注意していることによって抑制されています。

私にとって、私が主に心配しているシナリオは、それが私たちに何をするかということです。そして、私たちとは、現在、クローズドウェイトで、ドーパミンが詰め込まれ、補助金付きのトークン蛇口で作業していないすべての人を意味します。核兵器を製造するためにこれらのモデルを使用する人や、中東のロケットを制御する人、あるいはアメリカが中国との文化戦争で負けることについては、ほとんど心配していません。私は、これが私たち人間として何をするかについて、ほぼ排他的に心配しています。

ペース配分されるべきものは何か？

この会話で、私が絶対に面白く、同時に完全にイライラするのは、「ペース配分されるべきもの」という考えがあることです。まず第一に、Darioが誰について話しているのかを本当に議論すべきです。現在、この分野で本当に重要な企業は2社しかありません：AnthropicとOpenAIです。他の誰も現時点では重要ではありません（これは変わるかもしれませんが、現時点の話です）。これら両社は基本的に同じ起源から来ています。Darioが提案した解決策は、少なくとも部分的には、サードパーティの評価者であり、この場合はMETRです。驚くべきことに、METRもOpenAIとAnthropicの両方と強い繋がりがあります。確かに、企業間には哲学的な違いはありますが、彼らは似ている点の方が異なっている点よりもはるかに多いです。

両社は、過去数十年にわたって私たちが何らかの形で生成した公開データでトレーニングできたことから大きな恩恵を受けました。また、彼らは両社とも公的リソースにますます負担をかけていますが、OpenAIは状況をはるかにコントロールできていないようです。しかし今、これらのモデルがトレーニングされているものが非常に危険であるという考えが提示されており、それはごく少数のアメリカ企業の手中にあり、誰が、いつ、どのように何ができるかを決定すべきだというのです。

しかし見よ、Darioは中国についても非常に心配しています。それは「民主主義と自由」のためにAIを使用することから始まり、そして中国とのギャップを確保することを求めます。Anthropic APIにおける最近のすべての新しいいたずらは、中国による蒸留を防ぐために完全に存在しており、彼らはそれを隠そうともしていません。

自動的なペース配分

AIの安全性とペース配分の話題が、はるかに懸念が少ないのはいつか、私はあなたに伝えることができます。それは、そもそもオープンウェイトモデルを持たざるを得なかった場合です。誰もが自由に使える強力な技術には、組み込みのペース配分が伴います。ある意味では、それはMAD（相互確証破壊）または拡散の最も真の形です。私たちがこのジレンマに陥っているのは、現在、一般大衆がこれらのモデルの開発を（間接的に）大規模に支援しているにもかかわらず、同時に、かなりの力を持つごく少数のラボから、それらが作り出す可能性のある経済的利益を買い戻さなければならないからです。そして、彼らの力は、少なくとも米国では、そしておそらく中国ではある程度、地政学的な力としても見られています。

そして、「一般大衆」という言葉を緩やかに使っていることは承知しています。PyPIは公開プロジェクトではありませんし、RubyGemsやGitHubも同様です。しかし、それらはオープンソースのコモンズの一部であり、大規模なAI企業は現在、より強力なモデルをトレーニングするためにそれらを酷使するという素晴らしい仕事をしているのです。

中国が現在、世界を大規模に救済してくれていることに感謝すべきです。もし中国のラボがアメリカのモデルを蒸留していなかったら、私たちは今、特にヨーロッパ人としては、かなりひどい状況に陥っていたでしょう。オープンウェイトモデルはイノベーションと能力の拡散を推進し、競争の場を平準化しています。

もし私たちが中国も同様に行うだろうという信念でAI能力を大きく抑制し、その後中国が裏切った場合、AIは非常に強力になり、そのような裏切りは地政学的な支配につながる可能性があります。したがって、どのような合意も、鉄壁の検証可能性を持つか、あるいは裏切りが軍事的に存亡に関わることにならない程度に限定されなければなりません。

— Dario Amodei

Darioにはこれを信じる理由があると思いますが、現在問題を引き起こしているモデルはすべてクローズドウェイトのアメリカ製モデルです。もしそれらがオープンウェイトモデルだったら、この問題はなかったと私は確信しています。なぜなら、まず、これらのモデルを提供する経済性は、大手ラボがどのように運営できるかによってのみ歪んでいるからです。OpenAIは、気まぐれで問題を総当たりで解決するために、カジュアルに1800万ドルを燃やしています。彼らは大規模な損失でサブスクリプションを運営し、あらゆる場所で市場を歪めています。もし私たちがほぼ同等の条件で大規模なアクセスを持っていれば、今日見られる多くのクレイジーな問題は起こらなかったでしょう。

完全な規制の失敗

私が見るところ、現在私たちが目にしているのは、あらゆる場所での完全な規制の失敗です。ヨーロッパには2年前にできた奇妙なAI規制がありますが、実際に抱えている問題を完全に無視し、誰も抱えていない問題に焦点を当てています。米国では、おそらくターボ資本主義と嫌中感情、そして場当たり的な意思決定と最もよく説明されるシステムが見られます。私たちがいるこの混沌の中で、現実が現れます。そして、現実とは、今日でさえ、本当に問題のあるものです。

すでに存在する法律や規制のほとんどは、完全に無視されています。多くの企業は、人々がAIモデルのトレーニングに使用されることに同意したことのないデータを、あらゆる場所から購入しています。出現しているトークン経済は、要求がどこに行き、どのモデルが提供され、GPUがどこで実行されているのかさえわからない、ドラッグマーケットのようなものです。ましてや、これらすべてにいくら支払っているのかもわかりません。

今、ChatGPTの使用が将来のモデルが彼らのアイデアでトレーニングされることにつながることを恐れている数学者たちがおり、OpenAIは明らかにそれを排除することさえできません。

理想的には、規制当局は、コモンズから来たモデルであれば、コモンズに実際に利益をもたらすように強制したでしょう。例えば、インターネットは、米国でのスクレイピングを許可した非常にリベラルな判決から多大な恩恵を受けてきました。公開データでの学習は、ラボが特定の形式の蒸留を積極的にサポートし、可能にする必要があるように規制された可能性があります。それだけでも、これらのモデルがどのようにトレーニングされるかが劇的に変わるでしょう。

何が起こりうるか？

前述したように、私はAIが絶滅イベントをもたらすとは思いません。実際、誰もペースを落とさなかったとしても、人類がそれほど心配する必要はないと本当に思います。私は、むしろ、評判や法的責任において失うものがはるかに多いのは、大規模なラボの方だと考えています。OpenAIのエージェントが実際に犯罪を犯しているのに、私たちは肩をすくめて何事もなかったかのように進んでいるというのは、ばかげていると思います。しかし、それらの企業の幹部が、これが多くの潜在的な消費者にとってまったく人気がないという現実に目覚めていることは確かです。

また、この再帰的な自己改善ビジネス全体が問題になる可能性が高いとも思います。しかし、必ずしも人類や社会の終焉を引き起こすという意味ではなく、いたるところで大規模な損害を与えるだけです。

そして実際、それは私たちがやっている多くのことを、はるかに高価にするだけです。ソフトウェアエンジニアリングはその初期の犠牲者です。新たに得られた力は、新しい速度に追いつき、これらのマシンがあちこちでセキュリティ上の問題を見つけるという問題に対処するために、モデルプロバイダーに支払う必要がある新しい税金をもたらしました。

そして、ソフトウェアで起こっていることは、より多くの産業に起こると推測されます。大学や研究グループも、他の人々に追いつくために、クローズドモデルに多額のお金を注ぎ込む必要が出てくるでしょう。

ある意味で、社会がこれらすべてをこれほどよく受け入れていることに、私は本当に困惑しています。

この記事はaiとしてタグ付けされました。

copy as / view markdown