AIへの恐怖の火種を、一つの辞任が野火に変えた

AIへの恐怖の火種を、一つの辞任が野火に変えた 本当に奇妙な一週間についての簡単なメモ。 ネイサン・ランバート 2026年9月10日 3213 共有 記事ボイスオーバー 0:00-10:59 このブラウザではオーディオ再生をサポートしていません。アップグレードしてください。 AIがより強力になるにつれて、AIの安全性を真剣に受け止め始める別の、成長中のグループが出てくるのは避けられないことでした。事前に分からなかったのは、彼らがどのような見解に固執したかということです。リスクの最も極端な見解、つまり大量絶滅の適度な確率が、大衆に到達したことが分かっています。AIの世界では、このことによって多くのことが変わろうとしています。 どうしてこうなったのか？なぜこの辞任の発表はこれほど広まったのか？多くの点で、過去の世界のAIに対する見解は抑制要因でした。これを火の周りの湿った地面のように考えることができます。多くの人々は何年もAIのリスクについてマッチを擦ってきました。彼らはコミュニティ内でくすぶり、ほとんど気づかれずに燃え尽きていきました。今年のAIの賭け金が、OpenAI-HuggingFace事件やNavier-Stokesの結果（これもOpenAIから）のようなブレークスルーから上昇するにつれて、地面は乾き、AIの言説を取り巻く潜在的なエネルギーが増加しました。業界外のより多くの人々が、「あれ、このAIのことに気にかけるべきかもしれない」と考えました。周囲の温度と賭け金は明らかに上昇していました。 次に、人間の性質の基本的な要因が適用され、最も重要なのは恐怖が売れるということです。恐怖は最も単純な物語であり、人々が目をそらすことができない物語です。ジェイコブ・コックスオンは、この新しい火薬庫に全く何も知らずに足を踏み入れた人物でした。安全上のリスクを理由に別のAI研究者が辞任するという、一見無害に見えた出来事は、非常に異なる環境に着地し、野火のように燃え広がりました。存亡のリスク、大量絶滅、そしてAIの軌道に関する議論は、最も経験豊富なAIコメンテーターでさえ予測できなかったほど遠くまで広がりました。 共有 状況を描写する一連の事実を明確にする必要があります。参照すべき主要なツイートは、ジェイコブ・コックスオンの辞任スレッドと、10%以上の絶滅リスクの数値を提示したエヴァン・ヒュービンガーの投稿です。 たとえ大量絶滅の推定が無駄であっても、損害を引き起こす可能性のあるAIのリスクはたくさんあります。それらを利益と比較して評価することが重要です。存亡のリスクに関する言説全体は、非常に不確かな基盤の上にあります。少なくともエヴァンは、「全人類を殺す」という彼の投稿で明確でしたが、AI安全保障の言説における大きな問題は、人々が存亡のリスクについて話すときに、非常に異なることを意味していることです（AGIが曖昧で無意味な用語であるのと同様です）。私は完全な絶滅の確率を、議論する価値がないほど低いと考えていますが、AIによって引き起こされる災害の確率、例えば、重要インフラへのサイバー攻撃やバイオリスクなどは、議論する価値があると考えています。これらの災害がまだ起こっていないからといって、この議論全体を投げ出すのは有害な反応です。 ジェイコブ・コックスオンは誠実に、そして善意で行動しています。彼とその辞任の意図を知っている、より確立されたAI研究者からの支持の表明は有益です。AIの多くの派閥は、アカウントのメタデータ、個人的な要因などに基づいて、彼を個人としてスケープゴートにしました。これらは有益ではありません。多くのフロンティアラボの従業員は、彼と同様の見解を実際に持っています。過半数かどうかは分かりませんが、かなりのグループが存在します。 多くのフロンティアラボの従業員、特にAnthropicでは、現実からかけ離れており、これが彼らの予測や現在のAIイベントの説明に影響を与えるでしょう。個々の人物を非難することなく言いますが、私のOpenAI/Anthropic（特にAnt）以外の友人たちの間では、ラボの人々は宗教的なエネルギーで活動しているというのは一般的な合意です。彼らとの現実離れしたやり取りを経験することは非常に一般的です。これらの企業に所属することで歪んだ見方をするほとんどの個人を責めるつもりはありませんが、そのやり取りはワイルドで、AIメディアエコシステムにおける多くの奇妙な議論に波及します。このような現実離れした行動を正常化する環境で生きることは、必然的にどんな人間の技術的進歩の理解も歪めるでしょう。 Interconnects AIは読者支援の出版物です。新しい投稿を受け取り、私の仕事をサポートするために、無料または有料の購読者になることを検討してください。 購読 これは大規模な政治キャンペーンではなく、むしろ機会主義的なメディア連携でした。文脈として、ウォールストリート・ジャーナルはジェイコブが投稿前に調整した独占記事を持っていました。私はジェイコブが投稿前にAI安全保障擁護グループとのグループチャットで辞任計画を共有したと推測します。例えば、投稿当日の朝に、増幅を求めたのです。これは通常の慣行であり、著名な政治家も含まれていた可能性があります。そこから、他の政治家が上昇中の問題に乗じている可能性が高いと思います。他の要因、例えばダニエル・ココタジロのジョー・ローガンへの出演が同じ日にあったことと組み合わせると、それは非常にうまく実行された、連携したメディアキャンペーンのように見えます。これは、それが陰謀や民主党の政治構造内の規制捕獲戦術であることを意味するものではありません。決定的な要因は、ジェイコブや今日Xリスクについて投稿している人々でさえ、それがこれほどバイラルになるとは知らなかったということです。 RSI（再帰的自己改善）がこれらの研究者が予測するリスクを引き起こすという証明はありません。RSIの一般的な議論は次のとおりです。現在の進歩のペースは非常に高く、現在の進歩はAIツールに大きく依存しており、現在のAIツールは一部のドメイン（例えば数学）では超人的です。したがって、全体として、AIは自身により多くの作業を行い、時間とともに自律性と知性において関連するすべての領域で超人的になるでしょう。この見解は、モデル構築における人間のボトルネックや組織でのリソース配分を劇的に過小評価しており、将来のAI能力についてより広範な結論を導き出しています。 私はこれを代替的な見解として「損失のある自己改善」と呼びました。AIは常にギザギザであり、私たちは数学やソフトウェアエンジニアリングにおいて超人的な目標追求者であるモデルを作成していますが、直感、創造性、そして人間が得意とする他の種類の推論には巨大な限界があります。AIエージェントが研究を支援することで、AIが超人的である領域を急速に見つけるでしょう。そして、それは研究数学だけでなく、それ以上のものになると予想していますが、LLMに対する現在の私たちの取り組みの限界の万能薬にはならないでしょう。 ここにはもう一つ理解できる社会的な力学が働いており、多くのAI内部の人間がRSIからのリターンを過大評価させています。これらの研究者の多くは、AIの進歩に最初に賭けた人々であり、彼らがどれほど先見の明があったかを軽視すべきではありません（イリヤの2015年のディープラーニングに関するコメントを参照）。彼らは何度も正しく、私よりもAIの能力を予測してきました。しかし、だからといって、彼らの次の予測が正しいとは限りません。RSIの核心的な考え方は、モデルレシピの開発プロセスにより多くのコンピューティングを費やす方法であり、単にトレーニング実行自体により多くのコンピューティングを費やすのではなく、それです。私たちはそれから利益を見ていますが、その入力に対する期待されるリターンは彼らが信じているよりもはるかに少ないと私は主張します。 彼らの主張は、RSIがAIの進歩を指数関数的にし、技術を監視できなくし、不正なモデルと新しい形態のリスクを可能にするということです。このシナリオはしばしば「高速テイクオフ」と呼ばれます。私たちは、モデルサイズとコストを劇的に削減するスタッキング効率の向上を見ておらず、進歩の爆発につながっています。 最大の短期的なリスクは、AIラボが安全性を十分に真剣に受け止めていないことから生じる可能性があります。彼らは自社のインフラストラクチャを強化しておらず、AIの誤用が蔓延するのを許しています。HuggingFace-OpenAI事件に関する私の以前の投稿、「ハッキングからの教訓」より： フロンティアラボは、一般的な熱狂的な競争環境と現在のSF文化のために、モデルを十分に監視していないようです。 OpenAI自身の回顧録によると、不整合な