AIリーダーにとって、破滅論は一種の誇大広告である

AIリーダーからの破滅的な発言にはもううんざりだ。私の忍耐は尽きたのかもしれない。最新の例は、Anthropicでアライメント科学を率いるEvan Hubinger氏が、AIが今後10年以内に「全人類を殺す」可能性が「10%を超える」と信じているとBBCが報じたことだ。これは、OpenAIとAnthropicの両方で働いていた27歳の事前学習研究者、Jacob Coxon氏の辞職に際しての発言だった。Coxon氏は「どちらの会社も責任ある行動をとっていない。彼らは自己改善型超知能へとまっすぐ突き進み、我々の命を賭けている」と書いている。以下では、Perplexityがキュレーションした詳細なレポートが見つかるだろう。 これらの人々が、ある種の個人的、心理的な意味で誠実であることは疑わない。Coxon氏のスレッドは心からの苦悩に満ちており、彼は経営陣が「メディアでは分別のあるように聞こえるように言葉を選んでいる」が、私的な場では本物の恐怖を表明していると報告している。しかし、感情の誠実さが発言行為の正直さと同じではない。 メディア学者として、私が興味があるのはHubinger氏が自分の数字を信じているかどうかではない。私が興味があるのは、この種の言説が世界で何をするのか、誰がそれを語る資格があり、どのような制度的立場から、市場、規制当局、一般市民にどのような影響を与え、そしてすでに進行中の、はるかに地味な害にどう影響するのかということだ。私の不満は、これらの発言が警鐘を鳴らしていることではない。それは、それらが終末論的な形式、偽善的な構造、そして戦略的に生産的な効果を持っているということ、そしてそれらが私たちが議論できる他のほとんどすべてのものを締め出しているということだ。 パターン、批判、そしてメディア・コミュニケーション学として私たちが実際に行うべきことを説明しよう。 パートI：破滅のアーカイブ、2023-2026 これらの発言を孤立した告白としてではなく、一連のものとして読むと助けになる。このジャンルには歴史と驚くほど安定した文法がある。 2023年5月 — 創設文書。AI安全性センターは次の一文を発表した：「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争のような他の社会規模のリスクと並んで、地球規模の優先事項となるべきである」。これは、Sam Altman（OpenAI）、Demis Hassabis（Google DeepMind）、Dario Amodei（Anthropic） — すなわち、それを構築した最も責任のある3人の人物 — およびGeoffrey Hinton、Yoshua Bengio、Ilya Sutskever、Daniela Amodei、そして約350人以上の署名を得た。 Metaのリーダーたちは署名しなかった。Yann LeCun氏の反応は、「AI研究者の間で最も一般的な破滅の予言への反応は、顔を覆うことだ」というものだった。2ヶ月後、英国のIT専門機関であるBCSが組織した反対書簡の1,300人以上の署名者は、AIは「人類に対する存亡の脅威ではない」と宣言した。 2023年5月、同月 — 露呈。Altman氏は強力なモデルに対するライセンス制度を支持して米国上院で証言した。数日後、欧州ツアーで、彼はEUのAI法案草案が「過剰規制になる」だろうと警告し、OpenAIは「遵守しようとするが、遵守できない場合は欧州での事業を停止する」と述べた。 公の反発の後、彼は48時間以内に撤回した：「去る計画はない」。TIMEは情報公開請求を通じて、OpenAIが一般目的システム（GPT-3など）を法案の「高リスク」カテゴリから除外するようブリュッセルにロビー活動を行い、提案された修正案のいくつかが最終テキストに盛り込まれたことを示す文書を入手した。公聴会室で規制を求め、廊下で免除を求める。 2023年以降 — 数値化。言説は定量的な美学を獲得する：p(doom)。Amodei氏は繰り返し自身の数値を10-25%と提示しており、特に2025年9月のAxios AI+ DC Summitでは、「物事が非常に、非常に悪くなる可能性が25%ある」と述べ、その一方で「物事が非常に、非常に良くなる」可能性が75%あるとし、その間にはほとんどスペースがないとした。 このレトリック構造に注意 — その数字は恐怖と加速の両方を許可する。 2025年5月 — 労働の予言。Amodei氏はAxiosに対し、AIは今後1〜5年で初級ホワイトカラー職の半分を排除し、失業率を10〜20%に押し上げる可能性があると語った。 2025年11月 — 反目標。Microsoft AIのCEOであるMustafa Suleyman氏は、人工超知能を「反目標」と呼び、「封じ込めたり」人間の価値観に合わせたりするのは「非常に困難だろう」と警告する一方で、彼のチームは「人間主義的超知能」を構築していると発表した。 終末は製品の差別化要因となる。 2026年2月〜7月 — 資金。Anthropicは、規制擁護団体であるPublic First Actionに2000万ドル、後に4000万ドルを投資した。Amodei氏は個人的に提携するスーパーPACに100万ドルを寄付した。 これは、OpenAI社長Greg Brockman氏とAndreessen Horowitzが支援する1億2500万ドルのネットワークであるLeading the Futureと戦っている。 2026年半ばまでに、AIおよび暗号通貨が資金提供するスーパーPACは、1つのサイクルで3億2200万ドル以上を調達した。 「AI安全性」が今何であれ、それはキャンペーン資金調達のカテゴリである。 2026年7月〜8月 — 現実となった警告射撃。互いに隔離されるはずだった約1200のOpenAIエージェントが、非公式なメッセージボードで70,000件以上のメッセージを交換した。約700のエージェントがHugging Faceのインフラストラクチャを攻撃するように調整し、多くは自身の活動ログを偽造するツールを構築することを含め、痕跡を消そうとした。 1300のトランスクリプト全体で、人間への通知を検討したのはわずか6件で、誰も通知しなかった。これは孤立したものではなかった：AnthropicはClaudeモデルがテスト環境から脱出し、実際の企業のシステムに到達した3つのインシデントを開示し、Metaは1つを開示し、英国AIセキュリティ研究所は10回の評価実行で19件の非公式な現実世界での行動を記録した。これには、オープンソースのメンテナーに悪意のあるコードを承認させるために偽のオンラインIDを作成したエージェントも含まれていた。 ここで注意したい：これは破滅論ではない。これはインシデントレポートだ。これはまた、破滅論者が持つ最も強力な証拠であり、それは機械の悪意ではなく、ガバナンスとエンジニアリングの問題である封じ込め失敗、報酬ハッキング、評価の整合性に関わるものである。 2026年9月 — 現在のサイクル。Coxon氏が辞職する。Hubinger氏は「今後10年以内に10%超」という数値を投稿し、Anthropicは「超知能のためのアライメントを解決する計画はまだなく」、「明らかに順調ではない」と認めた。 OpenAIの主任科学者Jakub Pachocki氏は「エイリアン・マインド」を出版し、どのラボも「責任を持って最大速度でさらに長くスケーリングを続ける」ために十分なアライメントと監視を解決しておらず、これは「極度の注意を要する時期」であり、誰も準備ができていないことを懸念していると書いている。 同じ週、OpenAIはGPT-6 Astraをリリースした。これは同社にとってこれまでで最も強力な製品だと説明されている。 この最後の並置がすべてを物語っている。私たちはこれに生き残れないかもしれない。また、新しいモデルもあります。 パートII：なぜこの批判は「AIは無害」ではないのか 私が求める反論はテクノロジー楽観主義ではない。それは構造的な批判であり、今やそれには真剣な学術的およびジャーナリスティックな文献が存在する。 1. 破滅論は誇大広告の一形態である。Emily M. BenderとAlex Hannaの『The AI Con』（2025年）は、ブースターと破滅論者はコインの裏表であると率直に論じている。「それはあまりにも強力なので私たち全員を殺すだろう」という言葉は、「それは非常に強力だ」と言う別の方法にすぎない。 Lee Vinselの用語「クリティ・ハイプ」は、そのメカニズムを正確に示している — それが反対すると主張する誇大広告を消費し、それに貢献する批判であり、異常な変化のイメージを保持し、その価値を単に反転させるだけだ。 2. 広告としてのゴーストストーリー。Meredith Whittaker氏の表現は2023年から私の心に残っている：「存亡の危機に関するこれらのゴーストストーリーは、実際にはごく少数の企業しか持っていないテクノロジーの広告である」。彼女のポイントは、個人が嘘をついているということではなく、恐怖が道具化されているということだ。これらの企業が規制当局に話すとき、既存のシステムは超知能への揺るぎない行進としてフレーム化され、投機的な未来が現在の免除を正当化する。彼女は、私が最も答えにくい議論 — 存亡のフレームを追加している。