AI・機械学習
セックス、AI、そして黙示録
Sex, AI, and the Apocalypse (iankduncan.com)
要約
AIの安全性に対する懸念が高まる中、研究者の辞任が波紋を広げ、AIが年内に人類を滅亡させる可能性が真剣に議論されています。この記事は、この警告を発する人々の背景にある、特異なインターネットのサブカルチャーと、それがAI開発や規制に与える影響を掘り下げています。このサブカルチャーは、しばしば奇妙で、しかし強力な影響力を持つコミュニティとして描かれています。
全文翻訳
AIの安全性と世界の終わりに対する懸念が最近あなたの人生に入ってきたとしたら、それはおそらく辞任の声明によるものでしょう。2026年9月8日、ジェイコブ・コックスンという研究者が、米国で最も有力なAIラボの一つであるAnthropicを辞職しました。このラボは、競合他社と比較して慎重なイメージを培おうとしてきました。彼は過去3年間、OpenAI、そしてAnthropicで事前学習研究に従事しており、これは大規模モデルを高性能にするためのエンジンルームの作業です。彼の別れのメモには、「AIを構築している人々は、それがこの10年で我々全員を殺す可能性があると真剣に信じている。これはマーケティングの誇張ではない」と書かれていました。彼は株式が権利確定する2ヶ月前に退職し、すべてを捨てました。この投稿は1日で1億回以上閲覧されました。驚くべきことに、彼の同僚たちは彼を訂正しようとはしませんでした。Anthropicのアライメントサイエンスを率いるエヴァン・ヒュービンガーは、コックスンが正しく、彼らが本当にAIが全人類を殺す可能性があると真剣に信じており、彼自身の確率が10年以内に10分の1以上であると数時間以内に投稿しました。2ダース以上の連邦議員が、何か対策が必要だと述べました。自身のフロンティアラボを構築中のイーロン・マスクは、このすべてを心理作戦だと呼び、主流メディアは予測通り、その後の熱狂に息を切らせながら報道しました。この警告の重大性を現実的に評価するためには、それを行っている人々を理解する必要があります。世界の終わりを警告する最も声高な人々は、非常に特定の25年前のインターネットのサブカルチャーから来ており、自分たちを他のすべての人々よりも明確に考える人々のコミュニティとして認識しています。シリコンバレーの外では、このサブカルチャーは奇妙に見え、異常にオタク的な文学的嗜好を持つファンタジーのようです。テクノロジー業界の中では、それは全く異なります。そのライターたちは評判を作り、壊します。「AIの安全性」とは何かを決定するラボ、安全研究所、慈善団体にその卒業生がスタッフとして配置されています。その議論、結婚、確執、性的な嗜好は、種の未来について公衆の信頼を得ようとしている組織の構造に深く織り込まれています。コックスンが辞任する10ヶ月前の2025年12月、約500人がバークレーの音楽ホールに集まり、人類の終焉の可能性についてのセレモニーを行いました。ライブバンドと28人の合唱団がありました。典礼的な朗読がありました。歌とスピーチが部屋を人類の遠い過去から不確かな未来へと運ぶにつれて、シャンデリアは一つずつ消えていきました。人工知能を構築または封じ込めようとしている組織の従業員が多く出席していました。最も暗い瞬間、主催者はステージの端に座り、声を震わせながら部屋にこう言いました。「みんな…もうダメだと思う。」主催者はレイモンド・アーノルドでした。彼はウェブ開発者、ゲームデザイナー、ミュージシャンであり、長年合理主義コミュニティの制度を築いてきた人物です。カトリックと無神論の間で育ったアーノルドは、若い頃に合理主義運動を発見し、それが「神聖な感情の容量を根本的に拡大した」と感じました。2011年、彼は19人の友人をニューヨークのアパートに招き、その夜はオイルランプ、プラズマボール、ライトセーバーで飾られ、彼らの新しい世界観のための休日をベータテストしました。彼らは最初の冬の焚き火と人類の未来を形作る技術について歌い、最後のろうそくを吹き消し、暗闇の中で共に座りました。2年後、アーノルドはこの実験を「Brighter Than Today」という公開プロダクションに変えました。バージョンはすぐにニューヨークとベイエリアから北米、ヨーロッパ、そしてそれ以外の都市に広がりました。アーノルドは当初、Secular Solsticeを広範な人間主義の休日として想像していましたが、それは合理主義カレンダーの主要な祝日となりました。これは全く偶然ではありませんでした。彼は2011年からコミュニティを組織しており、現在はLessWrongと、それが物理的な中心地として機能するバークレーのカンファレンスキャンパスであるLighthavenの両方を運営するのを手伝っており、自身の役割を真剣に「村の司祭」と表現しています。Solsticeは、彼が耐久性のある運動に必要な文化的技術を構築しようとする試みでした。それは、歌と朗読の聖典、光から闇、そして再び光への儀式的な進行、そして地理的に散らばった信者が一堂に会する年次の機会でした。2025年までに、アーノルドはAI災害の確率を50%以上と見積もり、自身の儀式がもはや絶滅を心理的に健全な方法で熟考するのに適していないことを心配していました。彼はSolsticeの制作を他の主催者にほとんど譲っていましたが、「最後のSolstice」かもしれないものを形作るために戻り、焚き火を囲むアフターケアの集まりも行いました。その夜は、伝統的に宗教が提供してきたものすべてを提供しました。交友、儀式、宇宙における人類の場所についての共有された物語、そして自分が死ぬという知識と共に座る場所。おそらくすぐに。おそらくあなたの友人たちが作ったもののせいで。その部屋からつながりをたどっていくと、本当に奇妙な領域を通過します。募集パイプラインとして使用されたハリー・ポッターのファンフィクション。元参加者が強制的だと描写する心理ワークショップ。AI研究所が宣伝する、より賢い子供を育てるためのプログラム。アイダホ州のセックスワーカーで、このサブカルチャーで最も読まれた作家の一人となり、現在はグライムス(イーロン・マスクの元ガールフレンド)と共にAI破滅プロパガンダレジデンシーを運営しています。タグボートに逃げ込み、メンバーが6人の死亡に関与したとされる分派。そして、民主主義を廃止したいと願ったブロガーが、数人の億万長者のパトロンの耳に入り、彼のアイデアが副大統領のオフィスで実現するのを見ました。私がインターネットを私ほど頻繁に覗いていない人にとっては、この段落がどれほど完全に狂っているように聞こえるか認識しています。しかし、そのすべては多数の情報源によって重く文書化されています。この物語の人々は、夕食を共にしながら調整する秘密結社ではありません。彼らはソーシャルシーンです。重なり合う友人グループ、資金提供の関係、そして性的・恋愛関係、それらすべてが、AI規制についてあなたに信頼を求めている組織を貫いています。主流メディアの不幸な欠点の1つは、これらのことを信頼性をもって報道することがあまりにも不条理であるため、読者が真剣に受け止めると期待できないことです。しかし、私は、私たちの現在のネオファシズム、神権独裁、そして予言された世界の終わりへの滑落が、このサブカルチャーの歴史に深く根ざしているのかを徹底的に説明するよう努めます。それでは、2000年まで遡りましょう。預言者。私たちは、現代のAI企業が存在するずっと前から、歴史的重要性についての強固な感覚を培っていたイライザー・ユドコウスキーから始めます。ユドコウスキーは1979年に生まれ、近代正統派ユダヤ教の家庭で育ちました。彼自身の話によると、彼は小学校2年生で公教育全体を却下しました。その年、彼は数学教師が対数とは何かを知らないことを発見しました。彼は9歳でファインマンのQEDを読み、そのほとんどを理解したと言っています。彼は学校での時間を10年間失われたと考えており、健康上の理由もあって8年生頃に中退しました。高校も大学も、AI分野での正式な訓練も一切受けていません。11歳で、大叔父が彼に「Great Mambo Chicken and the Transhuman Condition」を渡しました。これは、1990年に書かれた、冷凍保存主義者、宇宙の変わり者、そしてコンピューターに自分の意識をアップロードすることを計画している人々についての年代記です。この出会いについての彼の要約は簡潔です。それ以降、彼は何が重要かを知り、彼のキャリアがそれに触れることを知っていました。10代後半で、彼はオンラインでトランスヒューマニストを見つけました。2000年までに、20歳で、彼は人工知能特異点研究所(Singularity Institute for Artificial Intelligence)を共同設立し、彼のウェブサイトはすでに完全なパッケージを提供していました。特異点についての論文、トランスヒューマンAIを実際にコーディングする方法を描いた文書、そこからそこへ人類を導く計画、そして著者の独自の資格を説明する自伝です。