HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

セックス、AI、そして黙示録

Sex, AI, and the Apocalypse (iankduncan.com)

157 pointsby Anon84142 コメント

要約

AIの安全性に対する懸念が高まる中、研究者の辞任が波紋を広げ、AIが年内に人類を滅亡させる可能性が真剣に議論されています。この記事は、この警告を発する人々の背景にある、特異なインターネットのサブカルチャーと、それがAI開発や規制に与える影響を掘り下げています。このサブカルチャーは、しばしば奇妙で、しかし強力な影響力を持つコミュニティとして描かれています。

全文翻訳

セックス、AI、そして黙示録

AIの安全性や世界の終末に関する懸念が最近あなたの人生に入り込んできたとしたら、それはおそらく辞任の知らせが原因でしょう。

2026年9月8日、米国で最も有力なAIラボの一つであるAnthropicの研究者、ジェイコブ・コックスンが辞職しました。同社は競合他社に対して慎重なイメージを培おうとしてきました。彼は過去3年間、OpenAIとAnthropicで大規模モデルを可能にする基盤となる研究を行ってきました。彼の送別メッセージには、「AIを開発している人々は、それが我々全員をこの10年で死に至らしめる可能性があると真剣に信じている。これはマーケティングの誇張ではない」と書かれていました。彼は株式の権利確定を2ヶ月後に控えて退職し、すべてを捨てて去りました。この投稿は1日で1億回以上閲覧されました。

驚くべきことに、彼の同僚たちは彼をすぐに否定しませんでした。Anthropicのアライメント科学部門を率いるエヴァン・ヒュービンガーは数時間以内に、コックスンは正しく、彼らはAIが全人類を殺す可能性があると真剣に信じており、彼自身のその確率を10年以内に10分の1以上と見積もっていると投稿しました。2ダース以上の連邦議会議員は、何らかの対策が必要だと述べました。自身のフロンティアラボを構築中のイーロン・マスクは、この件全体をサイオペ(心理作戦)だと非難し、主流メディアは予測通り、その後の熱狂ぶりを息切れしながら報道しました。

この警告の重大性を現実的に評価するためには、それを発している人々を理解する必要があります。世界の終末を最も大声で警告する声は、非常に特定の25歳のインターネットサブカルチャーから発せられています。このサブカルチャーは、自分たちを他の誰よりも明確に思考できる人々のコミュニティと見なしています。シリコンバレーの外では、このサブカルチャーは奇妙な、異常にオタク的な文学的嗜好を持つファン層のように見えます。しかし、テクノロジー業界の内では、それは全く異なります。その書き手たちは評判を作り上げ、壊します。その卒業生たちは、AIの安全性を定義するラボ、安全研究所、そして慈善団体に勤めています。その議論、結婚、確執、そして性的な嗜好は、人類の未来に関して公衆の信頼を得ようとしている組織の構造に深く織り込まれています。

コックスンが辞任する10ヶ月前、2025年12月、500人近くの人々がバークレーの音楽ホールに集まり、人類の終焉の可能性についての儀式を行いました。ライブバンドと28人の合唱団がいました。聖書朗読もありました。歌とスピーチが、人類の遠い過去から不確かな未来へと部屋を導く中、シャンデリアが一つずつ消えていきました。参加者の中には、人工知能を構築または抑制しようとしている組織の従業員もいました。最も暗くなった時点で、主催者はステージの端に座り、声を震わせながら部屋にこう告げました。「みんな…もうダメだと思う。」

主催者はレイモンド・アーノルド、ウェブ開発者、ゲームデザイナー、ミュージシャン、そして長年ラショナリストコミュニティの制度を築いてきた人物でした。カトリックと無神論の間で育ったアーノルドは、若い頃にラショナリスト運動を発見し、それが彼の「神聖な感情の容量を根本的に拡大した」と感じました。2011年、彼は19人の友人をニューヨークのアパートに招き、その夜のためにオイルランプ、プラズマボール、ライトセーバーで飾られた部屋で、新しい世界観のホリデーのベータテストを行いました。彼らは最初の冬の焚き火と人類の未来を形作る技術について歌い、最後のろうそくを吹き消し、暗闇の中で共に座りました。2年後、アーノルドはこの実験を「Brighter Than Today」という公開制作にしました。ニューヨークとベイエリアから北米、ヨーロッパ、そしてそれ以外の都市へとバージョンが広まっていきました。

アーノルドは当初、セキュラー・ソルスティスを広範な人間主義の祝日として想像していましたが、それはラショナリストカレンダーの主要な祝日となりました。これは偶然ではありませんでした。彼は2011年からコミュニティを組織しており、現在はLessWrongとラショナリスト運動の物理的な中心地であるバークレーのカンファレンスキャンパス、Lighthavenの両方を運営するのを手伝っています。彼は自身の役割を、真剣に「村の司祭」と表現しています。ソルスティスは、彼が耐久性のある運動に必要な文化的技術を構築しようとする試みでした。それは、歌と朗読の聖典、光から闇へ、そして再び光へと進む儀式の進行、そして地理的に散らばった信者が一堂に会する年次の機会でした。

2025年までに、アーノルドはAI災害の確率を50%以上と見積もり、自身の儀式がもはや絶滅を心理的に健全な方法で熟考するのに適していないことを心配していました。彼はソルスティス制作の大部分を他の主催者に譲っていましたが、「最後のソルスティス」かもしれないものを形作るために戻り、焚き火を囲んでのアフターケア集会も行いました。その夜は、伝統的に宗教が提供してきたものすべてを提供しました。仲間意識、儀式、宇宙における人類の場所についての共有された物語、そして自分が死ぬという知識と向き合う場所でした。おそらくすぐに。おそらく、あなたの友人たちが作ったもののせいで。

その部屋からつながりをたどっていくと、本当に奇妙な領域に入り込みます。募集のパイプラインとして使われたハリー・ポッターのファンフィクション。元参加者が強制的だと描写する心理ワークショップ。AI研究所が宣伝する、より賢い子供を産むためのプログラム。このサブカルチャーで最も読まれている作家の一人となったアイダホ出身のセックスワーカーで、現在はグライムス(イーロン・マスクの元ガールフレンド)とAI破滅プロパガンダのレジデンシーを運営しています。タグボートに逃げ込み、メンバーが6人の死に関連付けられている分派。そして、民主主義を廃止したいと願ったブロガーが、数人の億万長者のパトロンの耳を得て、彼のアイデアが副大統領室で実現するのを見ました。

私がインターネットをあなたほど頻繁に覗いていない場合、この段落がどれほど完全に狂っているように聞こえるか認識しています。しかし、そのすべては多数の情報源によって重く文書化されています。この物語の人々は、夕食を共にしながら調整する秘密結社ではありません。彼らはソーシャルシーンです。重なり合う友人グループ、資金提供の関係、そして性的・恋愛関係がすべて、AI規制に関してあなたに信頼を求めている組織の構造に織り込まれています。

主流メディアの多くの残念な欠点の一つは、これらのことを信頼性をもって報道することがあまりにも不条理であるため、読者が真剣に受け止めると期待できないことです。しかし、私は、私たちの現在の新ファシズム、神権的なディストピア、そして予測される世界の終焉への滑落が、このサブカルチャーの歴史に深く根ざしていることを徹底的に説明しようと努めます。

では、2000年まで遡りましょう。

預言者

現代のAI企業が存在するずっと前から、自身の歴史的重要性についての強固な感覚を培っていたイーリエーザー・ユドコウスキーから始めます。

ユドコウスキーは1979年に生まれ、近代正統派ユダヤ教の家庭で育ちました。彼自身の話によると、小学校2年生で公教育というものをすべて見限りました。その年、彼は数学の先生が対数とは何かを知らないことを発見しました。9歳でファインマンの『QED』を読み、そのほとんどを理解したと言っています。学校での時間を失われた10年と数え、8年生頃に健康上の理由などから中退しました。高校も大学も、AI分野での正式な訓練も一切受けていません。

11歳の時、大おじが彼に『Great Mambo Chicken and the Transhuman Condition』を渡しました。これは1990年に書かれた、冷凍保存主義者、宇宙の変わり者、そして自分の精神をコンピューターにアップロードすることを計画している人々についての記録でした。この出会いについての彼の要約は簡潔です。その後、何が重要かを知り、彼のキャリアがそれに触れるだろうと確信しました。10代後半で、彼はオンラインでトランスヒューマニストたちを見つけました。2000年、20歳の時に、彼は人工知能特異点研究所(Singularity Institute for Artificial Intelligence)を共同設立し、彼のウェブサイトはすでに完全なパッケージを提供していました。特異点についての論文、トランスヒューマンAIを実際にコーディングする方法を描いた文書、そこに至るまでの人類の計画、そして著者自身の特別な資格を説明する自伝です。

彼の自伝は、子供の頃に母親が自分のものを貸し出すことを受け入れられず、お気に入りの水鉄砲を3階のバルコニーから投げ捨て、それが地面に当たった音を聞いて満足したという寓話で始まります。彼はさらに、人類種の技術的変革の専門家であり、それを導く資格を持つ数少ない生きている人間の一人であると自己描写しています。彼は『バフィー 〜恋する十字架〜』に自分を重ね合わせ、危険をはっきりと見抜き、他の皆が普通の生活を送っている間に行動しなければならない人物としています。

彼の技術的なアイデアは今後25年間で大きく変化しましたが、AIによる来るべき破滅を見抜ける唯一の人間であるという彼の感覚は変わりませんでした。

特異点研究所は現在も存在し、後に機械知能研究所(MIRI)と改名されました。その設立時の懸念は、ほとんどの設立時の懸念よりもうまく年を取りました。十分に能力のある人工知能は、人間の生存と互換性のない目的を追求する可能性があり、誰かがそれを強力にする前に安全にすることが仕事である、というものです。表面上は妥当ですが、その上に成長したすべてが問題でした。2025年、彼がMIRIの執行ディレクターであるネイト・ソアレスと共著した、なぜ超知能AIが我々全員を殺すのかについての本は、ニューヨーク・タイムズのベストセラーリストに載りました。

2000年代後半、ユドコウスキーは第二のプロジェクトを開発しました。それは人々に思考方法を教えることでした。経済学者ロビン・ハンソンと共有していたブログ「Overcoming Bias」での彼の多作な執筆は、読者が「Sequences」と呼ぶ一連のエッセイの生原料となりました。2009年、LessWrongがコミュニティの拠点として立ち上げられました。研究所は、そのウェブサイトを成功した募集チャネルとして説明しました。

その魅力は明らかです。人々がなぜ悪く議論するのか、心地よいナンセンスを信じるのか、先延ばしにするのか、社会的な承認と真実を混同するのか、それに対する統一された説明がありました。そして、プログラムがありました。自分のバイアスに気づき、信念を修正し、より良くやるのです。もしあなたが賢く、不満で、質問が多すぎると言われることに慣れているなら、これは非常に説得力のある招待です。多くの人々にとってそうでした。

そして、その招待が誰のために調整されているかに注意してください。なぜなら、コミュニティは自身の調査で、長々と、そのことについて語っているからです。LessWrongの国勢調査では、回答者の87%が男性であり、5人に1人近くが自閉スペクトラム症の診断または自己診断を受け、半数近くがうつ病を患っていることが判明しました。その後、関連コミュニティであるSlate Star Codexは、独自の調査を発行し、数千人の回答者を集め、半数以上がプログラミング、エンジニアリング、数学、または物理学の分野で働いていることがわかりました。それが描く人生の肖像は一貫しています。8歳で特別だと認識され、皆より賢いと言われ、社会的な交流に苦労してコンピューターと共に放置され、大人になるにつれて早熟で、社会的に誤解され、誰も自分を理解してくれない部屋に一度も入ったことがない少年たち。シリコンバレーは必然的にこれらの人々を引きつけます。ラショナリズムは、彼らが意味とコミュニティを見つける場所です。

この運動がその個人に提供するものは、所属感と安定した強化と肯定です。同様に才能のある個人からの仲間集団。社会世界を理解可能にする哲学と方言。そして、最も酔わせるのは、昇進です。あなたは人間嫌いではなかった、大衆は実際に腐敗したファームウェアを実行していたのです。あなたは傲慢ではなかった、あなたは実際に種族のための戦いのヒーローなのです。それは完璧にされた才能ある子供向けプログラムです。特別な子供たちのための特別なセッション、ワークブック(Sequences、Harry Potter and the Methods of Rationality)、年末の儀式(Solstice)、そしてついにあなたを信じてくれる大人。メインキャラクター症候群は、あなたがリードするプロットを持つ宗教に参加したその日から、キャラクターの欠陥ではなくなります。

そこには罠もあります。人間の非合理性を克服することを中心に組織されたコミュニティは、メンバーシップをそれらのメンバーがそれを克服したという証拠として扱い始めます。ラショナリストであることが、優れた判断力の証明に変わります。そして、優れた判断力はコミュニティの主要な社会的通貨となります。

ハリー・ポッターによる福音

2010年、ユドコウスキーは『Harry Potter and the Methods of Rationality』の連載を開始しました。これは、ハリーが魔法に好奇心と、なぜ他の皆が間違っているのかを説明することへの強い欲求を持って立ち向かう、早熟な科学的合理主義者である別世界のファンフィクションです。5年間連載され、コミュニティ内外で絶大な人気を博しました。Sequencesは多くの人にとって乾燥しすぎていましたが、HPMORはラショナリスト思想への簡単な入り口となりました。さらに、それはターゲット層を映し出す鏡として機能しました。ハリーはターゲット層の11歳当時の自己肖像であり、才能があり、すべてにおいて正しく、常に劣等生に囲まれています。

この小説の最も影響力のあるアイデアは「英雄的責任」です。ハリーは、何が起こっても、災害が発生した場合、最終的にはあなたのせいだと説明します。なぜなら、あなたはそれを防ぐことができたからです。規則に従ったことや、誰かが処理しているだろうという期待の陰に隠れることはできません。世界はあなたの責任であり、すべて、個人的な責任です。ハーマイオニー、物語の中でまともな人物に近い存在は、これは他のすべての人の主体性をほとんど残さないように聞こえると異議を唱えます。物語は彼女の異議に満足のいく答えを出すことはありません。

驚くべきことに、このファンフィクションの人気は、このようなニッチな作品に期待される読者数をはるかに超えました。2015年3月14日(円周率の日)に完結した時点で、ファンフィクションは122章、661,619語に達し、『戦争と平和』よりも長くなりました。主要なファンフィクションサイトで37,000件以上のレビューを獲得し、このジャンルとしては驚異的な数であり、数万件の「お気に入り」、ファン制作のオーディオブック、小さな郊外ほどの大きさのTV Tropesページ、そしてロシア語を筆頭に多数の言語への翻訳がありました。ワシントン・ポストの法務ブロガーは、それをこの千年紀で書かれたお気に入りの本の一つと真顔で評しました。まともな報道機関はこれをほとんど認識しませんでした。なぜなら、まともな報道機関はファンフィクションを読まないからです。しかし、将来のエンジニアの世代はそれを読みました。

この本の本当の機能は、終盤で明らかになりました。フィナーレでユドコウスキーは「最終試験」と題された章を投稿しました。そこではハリーは絶望的な状況に閉じ込められており、章自体が条件と締め切りを提示しました。読者が2015年3月3日までに実行可能な解決策を投稿すれば、物語は続行されます。そうでなければ、作者の言葉によれば、より短く悲しい結末を迎えることになります。ファンは2日半で70万語以上の解決策の提案を提出し、その後、提出物を整理しアイデアの重複を排除するためのタスクフォースを組織しました。そして、出荷された解決策は群衆から生まれました。このシーケンスを組織的な演習として再読してください。AI安全研究機関の創設者は、数千人の分散型ボランティア労働力を募集し、最適化問題を与え、脅迫的な結果を伴う締め切りを設定し、その出力を彼の本に集めました。うまくいきました。読者は単に方法について読んだだけでなく、それを大規模に、コマンドで実行したのです。このファンフィクションが何であれ、それは作者がインセンティブを正しく構造化することによって、スマートな見知らぬ人の群衆に何をさせることができるかの実証でした。驚くべきことに、その説明は次の10年間のAI産業にも当てはまります。偶然ではないかもしれません。

物語の外では、ユドコウスキーの運動構築は明白でした。ユドコウスキーの作者ノートは、後にSequencesのテクニックをライブワークショップで教える非営利団体である応用合理性センター(CFAR)の資金調達を促進しました。2015年のファンフィクションのフィナーレは、北米、ヨーロッパ、そしてそれ以外の都市で、数十の都市で開催された組織的な祝賀パーティーの機会となりました。フィクション、資金調達、トレーニング、そして国際的なコミュニティがすべて一つにまとめられました。2015年のVICEの記事は、すでにこの仕組み全体が、単なる人気フィクションではなく、信念体系に似てきていることに気づいていました。

この小説を聖典と呼ぶのは言い過ぎですが、それをエンターテイメントと呼ぶことでその機能を失うことにもなります。それは共有された語彙、模範的なキャラクター、そして賢い人間が、その議論への同意を使命への同一化に変換するために世界に何を負っているのかについての劇的な理論を提供しました。L.ロン・ハバードがSF作家からカルト指導者への移行を乗り越えたのと同様に、ユドコウスキーも同様の道を歩みました。

ちなみに:一部のラショナリストは、急成長するカルトのために意図的に儀式を構築しました。2011年のニューヨーク・ソルスティスの記録は、Sequencesから適応された共同の歌、朗読、そして典礼を記述しており、ユドコウスキーはそれを承認的にコメントしました。数年後、アーノルドは、彼が個人的にAI災害の確率を五分五分以上と見なしているときに、ソルスティスを運営する方法について公然と書きました(https://www.lesswrong.com/posts/pdZ2geyATFGt9v6Su/future-proofing-solstice-1)。

運動は神を拒否しても、聖典、儀式、そして黙示録との厳しい個人的な関係を発展させることができます。世俗化は、自動的に人間の宗教と典礼への本能を取り除くわけではないことが判明しました。それは単にそれらの崇拝を再利用するだけです。

ユドコウスキーの使徒たち

ユドコウスキーは、気質的に預言者であり、預言者は付き合うのが大変な相手です。コミュニティの真の成長エンジンは、はるかに好かれやすい人物でした。精神科医でブロガーのスコット・アレクサンダーです。

アレクサンダーは、有名になってから入ってきた部外者ではありませんでした。彼自身の話によると、彼は長年Overcoming BiasとLessWrongに没頭し、哲学を学んでいたにもかかわらず、その資料を啓示的だと感じました。彼のブログ『Slate Star Codex』は、2013年に立ち上げられ、その参加から直接生まれました。そして、それは非常に異なる楽器でした。ユドコウスキーが威圧的だったのに対し、アレクサンダーは面白く、議論好きで、共感的で、反論を考慮することに真摯であるように見えました。彼は医学、統計学、SF、そして人間の不可解な行動について書き、彼の読者にはサム・アルトマン、ポール・グレアム、そしてシリコンバレーのプロフェッショナル層の多くが含まれていました。ニューヨーク・タイムズは、このブログをテック界の安全な場所と呼んだほどでした。

これはアレクサンダーが通訳だったため重要でした。あなたは絶滅の予測やハリー・ポッターのファンフィクションを通してラショナリズムの世界に入らなくてもよかったのです。抗うつ薬に関する興味深いエッセイを通して到着し、議論が異常に慎重で、メンバーが異常に賢いコミュニティを発見し、そして後になって、その慎重な議論が何を慎重に議論していたのかを知り、ゆっくりとコミュニティに統合されることができました。

カーティス・ヤルヴィンを通して到着することもできました。

メンシウス・モルバグというペンネームで、ヤルヴィンは2007年にブログ『Unqualified Reservations』の執筆を開始しました。このプロジェクトは、その説明よりもはるかに不穏なものでした。ヤルヴィンは権威主義的な極右の創設的な知的リーダーとなり、その界隈のほとんどの人物とは異なり、完全な文章で執筆したため、それは真の戦略的資産となりました。

彼のプログラムは、2008年に平易に述べられました。「民主主義、憲法、法の支配の清算」でした。同じ長文エッセイで彼が描いた新しい秩序は、報道機関を排除し、大学を解体し、公立学校を民営化し、指定された人口を強制労働を伴う施設に閉じ込めることでした。彼はまた、同じ文書で、人々が自分自身や子供たちを奴隷として売ることの合法性を擁護しました。

彼のPatchworkシリーズは、企業として運営される将来の主権領土を想像しました。住民は統治せず、彼らの主な救済策は「出口」、つまり顧客がビジネスを他に移すという手段でした。この前提は、人々がどのように権力を共有すべきかという政治的な問題を、所有者が魅力的な製品を提供しているかどうかという顧客サービスの問題に変換します。これは、あなたが所有者を知っているか、あるいは所有者であると期待する場合に特に便利な理論であり、ラショナリストコミュニティの知的傲慢さは、多くの人々をメリットクラシーの支配階級にいると期待させるカテゴリーにしっかりと位置づけました。

人種差別も同様に、表面的な装いの下で露骨でした。彼は「なぜ私は白人至上主義者ではないのか」というタイトルのエッセイで、American RenaissanceとVDAREの資料を称賛し、白人至上主義者の不満を真剣に扱い、その運動の弱点はその世界観ではなく、その政治戦略の非効率性であると結論付けました。彼自身の好みは、貧しく、おそらく知能が低い人々が、より裕福で、おそらく知能が高い人々に仕える階層でした。彼が同意できなかった白人至上主義の部分は、その大衆主権への未練でした。つまり、彼の異議は、本質的に白人至上主義が十分に急進的ではなかったということです。

ヤルヴィンはラショナリストコミュニティの部外者ではありませんでした。彼は自身のブログを開始する前にコミュニティ自身のフォーラムに投稿していました。そして2011年までにLessWrongの年次調査では、メンバーに彼から影響を受けたかどうかを尋ねていました。なぜなら、あまりにも多くのメンバーが影響を受けていたため、その質問は集計する価値があると思われたからです。モルバグのエッセイはコミュニティ内で広く流通していました。アレクサンダーは繰り返しそれらを送られたと描写し、2013年には「巨大な惑星サイズのナッツシェルにおける反動的哲学」と題して、その世界観を彼の親しみやすくアクセスしやすい声で翻訳しました。彼はそれに続いて長い反動的FAQを書き、その歴史的主張と政治的結論を攻撃しました。そしてその批判は真摯なものでした。残念ながら、ヤルヴィンの文章に真剣に関わることで空気を供給することは、彼の前提を馴染み深く、議論可能で、奇妙に解読しやすくすることで、ヤルヴィンを正当化するのに役立ちました。2014年のアレクサンダーからのメール(後に受信者によって公開された)はさらに踏み込みました。それは「人間生物多様性」、つまり人種科学の隠語である運動の一部に対する共感を表明し、反動的思考の価値ある部分を広め、残りを刈り取ることに興味を示しました。

その文脈において、人間生物多様性は、人間が変化するという無害な観察を意味しませんでした。それは具体的には、測定された知能における黒人と白人のギャップが実質的に遺伝的であるという主張を意味しました。この言葉は、その科学的メリットに関わらず、有用な働きをしました。それは、人種階層への関心を、知的な勇敢さとして経験させ、すべての異議を、異議を唱える者の順応性の証拠として経験させました。難しい問題を調査することと、まともな人々があなたの答えを認めることを恐れているという確信を中心にアイデンティティを構築することの間には違いがあります。不承認は確認に変わります。受け入れが悪ければ悪いほど、真実の語り手は勇敢になります。確立された宗教は数世代前にこのレバーを発見し、それを工業化しました。モルモン教は、若い男性を2年間の戸別訪問宣教師に派遣する主な理由の一つは、拒絶が絆を深めるからです。ドアが閉まるたびに、宣教師は外の世界が腐敗しており、自分が選ばれた少数派の一員であると結論付けざるを得なくなります。ラショナリストはメカニズムを発明しませんでしたが、非常に懸念される見解を広めるためにそれを確実に活用してきました。

禁断の洞察

これまでのところ、この物語は主にインターネット、バークレーで展開されてきました。それはスウェーデンの哲学者ニック・ボストロムを通じて、オックスフォードでまともな世界に渡りました。ボストロムは同じ1990年代のトランスヒューマニストシーンを通過し、1998年に世界トランスヒューマニスト協会を共同設立しました。2005年、オックスフォードは彼に世界の終末のための学部、人類未来研究所を設立しました。そこには、その同じシーンから、アンダース・サンドバーグなどの人々がいました。彼は、10代のユドコウスキーがトランスヒューマニストを見つけたまさにそのメーリングリストのベテランでした。2014年、彼は『Superintelligence』を出版しました。これは、2001年からユドコウスキーがブログで集めていたコーパスを、分析哲学の言葉で表現したものでした。ニューヨーカー誌は、この業績を、辺縁部の雑多なアイデアに学術的な厳密さを課すことだと描写しました。そして、本の安全提案のメニューには、ユドコウスキー自身のアイデアが含まれています。現在、ボストロムはMIRIの諮問委員会のメンバーです。まともな報道機関は、この本をAIリスクが真剣になった瞬間として扱いました。ビル・ゲイツはそれを推薦し、スティーブン・ホーキングはその議論を支持しました。Skypeの共同創業者であるヤーン・タリンは、読む以上のことをしました。彼は生命未来研究所とケンブリッジの存亡リスク研究センターを共同設立し、両方に自身の資金を投じ、ボストロムの研究所の著名な寄付者となりました。マスクは2015年1月に生命未来研究所の研究プログラムに1000万ドルを寄付し、学術分野にさらにシード資金を追加しました。

ボストロムもまた、人種に関する論争がないわけではありませんでした。1996年のトランスヒューマニストメーリングリストへのメールで、ボストロムは黒人は白人よりも知能が低いと信じていると書き、その中で人種差別用語を使用しました。2023年1月、彼はそのメールについて謝罪しました。オックスフォードは調査を行い、彼が人種差別的な見解を持っていないこと、そして謝罪が真摯であると結論付けました。ガーディアン紙のアンドリュー・アンソニーは、ボストロムが人種と知能に関する根本的な主張や、それに付随する優生学の弁護のスケッチを撤回しなかったと指摘しました。オックスフォードは2024年に人類未来研究所を閉鎖しましたが、その時点でその研究所が正当化した分野はもはや研究所を必要としませんでした。興味深い問題は、ボストロムが心の中で偏見を持っているかどうかではありませんでした。それは、存亡リスクの学術部門が、このようなことが日常的な会話であった環境でインキュベートされ、アーカイブが表面化した時には、すでに組織がしっかりと確立されていたということです。

さらに、ボストロムは限定的な形態の優生学を提唱しました。2013年、MIRIは、ボストロムとカール・シュルマンによる「胚選択による認知能力向上」に関する論文を宣伝しました。シュルマンはMIRIの研究員、ボストロムの研究所の共同著者、マクアスキル氏の80,000 Hoursのキャリア研究ディレクター、そしてOpen Philanthropyのアドバイザーでした。この発表では、シミュレーションされた世代にわたる反復的な胚選択について議論し、結果として得られる知能の向上を安全なAIの見通しに明確に結びつけました。具体的には、MIRIと人類未来研究所は、AI救済プロジェクトの概念と選択的繁殖を融合させ始めました。より多くの知能が重要なリソースであり、技術競争はそれをより多く獲得することを緊急にしています。そして、生殖は単に最適化の次の場所です。

この提案は、強制的な不妊手術ではなく、親の選択と生殖技術に関するものでしたが、将来の人々が持つべき遺伝的形質を選択することによって人類を改善するという考えは、第二次世界大戦中のナチスや日本の実験と結びついた、非常に暗く troubled な過去を持っています。不平等、障害、社会的圧力、そして「改善」を誰が定義するのかという問題は、顕著に未解決のままでした。

人間のデバッグ

その間:

応用合理性センター(CFAR)は、コミュニティのメンバーであるジュリア・ガレフ(ポッドキャスト「Rationally Speaking」のホスト)、アンドリュー・クリッチ(現在はAI安全研究者)、マイケル・スミス、アンナ・サラモンによって2012年にバークレーで設立されました。それはLessWrongから直接成長しました。LessWrongは、すべての急成長する運動が最終的に抱える問題、つまり、メンバーが実際に、一緒に練習したいという問題を抱えていました。CFARはその対面式のフランチャイズでした。Sequencesは理論を無料で提供しました。CFARはバークレーでリトリートや週末ワークショップを販売し、そこで同じ教材が「ゴール・ファクタリング」や「ダブル・クルックス」といった名前のテクニックとして提供され、それらを執筆した人々が住むグループハウスに住むインストラクターによって教えられました。

それは最初から家族経営でした。CFARは、FacebookやThiel Fellowship向けの企業クラスから、コミュニティが好む募集層である才能あるティーンエイジャーを対象としたワークショップやサマープログラムまで、ドナー基盤、都市、そしていくつかのケースではスタッフをMIRIと共有していました。ボストロムのオックスフォード研究所に資金を提供したSkypeの共同創業者ヤーン・タリンも、奨学金でエストニアの学生をCFARワークショップに派遣するために資金を提供しました。ニューヨーク・タイムズ・マガジンのジェニファー・カーンは、その運営を、長所と短所の両方で取材し、やや感銘を受けつつも、いくぶん不安を感じていました。

そのピッチは、思考と意思決定の実践的なトレーニングでした。それは無害に聞こえ、ほとんどそうでしたが、そのテクニックがどこで実践されていたかを覚えていれば、それは無害ではありませんでした。雇用主、同僚、ルームメイト、恋人、そして人類が生き残るかどうかを個人的に決定していると信じている人々の間で。

2021年、共同創設者のアンナ・サラモン(当時CFARの社長)は、少なくとも3人の従業員が「デバッグ」――コミュニティが個人の心理に介入するための用語――を実質的に受けさせられたことを認めました。彼女は自身の判断への過度の服従を認め、参加者が自分自身を理解する方法に損害を与えたと描写しました。これは外部からの告発ではなく、リーダーシップ自身の説明でした。1年前、彼女は、合理性や存亡リスクとの関わりが、人々の睡眠、人間関係、人生の楽しみ、道徳的判断、そして自己信頼を台無しにする方法について、異常な正直さで書いていました(https://www.lesswrong.com/posts/byewoxJiAfwE6zpep/reality-revealing-and-reality-masking-puzzles)。

これらは、認知能力の向上を販売する組織にとって深刻な結果です。それらを生み出すメカニズムは次のとおりです。もしあなたが、整合性の取れていないAIがすべての人を殺す可能性があると信じているなら、あなたの不安は合理的です。しかし、周囲の職場や社交サークルが、ためらいをデバッグされるべき心理的な欠陥として扱う場合、恐怖は組織的な利用法を獲得します。ミッションにより多くの人生を捧げることへのあなたの抵抗は、ミッションが修正する権利を持つ別の問題になります。コミュニティのメンバーは今や、不適合なメンバーを「修正」する英雄的な責任を負っていました。

やがて、Leverage Researchという会社がそのアイデアをさらに推し進めるために設立されました。若い哲学者ジェフ・アンダーズによって設立されたLeverageは、人間の心を理解するプログラムを追求し、その初期の文書はすべての哲学的問題を解決することを aspired しました。その資金提供者にはピーター・ティールと、再びヤーン・タリンが含まれていました。リディア・ローレンソンのLeverage Researchの調査記事は、組織的なリソースと権威が関与する隠された恋愛関係の疑惑も報告しています。

その野心の規模は、コミュニティから大きな注目を集めました。その大まかな論理は次のとおりです。「社会が人々の心理的な混乱のために失敗しているなら、心が実際にどのように機能するかを理解した少人数のチームがすべてを変えることができる。」これらのトピックに関する研究を実行する自由は、多くの従業員にとって文明的な呼びかけと見なされていました。

しかし、職場は非常に有害でした。元参加者のゾーイ・カーツィは、アンダーズの理論、ますます侵襲的になる心理的実践、そして有害な精神的影響に関するエスカレートする信念に支配された世界を描写しました。彼女は、組織の概念の外から組織を評価することができなくなったと感じました。Cathleenという名前の元上級メンバーは、グループの野心を擁護しながら、自身もかなりの個人的な損害を経験したと描写しました。2つの説明は多くの点で意見が異なりますが、それらはより大きな構造的な問題を浮き彫りにします。リーダーが、雇用、住居、友情、そして目的意識すべてが組織を通じて流れる人々の心についての異常な洞察を主張する場合、何が起こるのでしょうか?

別のエピソードは、虐待とそれに対応できなかったコミュニティの最も直接的な証拠を提供します。ブレント・ディルはラショナリストの社交界やCFARプログラムを渡り歩きました。彼の周りには、ロールプレイングゲーム『Mage: The Ascension』から宇宙論を借用した「Black Lotus」というグループが集まりました。現実は柔軟であり、特定の人物はより深い層を認識するというものです。オジー・ブレナンの報道は、より深い現実の通訳者が周囲の人々に対する権力をどのように獲得したかを記述しています。

2018年のディルに関するコミュニティの内部評価は、CFARが操作的な行動をどの程度受け入れていたかを示しています。それは彼の有害な行動を認めつつも、彼の型破りな介入と責任感を貴重な生原料として扱っていました。問題は、コミュニティ自身の特別な人々が困難な成長作業を行うというフレームワークを通して解釈されていました。CFARの最終的な公開謝罪は、さらに問題がありました。組織は、ディルが2人の元パートナーに対して身体的、性的、感情的に虐待したという信頼できる告発を信じていると述べ、彼に正当性を与えたこと、適切に対応できなかったこと、そして以前の懸念にもかかわらず高校プログラムで彼を支援させたことを認めました。

このすべてが皮肉なのは、製品全体が優れた判断力であったCFARが、メンバーと地域社会を虐待から守るために基本的な判断力さえも行使できなかったことです。関係者は信念を調べるための精巧なツールを持っていました。それらのツールは、仕事と社会コミュニティが非常に絡み合っていたため、虐待的な男性に対する有能な対応を生み出しませんでした。これは、合理主義をカルトとして評価する最も強力な根拠です。特定の状況下で、カリスマ的な権威、心理的な侵入、依存、そして内部者の保護が組み合わさって機能しました。これは、LessWrongを読むすべての人 indiscriminately にカルト主義者のレッテルを貼ることが公平であるという意味ではありませんが、コミュニティの思考の中心は、参加者にとって深く有害で毒のあるものでした。

Redditのr/slatestarcodexやr/EffectiveAltruismなどでは、定型的な投稿ジャンルは、コミュニティを去る人々のための「出口スレッド」です。「最終的にあなたをうんざりさせた信念は何ですか」、「なぜ私は離れたのか」、「これはカルトなのか」――元メンバーたちが、終わった友情や、機能する頭を再構築するのにかかった1〜2年について情報を交換しています。この現象は十分に確立されているため、ラショナリストコミュニティに関するWikipediaの記事は、ポストラショナリストと呼ばれる、運動が記事自身の言葉で「カルト的」であると結論付けた、名前のついた離脱者の波を認識しています。離脱者の中には匿名でない人もいます。lcamtufというペンネームで活動する有名なセキュリティ研究者は、Zizian逮捕(後述)の後、「私のラショナリストコミュニティとの決別」と題した長い記事を公開しました。数学者のキャシー・オニールは、効果的利他主義から離脱した人物へのインタビューを公開しており、彼らは自分が育った教会からかろうじて逃れたと表現する言葉で離脱を説明しています。信念体系が自分たちを傷つけたと証言する人々が、かつてそのプログラムを運営していた人々である場合、興味深い問題は、カルトという言葉がラショナリストにとって公平かどうかではなく、なぜこのコミュニティが、他のどのコミュニティよりも、自分自身にその言葉を適用する人々を生み出し続けているのかということです。

結局、ラショナリズムは暴力的な過激派さえも生み出しました。2010年代、ジズ・ラソータという読者がベイエリアのラショナリストおよび効果的利他主義のイベントに現れ始めました。書類上、彼女はコミュニティの夢の採用候補者でした。コンピューター工学の学位、NASAのインターンシップ、LessWrongとユドコウスキーのファンフィクションの熱心な読者であり、世界を救うことに対して十分な真剣さを持っていました。彼女は仲間と共に実際のシーセーディング植民地を試み、バークレーのマリーナのセーリングボート、そしてアラスカから航行してきたタグボートで生活しました。彼女はトランスジェンダー女性であり、彼女が集めた人々のほとんどがそうでした。CFARの従業員は後に、彼女の募集プールを「賢く、ほとんど自閉症気味のトランス女性で、非常に脆弱で孤立していた」と描写しました。特に面白い逸話は、彼女が熱心にシスの信者であり、黒いマントを着ていたことで知られていたことです。

彼女の神学は、コミュニティ自身の部品箱から完全に組み立てられました。LessWrongの決定理論からは、脅迫に屈しないこと、悪を容認しないことという義務を取りました。コミュニティの心理学の議論からは、脳の2つの半球が別々のエージェントであり、それぞれ異なる性別とアライメントを持ち、「単球睡眠」(意図的な睡眠不足)が精神をハッキングできるという考えを取りました。2018年に、メンバーが自殺しましたが、匿名のラショナリストはそれを睡眠実践のせいだとしました。ラソータは後に、アンナ・サラモンとの議論でその死を、そのテクニックが機能した証拠として指摘しました。絶対的なビーガン主義、すべての感覚を持つ生命の運命、そして英雄的責任を加えれば、自分は2人の人間であり、そのうちの一人は邪悪かもしれないと信じ、生きているすべてを救う個人的な責任を負っている人物になります。CFARのリーダーシップは何かおかしいことに気づきました。サラモンはラソータをCFARフェローシップから排除しようとしましたが、委員会によって却下され、さらに奇妙な行動の後、ラソータはイベントから完全に招待されなくなりました。1919年、ラソータと3人の追随者はマスクとローブを着てCFARリトリートを抗議しました。混乱した911通報が警察を呼び、その後SWATチームが派遣されました。コミュニティは匿名のコールアウト投稿で「ジジアン」という名前を造語して対応しました。こうしてラショナリストコミュニティは最初の宗教的 schism を経験しました。

そして死体。ラソータは2022年8月にボート事故で自身の死を偽装しました。その11月、カリフォルニア州バレーホで、彼女の家主である80歳のカーティス・リンドが、ナイフと侍刀を持った覆面をしたテナントに襲われました。約50箇所の刺し傷を負い、片目を失明しました。ピストルを持ち歩くようになったリンドは、攻撃者のうち2人を撃ち、そのうちの一人、2019年のCFAR抗議で逮捕されていたエマ・ボルハニアンを殺害しました。攻撃者のうち2人は、ボルハニアンの死の原因となったという理論で、彼女の殺人の罪で起訴されています。6週間後、大晦日に、ペンシルベニア州の自宅でリチャードとリタ・ザイコ夫妻が射殺されました。2026年6月、彼らの娘で、後にバーモント州の銃撃現場で見つかった銃を購入したとされるジジアンの協力者が、両方の殺人罪で起訴されました。2025年1月17日、証言が期待されていたリンドが自宅のゲートの外で刺殺されました。検察は、22歳のデータサイエンティストを起訴し、彼は記者にイーリエーザー・ユドコウスキー宛ての声明を口述しました。その3日後、バーモント州の州間高速道路91号線での交通停止が銃撃戦となり、2014年以来初めて勤務中に銃撃で死亡した国境警備隊員デイビッド・マランドと、2019年にCFARイベントを通じてこの世界に入ったドイツの数学オリンピックメダリストでクオンツトレーダーだったオフェリア・バウクホルトが死亡しました。彼らの車からは、戦術装備と追跡を妨害するためにアルミホイルで包まれた2つの電話が見つかりました。検察によると最初に発砲した生存者は起訴されており、政府は死刑を求刑する意向です。ラソータは1ヶ月後にメリーランド州の田舎の私有地でキャンプ中に逮捕され、保釈なしで拘留されており、弁護士は彼女の裁判能力について争っています。

ニューヨーク・タイムズとボストン・グローブは両方ともマンソン・ファミリーとの比較に言及しました。アンナ・サラモン自身もジジアンの信念体系を終末カルトに似ていると描写しています。議論するのは難しいです。しかし、ジジアンが何を使っていたかを見てみましょう。すべてがLessWrongとその派生製品に浸透していました。悪に屈することを禁じる決定理論、自己を分割しデバッグすべきものとして扱う心理学、すべての感覚を持つ生命を計算単位とする倫理、そしてそれを個人的なものにする英雄的責任。コミュニティの弁護は、これらは良いアイデアを誤読した傷ついた人々だったというものです。そして、そのうちの何人かは確かに傷ついていました。それにもかかわらず、我々はラショナリズムという木の果実を、その主張を疑うために、これまでのところ見る必要があります。

シーツの中で絡み合い、通りで絡み合う

人々の性生活について判断するつもりはありませんが、シリコンバレーのラショナリストコミュニティの力学は、性的な実践がグループの慣習を効果的に強制する方法になったことで最もよく示されているでしょう。

ポリアモリーは、現在のAIニュースサイクルのはるか前から、ラショナリストの生活の目立つ特徴でした。アレクサンダーの回顧録は、コミュニティでの広がりを説明し、2014年の調査を引用しています。その調査では、回答者の約15%がポリアモラスであると自己申告していました。しかし、その15%の大部分はベイエリアに住んでいます。コミュニティは小さく、ベイエリアの数カ所のグループハウスに集中しており、そこにいる誰もがお互いの同僚、資金提供者、家主、ルームメイト、または元恋人です。恋愛ネットワークとプロフェッショナルネットワークは同じネットワークです。したがって、問題は誰が誰と寝るかではありません。問題は、そこにいる誰かが、すべてを一度に失うことなく、何かに「ノー」と言えるかどうかです。

この文化を一人で理解するために、アイラに会ってください。

彼女は1992年にアイダホで生まれました。有名な福音伝道者でラジオパーソナリティの父を持つ3姉妹の長女で、キリスト教原理主義のコミュニティで育ち、高校は1学期しか通わず、その間も両親が彼女がコンピューターに無制限にアクセスできることを理由に退学させました。17歳で家を出て、時給10ドルの工場で午前4時のシフトで働き、2012年に工場で時間がなくなったためカムガールになりました。彼女はOnlyFansで最も稼ぐクリエイターの一人になり、後にエスコートとして働き、統計学を独学で習得し、セックスワーカーや性行動に関する最大級の調査のいくつかを実行しました。GQは彼女をデータ駆動型の元テックワーカーと呼んでいます。彼女は単純に、2015年にLessWrongに興味のある人と付き合った後に参加したラショナリストコミュニティのメンバーであると自己描写しています。

福音伝道者の娘は、このコミュニティで最も聖職者に近い存在になりました。彼女の性に関する出版物は、ラショナリストコミュニティの外でも絶大な支持を得ており、コミュニティ内での彼女の性的な実践は大きな注目を集めています。

最も有名な事件の一つ、「wish you could scrub your brain with soap」は、彼女が誕生日に企画したギャングバンでした。ある意味で、それはラショナリストコミュニティのための儀式でした。数週間のスクリーニング、応募プロセス、教義への準拠が確認されたゲストリスト、公開されたイベント後の分析とフローチャート、誰が誰と来たかの統計などをアウトライン化したものがバイラルになりました。ギャングバンには教義テストが付属していました。効果的加速主義者(AI開発を加速させたい派閥)の信者は、彼女のAIリスクに関する見解のため、スクリーニングされました。オーギーでさえAIガバナンスのポジションがありました。これは、このソーシャルグループのカルト的な支配的側面をさらに強化していると思います。正しいことを信じれば、コミュニティのポルノスターとセックスできるかもしれません。伝えられるところによると、多くのスタートアップ創業者たちがそこで互いを認識し、互いの姿を見て驚いたとコメントしました。本当に狭い世界です。

アイラは産業規模で証言を集め、調査を行い、読者からの告白を無限に受け取っています。読者は彼女の性生活について書き込んでいます。

そして2026年、彼女はより直接的にユドコウスキーの聖職者層に入り、Plz Don’t Kill Usを立ち上げました。これは、グライムスをメンターとして迎え、バイラルなAI破滅コンテンツを制作するクリエイターに報酬を支払うバークレーのレジデンシーです。彼女の父親はキリスト教ラジオで説教をして生計を立てていました。彼女はAI黙示録を説教して生計を立てています。皮肉なことに、家族のビジネスは彼女の背教後もそのまま存続しました。

そのメンターについて。グライムスはイーロン・マスクの元パートナーであり、彼の3人の子供の母親です。イーロン・マスクはxAIのオーナーであり、SpaceXに統合されました。そのチャットボットGrokは、過去1年間、同意なしに人々の性的画像を生成するAI業界の主要なマシンとなっています。Grokの「スパイシー」モードとその画像ツールは、ユーザーが実在の人物の写真を「裸にする」ことを可能にします。外部アナリストは、毎時数千枚の性的ディープフェイクを生成したと測定しました。ボット自身のアカウントはかつて、2人の若い少女を性的に描写した画像を生成したことを謝罪しました。そして、英国、ブリュッセル、フランス、マレーシア、カナダの規制当局はすべて、それらの合法性に関する手続きを開始しました。2026年7月、同社は、AIヌーディフィケーションツールの禁止を定めた同国初の法律を、表現の自由を理由に覆すためにミネソタ州を提訴しました。9月、連邦判事は、訴訟が進む間、その法律を一時停止することを拒否しました。同社はまた、マスクの子供のもう一人の母親であるアシュリー・セント・クレアからも、Grokが生成した性的画像について訴えられています。

非常に興味深い家族の確執です。破滅アカデミーのセレブリティメンターは、業界の最悪の加害者と同じ家庭から来ており、その家庭は攻撃を続ける権利を積極的に争っています。この世界でも、p(破滅)は家業です。

そしてそれは、絵の半分に過ぎません。コミュニティ自身のゴシップは、同じ分野の同性愛者の側にも並行したシーンがあり、同じグループハウスとパーティーサーキットがあり、そして同じゴシップは、そちらの方が健全であると一貫して付け加えています。私はそれを検証できませんが、CFARとその関連組織の組織図、住宅市場、そしてデートプールは、一次近似で同じものです。

プロフェッショナルな重複は、ゲストリストよりも面白くありません。ニューヨーカー誌は、この分野のトップにいる恋愛ネットワークをマッピングしました。AI予測研究者のカティア・グレイスは、元OpenAIのアライメントリーダーであるポール・クリスティアーノとAI Impactsを共同設立し、後にアレクサンダーと交際しました。クリスティアーノは、長年の友人であり元ハウスメイトであり、何億ドルもの資金をAI安全に注ぎ込んできた慈善家であるホールデン・カーノフスキーです。クリスティアーノはOpen Philanthropyを支援し、それは彼のAlignment Research Centerに資金を提供しました。カーノフスキーは2017年にAnthropicの共同創業者兼社長であるダニエラ・アモデイと結婚しました。クリスティアーノ自身は、Open Philanthropyの元上級研究員であるアジェヤ・コトラと結婚しています1。これらのことから直ちに不正行為が導かれるわけではありませんが、多くの業界の有力者がこれほど深く関与している中で、AI安全の懸念が実際にどのように扱われ、推進されているかについて重大な疑問を投げかけます。

いくつかの報告は不正行為を描写しています。TIME誌の調査は、効果的利他主義の世界、略してEAについて、ハラスメント、強制的な支配、そして親密な関係と絡み合った専門的な圧力の疑惑を文書化しました。そこで、この世界の人物は、キャリアと社会世界全体を同時に脅かすことなく、セックスを拒否したり、心理的介入を断ったり、不正行為を報告したり、関係を終了したりできるのでしょうか?

金の流れを追う

これほど奇妙なサブカルチャーが、国家AI政策の方向性を設定する上でどのように基盤となったのでしょうか?公の場での議論に勝ったからではなく、バランスシートを獲得したからです。そのバランスシートがどこから来たのかを理解するためには、全く別の場所から始まった運動との合理主義の収束を見る必要があります。

その運動は効果的利他主義、すなわちEAでした。その道徳的な出発点は、ピーター・シンガーの溺れる子供の思考実験でした。もし浅い池で子供が溺れているのを見たら、服が台無しになるとしても、 wade in して救う義務があるでしょう。シンガーのより大きな主張は、距離がその義務をキャンセルしないということでした。見えない子供の命を救うのに少額の寄付ができるなら、子供が海外にいるから寄付しないというのは、ほとんどの人が望むような意味で道徳的に異なるとはいえません。EAはその不快な前提を方法論に変えようとしました。収入の大部分を寄付し、どの介入が1ドルあたり最も多くの命を救うか、または改善するかを測定し、感情的に鮮明な原因よりもそちらに資金を向けるのです。

したがって、合理主義とEAは2009年頃に兄弟となりましたが、それらは異なる起源を持っていました。合理主義は、LessWrong周辺のバークレー地域と、人工知能に関する議論と、推論習慣を教えることを意図した非常に長い『ハリー・ポッター』のファンフィクションの両方を含むイーリエーザー・ユドコウスキーの作品から生まれました。EAはオックスフォード哲学から生まれました。ニック・ボストロムの研究所の上級研究員であるトビー・オードは、Giving What We Canを設立しました。そのメンバーは収入の一部を効果的な慈善団体に誓約しました。ウィリアム・マカスキルは80,000 Hoursを共同設立しました。これは、同じ論理をキャリアに適用しました。もし働く人生がおよそ80,000時間あるなら、最も多くの善を行える仕事を選びなさい。2つの組織は2011年に効果的利他主義センターを設立しました。書類上、これはインターネットのサブカルチャーの派生ではなく、尊敬される慈善団体関連の組織でした。

2つの運動は今日まで、別々の創設神話と別々の名前を維持していますが、それらは決して真に別々のコミュニティではありませんでした。EA自身の歴史は、2000年代後半に利他主義者、合理主義者、未来主義者のサークルが収束したことを記述しており、ベイエリアのラショナリストたちはEAの設立初期に頻繁に登場しました。

合併は社会的なものだけでなく、教義的なものでもありました。EAは、人類のためにできる最善の善を最大化し、それを定量化しようとすることから始まりました。彼らはベッドネット、駆虫薬、1ドルあたりの救命数などを厳密に数え、GiveWellという組織を通じて慈善評価の厳密な規律を維持しました。ホールデン・カーノフスキーが設立したGiveWellです。私たちは彼について話したばかりです。彼はAnthropicの社長と結婚しています。これらすべては結構なことです。人間の命を救い、健康を保つことは、もちろん良いことです。その後、運動の一翼がlongtermism、つまり、すべての可能な未来の人々の命が、資金で何をすべきかの道徳的計算を支配するという主張に向かいました。そこから、論理は合理主義と急速に収束します。もし未来全体が計算単位なら、絶滅を防ぐこと以上に重要なことはなく、合理主義はすでに2000年からコミュニティに浸透していた何を持っていましたか?ユドコウスキーのAIの懸念、それ以来、オックスフォード人類未来研究所の出版物によって正当化されました。したがって、AI破滅はEAの旗艦プロジェクトとなりました。ラショナリストの終末論は、EAの寄付と結びつき、今日に至っています。

人員の重複がこれを明確にしています。Leverage Research、この物語の前の心理学運営は、単にこの世界とドナーを共有していただけではありません。2013年にはLeverageチームが、この運動の旗艦カンファレンスであるEA Globalを設立し、最初のカンファレンスを彼ら自身の家で開催しました。そして、哲学者の研究所、ケンブリッジセンター、奨学金プログラム、そして心理学カルトの予算に名前が登場したヤーン・タリンは、両方のコミュニティに無差別に資金を提供しました。TIME誌の「効果的利他主義および関連サークル」に関する調査は、実際には2つの異なるラベルの下で運営されている1つのシーンの調査でした。

さらに多くの資金が集まりました。Open Philanthropyは、2017年に高度なAIからのリスクに関連する約4000万ドルの助成金を報告し、そのうち3000万ドルをOpenAIに寄付しました。ブログ記事で生きてきた懸念は、仕事、研究プログラム、そして制度的な権威となりました。少数のブロガーがAI政策の枠組みに影響力を持ったのはなぜかという問いに対して、その答えは、少数の非常に裕福なドナーが彼らに資金を提供することを決定し、他にほとんど誰も何も資金提供していなかったということです。

そして、その運動は詐欺師を生み出しました。サム・バンクマン=フリードは、近接性の事故ではありませんでした。彼はEA自身の産物でした。学部生で、この運動の哲学者たちによってウォール街に送り込まれた、「最も多くの善をなす方法は、莫大に裕福になってそれを寄付することだ」という理論に基づいていました。彼は裕福になり、最も有名な効果的利他主義者となり、エコシステムの主要な資金源となりました。そして、FTXでの顧客口座を略奪していたことが判明しました。彼は現在、25年の連邦刑に服しています。FTXはまた、Anthropicに5億ドルを投資していました。したがって、詐欺の収益は一時的に安全ラボのキャップテーブルにありました。

ある意味で、ユドコウスキーが提唱した英雄的な義務と単一のビジョンが再びここで現れました。おそらく一つの教訓は、世界を救うという意図は、精査の危険なほど弱い代替物であるということです。

他の疑わしいパトロンの中でも、ピーター・ティールは、このシーンを取り巻く政治的に最も影響力のある人物かもしれません。MIRIはティール財団を最大の歴史的貢献者の一つとしてリストアップしています。160万ドル以上です。ティールはまた、ヤルヴィンのテクノロジー企業Tlonにも資金を提供しました。AI救済プロジェクトのパトロンは、白人至上主義よりも悪いネオリアクションブログのパトロンでもあります。ワシントン・ポストも報道していますが、ヤルヴィンのアイデアが後にティールの影響力のおかげで、第2期トランプ政権の政府コスト削減努力を通じて循環したことを。

ティールは、しばらくの間、政治に対する自身の意見を明確にしてきました。2009年のエッセイで彼は、「もはや自由と民主主義は両立しないと信じている」と書いています。そのエッセイでの彼の不満は、具体的に女性への選挙権の拡大と福祉国家の成長を、自由のための構造的な問題として含んでいました。ヤルヴィンと同様に、彼が民主主義政治から望まない結果が得られたという結論は、間違いはあまりにも多くの人々が参加させたことでした。

ヤルヴィンとティールが手を組んだ後、ヤルヴィンはティールがお金を自分の意思を強制するためにどのように使うかの直接的な戦略を提供しました。ヤルヴィンの「大聖堂」は、大学、メディア、そして公務員を、リベラルな信念を再生産する単一の連動した装置として描写し、説得するのではなく、破壊されるべき敵としていました。莫大な経済力を持つ人々が、ジャーナリスト、学者、規制当局の文化的権威に不満を持っていた場合、これは完璧な理論でした。それは億万長者が自分自身を迫害された反体制派として描くことを可能にします。ニューヨーカー誌は報道しましたが、ティールは2014年に同僚に、自分たちが公に結びつけられていることの危険性について尋ねるメールを送り、その関連性を秘密裏に心配していたと。これは、その極端さが当時認識可能であったことを示しています。誰も無邪気にヤルヴィンを無害な協力者と間違えませんでした。

バークレーでのユドコウスキーの黙示録的な宗教とは対照的に、ティールは最近、彼のキリスト教の形態に関する講義を売り込んでおり、主に反キリストと、彼が不満を持っている人々が反キリストの軍団の一部であることに焦点を当てています。スタンフォード大学で、ティールはカトリック理論家であるルネ・ジラールの模倣的欲望の影響を受けました。ジラールの主張は、人間は互いを模倣することによって何を欲するかを学ぶというものであり、彼の晩年の作品は歴史を黙示録的な崖に向かう模倣的競争のエスカレーションとして読みました。ティールはジラールを自身の思考に最も深い影響を与えた人物として挙げており、彼自身の言葉によれば、ジラールの洞察が彼をFacebookの最初の外部投資家にしたのです。Facebookは、他人が何を欲するかを見る究極の機械です。

キリスト教の黙示録論者としてのティールは、主に2025年に表面化しました。エッセイを発表したり、カンファレンスでステージに立つ代わりに、彼はACTS 17 Collectiveという、テクノロジー業界に福音を伝える非営利団体が主催する、招待客向けの4回のオフ・ザ・レコードセミナーで反キリストについて語りました。この団体は、彼のパートナーの一人の2023年の誕生日ブランチから生まれました。そのパーティーは聖霊をテーマにしており、ティールは220人ほどのゲストに奇跡、許し、そしてイエスについて語り、彼らは後に彼が宗教的であるとは知らなかったと述べています。講義はリークされました。ワシントン・ポストは音声を聞き、UCバークレーの音声鑑識教授は、アメリカで最も裕福な男性の一人が反キリストについてのプライベートセミナーを行っていたと信じがたいほどだったため、録音を認証しました。あるリバタリアン作家は7時間すべてを聞き、神学は予想通りリバタリアンだったと報告しました。2026年3月、ティールはローマでそのショーを上演しました。カトリック出版物や少なくとも一人の司祭は、彼に止めるように公に求めました。

講義の内容は明らかに自己中心的です。ティールの語るところでは、反キリストは暴君でも邪悪なテクノロジーの天才でもありません。「存亡リスクを絶えず警告し、革新的なセクターに強力な規制を求める者」であり、最初の講義ではグレタ・トゥーンベリとイーリエーザー・ユドコウスキーを「反キリストの軍団兵」と特定しました。この枠組みでは、金融規制は政策上の意見の相違ではありません。それは反キリストが権力に乗り出す世界政府の足場であり、テクノロジーを規制したい人々は間違っているのではなく、神に敵対しているのです。彼はシリーズの途中で、マスクにギビング・プレッジを辞退するように促しました。そうすれば、約2000億ドルという莫大な富が、ビル・ゲイツによって選ばれた左翼非営利団体に流れることはないでしょう。少しの間、これが何であるかに注意してください。過去10年間で最も効果的な共和党ドナーであり、監視会社の会長であり、副大統領のパトロンである人物が、熱狂的な技術者たちの部屋に、反キリストの前衛はスウェーデンの気候活動家とハリー・ポッターのファンフィクション作家であり、そのうちの一人には彼の自身の資金が20年間支援してきた、と説明しています。これらの講義は、彼の政治に隣接する奇妙なものではありません。それらが政治なのです。

反キリストセミナーの前、ティールは9年間にわたる秘密の戦争を報道機関に対して行いました。なぜなら、ティールの敵対的な言論への答えは常に一貫していたからです。反対者を偏見をもって排除すること。2007年12月、Gawkerのシリコンバレーブログは、「Peter Thiel is totally gay, people.」という見出しの短い記事を掲載しました。ティールは公にカミングアウトしていませんでした。内部関係者は知っていましたが、公記録にはなく、彼はそれを好んでいました。彼は後に、そのサイトValleywagを「アルカイダのシリコンバレー版」と描写しました。これは彼の怒りの度合いを示しています。そして、公に争う代わりに、彼は10年近くかけて、他の人々の訴訟を資金提供するために弁護士チームを静かに雇い、約1000万ドルを複数の訴訟に費やしました。そのうちの1つがハルク・ホーガンの訴訟でした。Gawkerは1億4000万ドルの判決を受け、2016年8月に同紙は廃刊となりました。Forbesが誰が請求書を支払っていたかを明らかにすると、ティールはそれを認め、このキャンペーンを「復讐というよりは特定の抑止力」と表現し、彼が行った「より偉大な慈善活動」の一つだと呼びました。彼の資金が雇った訴訟弁護士、チャールズ・ハーダーは、後にドナルド・トランプ、メラニア・トランプ、ジャレッド・クシュナーを代理しました。ヤルヴィンの大聖堂プレイブックに従うことで、ティールは将来の大統領の法務チームに、法的費用を使って反対者を潰す方法を教え、トランプはその後広範にそれを行いました。

神学を取り巻く資金調達は、それ自体が研究対象です。ティールが会長を務める監視請負業者であるPalantirがあり、現在はデンマークの軍、警察、諜報機関に公衆の反対を押し切って統合されており、アメリカの移民執行にも長年組み込まれています。Andurilは、2025年にFounders Fundから史上最大の投資である10億ドルを受け取った自律国境防衛企業であり、その数ヶ月後、国境監視塔の自律機能に関する予算条項が、Andurilだけが満たせる要件となり、特別待遇の非難を招きました。Clearview AIは、彼が早期に支援した顔認識企業です。Enhanced Gamesは、ドーピングが許可されるスポーツリーグであり、Gawkerキャンペーンを運営した弁護士であるアーロン・D・ソウザによって設立され、ティールが主要な資金提供者です。

Pronomos、ティールのスタートアップ都市のための車両は、長年ホンジュラス政府と法廷闘争を繰り広げた半主権チャーターゾーンであるPrósperaと、Andreessenとサム・アルトマンが支援するファンドの助けを借りて5億ドル以上を調達したネットワーク国家プロジェクトであるPraxisに資金を提供しています。その創設者は2019年からグリーンランドに計画を立てており、2024年にトランプが勝利した1週間後に「グリーンランドを買収しに行った」と投稿しました。トランプが島を買収することについて話し始め、軍事力行使の可能性を否定しなかったとき、Praxisは「計画通り」というコメントと共に彼をリツイートしました(https://gizmodo.com/peter-thiel-backed-startup-that-wanted-to-buy-greenland-is-thrilled-that-trump-wants-to-buy-greenland-2000548415)。トランプのコペンハーゲン大使は、PayPalの共同創業者でありティールの古い同僚であるケン・ハウリーであり、Praxisプロジェクトの同盟者です。2025年3月、ヴァンスはピトゥフィクのアメリカ基地に飛び、デンマークが「グリーンランドを安全に保つという点で良い仕事をしていない」と発表しました(https://www.cnbc.com/2025/03/29/jd-vance-accuses-denmark-of-failing-to-keep-greenland-secure.html)。その時点で、Palantir統合に反対するデンマークの反対者は、ティールの領土的趣味を国家安全保障上の議論として引用していました。トランプは2026年1月にNATOとの交渉の後、武力行使の話を撤回しました。ヤルヴィンのPatchworkは、企業として運営される主権領土を想像し、出口だけが救済策でした。それは単なるブログ記事ではありませんでした。ティールは何年もそれを実施しようと画策しており、米国政府は都合よくその買収を強制しようとしてきました。

政府への道

これらすべてを連邦政府に届けるための輸送手段は、JDヴァンスです。

ヴァンスはティールの投資会社Mithrilで働いていました。ティールは後に、ヴァンスの2022年の上院選キャンペーンを推進したスーパーPACに1500万ドルを寄付しました。これは、アメリカの歴史における単一ドナーによる上院選への介入としては最大級のものでした。そしてヴァンスは自身の影響を受けた人物を挙げています。2021年のインタビューで彼は、復帰するトランプ政権は多数の公務員を解雇すべきであり、裁判所がそれを止めようとしたら、行政府はアンドリュー・ジャクソンの有名な言葉「ジョン・マーシャルは決定を下した。今、彼にそれを執行させよ」を引用して、単にそれを無視すべきだと主張しました。彼はこれらの立場を、自身でカーティス・ヤルヴィンの影響を受けたと説明しました。

ヤルヴィンはアメリカ右派の行政国家への敵意を発明したわけではなく、すべてのトランプ政策の秘密の著者でもありません。彼の貢献はより急進的な枠組みでした。独立した機関は単に非効率的なだけでなく、敵対する宗教の統治装置であり、それらを解体することは「再生」の前提条件である、というものです。その枠組みは現在、共和党に蔓延しています。大学、裁判所、公務員への攻撃が、権力集中化賛成ではなく、反腐敗として聴衆に売れる理由です。機関が指導者に抵抗する能力そのものが、告発なのです。

人員はヴァンスよりも深いです。マイケル・クラツィオスは、ティール・キャピタルのプリンシパルであり、科学技術政策局を率いていました。2026年3月までに、ホワイトハウスは彼を、大統領科学技術諮問委員会の共同議長に任命しました。デビッド・サックスと共に、マーク・アンドリーセンもその発表されたメンバーの一人でした。これらの男性は単一の教義を共有していませんが、同じネットワーク内の位置を共有しており、そのネットワークはティールの名刺入れから連邦政府の任命への実績のあるパイプラインを持っています。

さまざまなラショナリスト派閥からの小さな橋もあります。ローレンソンは、ガバナンスと国家運営に関するジャーナルであるPalladiumの設立を、Leverageで働いていたウルフ・ティヴィとジョナ・ベネットに遡り、Leverageの卒業生であるサモ・ブルジャがそれを中心に活動しています。心理学カルトと反民主主義的な政治知的シーンが、人員を共有しています。これらが重要であるために調整は必要ありません。人々は関係、仮定、そして評判をある組織から別の組織へと運びます。それがネットワークです。

ユドコウスキーの信者たちの間の異議

ご存知かもしれませんが、ティールは規制に関する見解からユドコウスキーと決別しました。これらの人々は互いに同意していません。そして、その意見の相違は激しいものです。

ユドコウスキーは高度なAI開発の停止を提唱しており、壊滅的な事態を防ぐために武力紛争のリスクを受け入れることまで、禁止されたプロジェクトに対する軍事的な執行について公に思索しています。アンドリーセンの「テクノ・オプティミスト・マニフェスト」は、存亡リスク思考と効果的利他主義をイデオロギー的な敵として挙げています。彼はそれを、現在大統領科学委員会のメンバーであるベンチャーキャピタルファームの旗印の下で発表しました。ヴァンスは2025年のパリAIスピーチで、過剰な規制に対してヨーロッパに警告しました。ティールは、ご存知の通り、ユドコウスキーを反キリストの軍団兵の一人として数えています。

したがって、「ラショナリストが政府を支配している」というのは、あまりにも単純すぎて役に立ちません。ヤルヴィンはラショナリストコミュニティに別の schism を導入したと見なすことができますが、ネットワークの他の著名なメンバーは互いに争っています。

今月に戻る

なぜこれほど多くのインクをこれに費やすのか、そしてそれがジェイコブ・コックスンがAnthropicを辞職したこととどう関係するのか?

彼の投稿がバイラルになったとき、アメリカの政治の一翼はそれを操作と見なしました。マスクはそれをサイオペと呼びました。保守的なコメンテーターと少なくとも一つのAI業界ブログはタイムスタンプを調べ、バイラル性がきれいすぎ、増幅が速すぎ、すべてが接続されすぎていると結論付けました。彼らは、その投稿を増幅したAI安全資金提供者は、Anthropic自身の投資家と隣接していると指摘し、このすべてが仕組まれたものだとしました。ワシントン・ポストは、その後のキャンペーンを文書化しました。そこでは、災害を警告した研究者自身が物語の対象となり、標的となりました。

それは可能なのでしょうか?それとも彼は単に自分の信じるものを信じ、原則に基づいて行動しただけなのでしょうか?

私にとって、ユドコウスキーとティールの間のラショナリストの schism は、どちらの選択肢ももっともらしくします。サブカルチャーは20年間、共有された資金、共有された住居、共有されたベッド、そして共有された終末論の密なウェブを構築し、その卒業生でフロンティアラボを配置し、その誠実さを頼りに公衆に警告を受け入れるように求めました。そのメンバーの一人が、警告を可能な限り明確な言葉で伝えるために株式を燃やした瞬間、現在彼の業界の投資家と共に統治している派閥の最初の反応は、そのような調整は考えられない、メッセージがそれほど速く有機的に広がることはありえない、誰かがそれに支払っているに違いない、ということでした。コミュニティの批評家たちは、それが物理的にも社会的にもいかに絡み合っているかについては、少なくとも正しかったのです。彼らは単に、自分たちのパトロンに影響を与えずに済む方向にレンズを向けただけです。

コミュニティ自身の弁護は、注目すべきことに、共同体的なものでした。ズヴィ・モウショウィッツ、このシーンのベテランは、コックスンの誠実さを長々と保証しました。バイラル性がAI安全世界の通常の増幅器を本当に驚かせたことを肯定した人々の中には、この作品の破滅の聖職者であるアイラもいました。彼女の言葉は、バイラル性の専門家としてのコミュニティによって受け入れられました。おそらく。しかし、そこで示されている認識論を見てください。社会的なシーンが社会的なシーンのメンバーを保証し、そのバイラル性の専門家は同じシーンから引き抜かれています。ラショナリストたちが身内をかばうとき、そのすべてが誠実であるかどうかを判断するのは困難です。

それはコックスンを信じない理由ではありません。すべての説明によると、敵対的なものも含めて、彼は3年間業界の内部を見て、分野で最も安全と思われる雇用主を辞め、警告を曖昧にしないためにお金を手放し、同僚が確認したことを率直に述べました。Wired誌は彼に尋ねましたが、Anthropicは角を曲がっているのかと。彼の答えは、Anthropicが「この分野で圧倒的に最も責任あるプレイヤー」であり、それがまさに問題だということでした。責任あるプレイヤーでさえ競争しているなら、責任あるプレイヤーはいないのです。それは確かに深刻な発言です。

率直に言って、私もコックスンの話は完全には信頼していません。権利確定の直前に辞めるというタイミングは、仕組まれた物語の選択のように感じられます。つまり、誰かが燃えた財産と率直な若いメッセンジャーが何を買うかを正確に理解し、オフショア銀行口座か何かでそれを手配したのです。さあ、これは私のアルミホイル帽が被る時だと思います。数日以内に、法案が動き出し、超知能を禁止する上院法案がまさにこのような内部告発者を待っており、「ラボは私たちの命を賭けている」という答えは常にライセンス制度です。監査、評価、政府承認リリース。トランプ政権はAnthropicがFableモデルのリリースを一時的にブロックした際にすでにこれに手を出していました。これらの固定費は、既存企業が支払うことができ、新規参入者が支払えないものです。つまり、規制の捕捉です。「すべてをシャットダウンする」から始まる運動は、確実に「規制し、ライセンスを与える」で終わります。もし2つの主要ラボが安全の名の下に自分たちを強化するために影響力工作を依頼したとしたら、それは私たちが過ごした月のように見えるでしょう。

チェッカーをチェックするのは誰か

Anthropicのダリオ・アモデイが、フロンティアラボへの持続的なアクセスを持つ外部評価者の体制を呼びかけるとき、問題となるのは「外部とは誰か」という問いを解決することです。

METRはフロンティアAIシステムを評価する非営利団体であり、最近の批判的なエッセイ「METRはAnthropicに対する意味のあるチェックか?」は、評価者が評価対象の世界に近すぎると主張しています。それを真剣に受け止める最も強力な証拠は、METR自身の開示です。2026年のフロンティアリスクレポートで、同組織はスタッフとフロンティア企業の従業員との間の緊密な個人的関係を認め、初期の利益相反取り決めにおけるギャップを記述しました。これらの開示は不正行為の明確な発見を確立するものではありませんが、そのエッセイは、ラショナリストのネズミの巣から期待できるガバナンスと判断について深刻な疑問を投げかけています。

再び、リスクは、評価者のスタッフとラボのスタッフが同じ40人であるということです。元恋人、元同僚、ルームメイト、共著者、そして姻戚関係者であり、すべてが、世界の運命は異常な力を持つ異常に賢い人々に信頼されることに依存していると教えられたコミュニティに埋め込まれています。真の監督には、それが監督するコミュニティで歓迎され続けることに依存しない権威が必要です。開示、執行可能な利益相反規則、保護された内部告発者、独立した再現、そして差別、監視、労働、軍事利用、集中した企業権力のような、機械の黙示録よりも緊急の懸念を持つ人々のための余地です。

これらすべてが警告を無視することを正当化するものではありません。コックスン、ヒュービンガー、そして彼らの同僚たちは、危険について完全に正しいかもしれません。問題は、米国AIラボを取り巻くコミュニティの判断、政治的目標、そして明確な recusal または合理的な倫理の欠如が、AI破滅論の両側について深刻な疑念を投げかけているということです。

結局のところ、私の懸念は、すべての傲慢さにあると思います。これらの人々のすべてにわたって、共有された免責の理論があります。異常に知的な人々は、他の誰も見逃した何かを理解したため、異常な自由を享受する権利があるのです。なぜなら、利害が大きすぎて通常の安全対策では対応できないからです。ユドコウスキーのファンフィクションは、世代の読者に「英雄的責任」を教えました。CFARはためらう従業員を教化しました。Leverageは心を解決したと主張しましたが、人々を精神的崩壊に導きました。ジジアンは死体の痕跡を残しました。ティールとヤルヴィンは民主主義の破壊に影響を与え続けています。なぜなら、彼らは私たち農民とは異なり、支配階級に属する資格があるからです。ラボとその資金提供者は、機械がすべての人を殺すかもしれないことを秘密裏に知っており、自分たちこそがこの軍拡競争を信頼されるべき人間だと結論付けています。何度も何度も、知性はそれ自体の許可証になります。「私はもっとよく知っている、だから私は他の人ができないことをしてもよい。」


私は、ここで説明されているコミュニティのいずれにも関与しておらず、関与したこともありません。この説明は、公開報道と参加者自身の公開された執筆に基づいています。事実の訂正は[email protected]まで歓迎します。

注釈

  1. 訂正:この記事の以前のバージョンでは、クリスティアーノとカーノフスキーが過去の恋愛関係にあったと描写されていました。それは裏付けられていませんでした。この誤りは、Open Philanthropyの2017年のOpenAI助成金開示を誤読したことから生じました。そこには、クリスティアーノとダリオ・アモデイが「ホールデンと同じ家に住んでいる」とあり、その後に「ホールデンはダリオの姉妹ダニエラと婚約している」と続いていました。彼らはルームメイトであり、パートナーではありませんでした。クリスティアーノの配偶者は、Open Philanthropyの元上級研究員であるアジェヤ・コトラです。↩