HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

私たちは巨大な奇妙な連中にAIを規制させるわけにはいかない

We Can't Let Enormous Weirdos Regulate AI (little-flying-robots.ghost.io)

47 pointsby SLHamlet9 コメント

要約

この記事は、AIの規制に関する現在の議論が、現実的なリスクよりもSF的な終末論に焦点を当てすぎていると批判しています。著者は、ドローン規制の例を挙げ、専門家が現実的な問題に取り組む一方で、奇妙な仮説に資金が投じられている現状を指摘し、AI分野でも同様の傾向が見られると警鐘を鳴らしています。

全文翻訳

なぜ我々は巨大な変人がAIを規制するのを許してはならないのか

ドローンの規制を、標準的で長くて退屈で官僚的なプロセス(我々はそうした)ではなく、極めて重要なアメリカのドローン革新を促進するという名目のもと、実質的な規制を一切行わないと決めたと想像してみよう。

また、ドローンが旅客機に衝突したり、人々の頭上に落下したりする非常に現実的なリスクを数年間研究するために、著名な航空安全専門家、航空宇宙工学技師、そして実直なカーキ色のパンツを履いた経験豊富な人々を雇うことに、全くお金を払わなかったと想像してみよう。

代わりに、我々の資金とリソースのほとんどを、新卒のSTEM専攻者や、超知能を持つ犬が親指を生やしてドローンを人間に向けて飛ばし、大パニックを引き起こし、最終的に地球上の全生命を絶滅させる可能性(彼らは皆そう信じている)について深く考えるために、奇妙な顔の毛を持つドローンブロガーに莫大な金額を支払うことに振り向けたと想像してみよう。

彼らを「ドローン安全研究者」と呼ぶのだ。

[画像:犬が人間のよう��親指を持っている]

同時に、航空安全と政策に関する実際の専門家で、この派閥に属しておらず、実直なカーキ色のパンツを履いている人々が、多くの場合、失業し、傍観者となり、一体何が起こったのかと首をかしげていると想像してみよう。

これらのドローン安全研究者は、同じベイエリアのグループハウスに住み、同じ難解なウェブサイトを読み、同じサイケデリックドラッグに酔ったセックスパーティーに参加しているように見える。そして、彼らは、本来チェック・規制するはずのドローン会社の従業員たちとも、同じパーティーに参加しているのだ。

これらのドローン安全研究者に、犬たちはどのようにして超知能になるのか、ドローンはどこから手に入れるのか、親指の仕組みはどうなっているのかと尋ねると、彼らはあなたを技術的に無知な愚か者だと即座にdismissする。

「天才的な親指を持つ犬のドローン大災害を防ぐことが、人類がこれまで直面した中で最も重要な問題だと見えないのか?」と彼らは激しく反論する。「我々、この世代の偉大な頭脳が、『ドローンが旅客機を墜落させないようにする』といった比較にならないほど些細な懸念に貴重な時間を無駄にすることをどうして提案できるのか?」と彼らは自分のSubstack(皆Substackを持っている)に怒って投稿する。

ドローン会社が、天才的な親指を持つ犬のドローン大災害を防ぐために、規制カルテルのようなものを結成し、ドローン安全研究者(彼らのホットタブパーティーの常連であるかもしれないし、そうでないかもしれない)による監督を受けるべきだと提案し始めると想像してみよう。彼らは、人類を救う唯一の方法はこれだと我々に保証する。

その間ずっと、一般大衆、つまり一般市民は、先週コストコの外でドローンが自分の大叔母さんの頭に落ちた話や、デルタ航空のオーランド行き便がまた左翼エンジンにドローンをぶつけられ、エプコットへの緊急(ほとんど致命的ではなかった)着水を余儀なくされた話を聞き続けていると想像してみよう。

そして、それにもかかわらず、ドローン安全研究者たちは、これらの安全上の懸念は、人類を悩ませる真の亡霊、すなわちドローンを持つ超知能の親指を持つ犬に比べれば、最終的には些細な迷惑にすぎないと主張し続けると想像してみよう。

幸いなことに、我々はコンシューマー向けドローンの登場をこのように扱ってはいない。

これは、奇妙に聞こえるかもしれないが、アメリカが現在、生成AIの登場を扱っている方法と、ほぼ同じである。


アメリカ人がAI関連の懸念、例えば仕事、データセンター、AIに触発された暴力、詐欺などについてますます心配しているにもかかわらず、この国の最も著名で資金力のあるAI「安全」専門家や組織の多くが、「もし我々が自己増殖するロボットの群れを作り出し、バイオ兵器で我々全員を殺すような超知能を創造したらどうなるか、そして何かこう、時間を操作するバジリスクとか?」といったことばかりに焦点を当てているのは奇妙ではないか? [[1]]

そして、この潜在的に世界を破壊する可能性のある技術を構築している最も著名な企業が、自分たちの製品が我々を殺すだろう(ただし、より組織化された規制権限を与えない限りは)と主張することに全力を挙げているのも奇妙ではないか?

一体どうしてこんなことになったのだろうか?

私にはわからない。まあ、具体的には。

しかし、原因についてのいくつかの広範な理論がある。

例えば:

[画像:バジリスクの話をしなければならない]

アメリカの世界的AI企業のかなりの数のメンバーは、同じベイエリアの閉鎖的なグループハウス(しばしば、文字通り)で開かれる同じパーティーで集まっている。彼らは同じ奇妙な合理主義者のハリー・ポッター風の寓話を読み、AI搭載のナノロボットや我々を殺すバジリスクに関する不穏な終末論を大量に摂取し、同じ精神活性物質を飲み、そして(時には)同じ乱交パーティーに参加している。

そして彼らは皆、互いの「おならの臭い」にこれほどまでに浸かってしまい、自分たちがそこで何をしているのかを、我々NPC [[2]] に少しでも普通の方法で話す方法を完全に忘れてしまったのだ。

[画像:それは非常に奇妙な発言ですね、エリーザー・ユドコウスキー]

さらに、彼らの莫大な富と影響力、そしてトランプ氏の非営利団体や学術界への戦争のおかげで、これらの終末論に取り憑かれたオタクたちは、技術規制の空間の多くを乗っ取ることができた。これは、彼らが自分たちの非常に奇妙で証拠の乏しい考え、すなわちどのAIのリスクと損害が最も重要であるかという考えを、あなたや私、そして他のすべての人々に押し付けようとしていることを意味する。

そう、AI終末論グループハウスの連中と同じように、私もテクノロジー主導の未来を非常に恐れている。それは、彼らと同じように超知能AIが我々を殺すという恐怖を共有しているからではない。

それは、このごく一部の人間臭いドワーフたちが、さらに途方もない富と、さらに多くの政治的および規制上の支配力を強力なAI技術に対して獲得しようとしているからであり、それによって彼らは民主主義、プライバシー、そして人間の繁栄をさらに分断させることができるようになるからだ。

それは、我々が手遅れになる前に、彼らの相互のおならの臭いを嗅ぎ合う輪を終わらせない限りだ。


夏の葉が秋に変わるにつれて、我々は2つの主要な強力なテクノロジー派閥が、AIの潜在的な減速、それがどのようなものになるべきか、そして我々全員がどれほど滅亡の危機に瀕しているかについて争っているのを目撃している。

それらを以下のように定義しよう。

AI終末論派閥

最初の派閥は、前述のAI終末論カルト派閥 [[3]] であり、Anthropic、OpenAI、イーロン・マスク、そして多くのAI従業員の同盟によって代表される。これらの人々のほとんどは、程度は異なるが、巨大でうんざりするような合理主義/Less Wrong/Slate Star Codexのボングを吸いながら哲学を投稿する連中と繋がっている。

現在の騒動は9月8日、以前は目立たなかった若いAI研究者、ジェイコブ・コックスンがTwitterで、Anthropicでの数週間の勤務後に辞職したことを発表したことから始まった(それ以前はOpenAIで働いていた)。彼は、両社が「自己改善型超知能に向かってまっすぐにレースしており、我々の命を賭けている」と信じていたからだ。

[画像:コックスンの恐ろしい主張は、現在のAnthropicの従業員の主張によってさらに広まった。彼は、具体的な公開証拠なしに、AIが10年以内に全人類を殺す確率を「10%以上」と評価していると予測した。

[画像:コックスンの恐ろしい主張は、現在のAnthropicの従業員の主張によってさらに広まった。彼は、具体的な公開証拠なしに、AIが10年以内に全人類を殺す確率を「10%以上」と評価していると予測した。

これらの暴露は、大手AI企業が監督不足のモデルを使って他の企業をハッキングしたという不穏な最近の報告の後に続いた(最近の暴露では、OpenAIのモデルがオーストラリア政府のウェブサイトをハッキングした)。そのため、AIによる存亡の危機への公衆の懸念が臨界点に達するのに適したタイミングだった。すぐに、バラク・オバマ、ヒラリー・クリントン、そしてシュルレアリストのバーニー・サンダースと実際の lich であるスティーブ・バノンによる奇妙な共同作業など、他の多くの著名人が不吉なAIの終末について語り始めた。

数日後の9月12日、AnthropicのCEOであるダリオ・アモデイは「我々はフロンティアをペースダウンしなければならない」と題したエッセイを発表し、最近の著名なAIの「脱走」事件を、AI企業がモデルの能力を高める速度を遅くする必要があることの証明として引用した。

アモデイは、そのような「ペースダウン」がどのようなものになるかについていくつかの提案を行った。第一に、AI企業内に「組み込み評価者」を配置して「安全対策を検証し、インシデントを報告する」こと、第二に、主要なフロンティアAI企業間で共通の安全基準と制限を開発すること。これにより、中国のような他のAI大国がリスク削減協定に署名するよう説得できることが期待される。

末尾の小さな脚注で、アモデイは、そのような業界全体の連携努力には「政府の仲介または独占禁止法の免除」が必要になる可能性があることを認めた。

批評家たちはすぐにこの言及に飛びつき、(今のところ)訴訟と、そこに含まれる法的問題の広範な分析の両方を引き起こした。批評家たちはまた、アモデイが潜在的な「組み込み評価者」として明確に言及したMETRという組織が、監視するはずの同じ企業と個人的および社会的に非常に密接に結びついていることを指摘した。

[画像:METRのロゴ]

すぐに、OpenAIのサム・アルトマンはアモデイの提案に同意した(ただし、独占禁止法の免除の必要性については同意しなかった)。イーロン・マスクでさえ、TwitterでのCSAM拡散の完全な失敗から一時的に離れて同意した。

テーマを続けると、9月23日、ダリオ・アモデイとサム・アルトマンの両方が国連総会で演説し、(アモデイは)「AIは人類全体にとってリスクになり得る」と述べ、(アルトマンは)我々は「AIに未来を委ねてしまうかもしれない」と主張した。

ベイビー、君はシチューを作っているね!

[画像:シチューの鍋]

あるいは、ごく少数のプレイヤー、特に同じセックスパーティーに参加し、同じ長文のブログや、思慮深い小説のような長さの合理主義者の [[4]] ハリー・ポッター風寓話を読んでいる人々に利益をもたらす規制カルテルだろうか?どう見るかによるが。

ここで、もしAI終末論派閥が、自分たちが構築している技術が人類を殺す重大なリスクを秘めていると確信しているなら、なぜ彼らは完全にフロンティアモデルの構築をやめないのだろうか、と疑問に思うかもしれない。

彼らはこの質問を非常に愚かだと考えている。

AI終末論派閥のほとんどのメンバーは、彼らの行動の重大さが夜の夢を悩ませているとしても、彼らはAIを作り続けなければならない(ただし、より協調的かつ管理された方法で)と考えている。なぜなら、もし彼らがやらなければ、自分たちほど賢くなく、倫理的でなく、ハンサムでない誰か(おそらく中国)が、偉大で恐ろしい機械神を代わりに構築してしまうだろうからだ。それはひどいことになるだろう。

さらに、AI終末論派閥は、彼らの差し迫ったIPOが彼らの多くを史上最も裕福な人々の一部にするだろうと認めることに概ね前向きである一方で、我々はこのことを良いこととして見るべきだと考えているようでもある。

慈善活動や効果的利他主義の界隈で、新しいAIの寵児が、莫大な富を慈善団体に寄付することで世界を救うだろうという最近の憶測を考えてみよう。この観点からは、AI IPOの収益は、イーロン・マスクによって個人的に主導された、歴史的に邪悪な行為であるUSAIDの破壊によって引き起こされるであろう1400万人の死者を止めるのに役立つだろう。

そして、それは効果的利他主義としてどれほど効果的なのだろうか? [[6]]

もしこれらの人々が、自分たちが構築しているAI技術が人類を破壊する可能性があると本当に確信しているなら、なぜ彼らは自社を国有化し、より民主的で厳格で透明な規制プロセス(トランプ氏が最終的に失職すると仮定した場合)に服させないのだろうか、と疑問に思うかもしれない。

その答えは推測できるだろう。

彼らは本当に奇妙なことを信じているのか?

AI終末論派閥は、総人類滅亡という不穏なことを言っているのは、それが優れたマーケティングだからであり、自分たちのツールが実際よりも恐ろしく、世界を破壊する可能性が高いように見せることで利益を得ようとしているからだと主張する人もいる。

これは、ある意味では慰めになる意見だ。私もそれは間違っていると信じている。

少数の主要なAI関係者は、おそらく単に時代の寵児となるような報酬のために終末論の予測を繰り返しているのだろうが、大多数は本当に自分たちの「供給」に酔っているのだと思う。

[画像:ジョン・カルヴィンが再びやっている]

彼らは本当に、自分たちが神のような力を持つ技術の選ばれしエリート管理者であると信じている。それは、ジョン・カルヴィンの不快な世界観に不気味に近く、彼らは本当にそう信じているのだ。

彼らは本当に、この強力な超知能を構築し、制御しようとする資格のある唯一の人間であると信じており、そのためには、その制御を維持するために、あらゆることを(潜在的に、多くの嘘をつくことも含めて)しなければならないと信じている。

残念ながら、我々は真の信奉者たちに対処している。そして、真の信奉者たちにありがちなように、彼らは1.本当に奇妙であり、2.本当に閉鎖的である。

他の人々は、アメリカの主要AI企業のリーダーたち、「AI安全」組織、ハリー・ポッターのファンフィクションに夢中な非常にオンラインな合理主義者、そしてその活動の多くに資金を提供している懐の深い効果的利他主義者の間の信じられないほど密接な個人的な繋がりと重複の非常に濃密なウェブについて長く書いてきたので、基本的なことの繰り返しにはあまり時間をかけない。また、合理主義者のコミュニティがZiziansというスピンオフグループを生み出したことについても触れている。このグループは後に、いくつかの著名な殺人事件を犯した。(この文章の最後の方に、さらに読むための提案があります。またはこちらをクリックしてください)。

「奇妙」と言うとき、それは本当に、本当に奇妙なことを意味すると言っておけば十分だろう。

死んだ目の資本家たちの反対派

ここで、AI終末論派閥の「フロンティアをペースダウンしよう」という呼びかけに腹を立てている、もう一つの大物同盟に話を移そう。彼らを短く「死んだ目の資本家」と呼ぶことにする。

このグループには、NVIDIAのジェンセン・フアン、マーク・キューバン、デビッド・サックス、マーク・アンドリーセン、アレックス・カープ、マーク・ザッカーバーグ、そしてトランプ政権の多く(その他多数)が含まれる。彼らは様々な理由で、協調的なAI減速は悪い考えであり、AI終末論派閥は何かずるいことを企んでいると考えている。

他の側がAI減速の懸念を利用してカルテルを結成しようとしていると指摘するのは間違っていないが、彼らが主に腹を立てているのは、自分たちもその巨大な力を持つカルテルの一員になりたいからだということに注意することが重要だ。彼らが、AIのさらなる発展が人間に与える影響を本当に気にかけているから怒っているとは、私は全く信じない。彼らは、収入格差の悪化に反対しているから怒っているわけでは決してない。

これは、このグループが一般のアメリカ国民の意見と大きく異なるAIに関する意見を持っているという意味ではない。彼らの多くも、少なくとも超知能を持つ機械神のようなものがあると主張している:ただ、彼らはそれが我々の友人になると考えているだけだ。

マーク・アンドリーセンが2023年10月のボングを吸いながら書いたテクノ・楽観主義の賛歌の中で述べた言葉を引用しよう:「AIの減速は命を犠牲にすると我々は信じている。存在できなかったAIによって防げたはずの死は、殺人の一形態である。」

次にNVIDIAのジェンセン・フアンがいる。彼は「賢明なAI CEO」として振る舞うが、ニューヨーク・タイムズのインタビューで、AIが普及した世界で子供たちが基本的な算数をできなくなっていることについて、彼は自分の家の住所さえ知らないのだから、問題ないと考えていると率直に認めた。

[画像:ジェンセン・フアンは、ライフアラートが必要なのだろうか]

一方、Metaのマーク・ザッカーバーグは、AIが「あなたの目標を達成し、世界で見たいものを創造し、あらゆる冒険を体験し、大切な人へのより良い友人になり、あなたがなりたい人物へと成長するのを助ける『個人的超知能』」を創造するのに役立つと信じている。彼は2025年7月の決算説明会で、「将来、AIメガネ(またはAIと対話する方法)を持たない人は、他の人々と比べてかなりの認知的な不利を被るだろう」と主張してこの点を繰り返した。

[画像:神よ、我々を救いたまえ]

最後の証拠として、ドナルド・トランプの、ますます急激なAIスロップまみれの狂気への転落に何が起こっているのかを考えてみよう。(ドナルド・トランプが核のコードを持っていることをあまり考えないようにしよう。私は個人的に、超知能AIに永遠に拷問されるという可能性よりも、それをはるかに恐ろしく感じている。)

我々はどうなるのか?

これで、残りの我々、つまりこの狂った巨人の衝突を傍観し、この激しい億万長者の投稿が我々の未来にとって何を意味するのか疑問に思っている大多数の普通の民衆に話が及ぶ。大量失業と貧困か? 貪欲なグレイグーマシンにミンチにされるのか? 愛情深い機械によるユートピアか? それとも何も変わらないのか?

私は大胆にも、両方の側が汗臭い変人であり、未来を築く究極の力を与えられるべきではないと主張したい。この権力、影響力、そして莫大な富を巡る激しい闘争において、両方の側の動機は深く疑わしいと信じている。

[画像:外に出よう!!!]

個人的には、私は「おならの臭いを嗅ぎ合う輪」を断ち切り、この毛むしり合う戦いに閉じ込められた2匹の神経質な犬に冷水を浴びせかけ、同じグループチャットやポリアモラスな関係にいない、人口統計学的に多様で、冷静で、関連する経験を持つ大人がAIを賢明に規制する責任を負うようにするために必要なことを行うことを望む、急速に成長している一派の一員である。

なぜなら、我々はこれらのひどい変人、これらの実験的なドラッグ中毒の億万長者、これらのスプレッドシート崇拝のドワーフたちが、我々の未来を決定することを決して許してはならないのだ。

いや、私はAI否定論者ではない。生成AIツールは信じられないほど有用であり、私は現在、以前は気が遠くなるほど退屈で時間のかかる特定のプログラミングタスクを完了するのに役立つようにそれらを定期的に使用している。

また、それらが危険であるとも考えている。これは、過去2年間の見出しをちらっと見るだけでも、そして私のプロフェッショナルなキャリア全体によって証明されている。

私は人生の多くを新しい技術の危険性を軽減しようと費やしてきた。最近では、私はほとんどの時間を別の恐ろしいサイバーパンクの悪夢、すなわち、一般市民を殺害するために小型で安価なドローンが拡大使用されること [[画像:ドローン]] に費やしている。そしてこの経験こそが、私がAIの終末論者の主張、すなわちLLMが人類がこれまでに発明した中で最も危険なツールであるという主張を信じない理由なのだ。

なぜなら、私の仕事は、AI安全分野のトップの名前たちが焦点を当てることに著しく無関心である、非常に恐ろしく、現在起こっている技術的損害に注意を払うことを長年要求してきたからだ。

[画像:この男を思い出して]

例えば、ますますAI化された大量監視デバイスが我々のコミュニティを席巻する悪夢のようなものだ。

AI企業が世界中で建設を急いでいるデータセンターの地域社会や環境への影響に関する継続的な不確実性。

ChatGPTのような大手AI企業が生成したツールと会話した後、一部の人々が殺人や大量殺人を犯すように奨励されたように見えること。

生成AIによって可能になった詐欺の増大する波は、特に高齢者からますます多くの金額を奪っている。

イーロン・マスクのX/Twitter(AI業界のお気に入りのソーシャルメディアサイト)や、ますます制御不能になっているAI搭載のインターネットの他の場所での、AI支援の児童性的虐待資料の異常な拡散。

一日中続けられるが、要点は理解できたはずだ。

平均的な人々が心配し、現在、対処するのに苦労しているまさに、恐ろしい技術的リスクと損害であり、AI存亡の危機派閥が、粘液のように、かつてはより地に足のついた倫理的技術政策を支えていた多くの注目と資金を吸収してしまったため、我々がそれに対処するのを困難にしている。

AIを規制する方法を理解できる合理的な人々はいないのか?彼らに何が起こったのか?

前述のように、私は小型ドローンによる民間人保護に取り組んでいる。これは、世界中の子供や老人が、ますます洗練された小型飛行ロボットによって爆破されるのを、高解像度のソーシャルメディア動画で見るのに多くの時間を費やしていることを意味する。しかし、私と私の同僚は、この非常に現実的なサイバーパンクの悪夢に対処することに人々に関心を持ってもらったり、資金を提供してもらったりするのに苦労している。

私はこの超現実的で、道徳的苦痛を引き起こす状況にいる唯一の人間ではない。

私は、非常識的で実用的な技術規制と制御の方法を考えることに特化した、賢明で、優秀で、しばしば著しく低賃金の多くの人々と協力してキャリアを積んできた。今日、それらの善良な人々の多くは、失業、低賃金、資金を失うことへの恐れ、あるいは嫌がらせへの恐れといった、いくつかの組み合わせの状態にある。なぜだろうか?

ここで公平に非難を分配しよう。

[画像:この特定の男が今、世界を破壊しているのは素晴らしいことだ]

この悲惨な状況は、イーロン・マスクによる2022年のTwitter買収とその後の破壊の一部のせいである。この動きは、大手テック企業の多くに、独立心のある倫理的技術研究を気にかける(あるいは協力する、あるいは資金を提供する)ふりさえもやめることができると確信させた。

イーロン・マスクとDOGEの熱烈な支持を得て、トランプ政権が非営利団体、人道支援、そして学術研究資金システムの多くを破壊したこと、そしてシリコンバレーのすでに十分すぎるほど大胆な支配者たちをさらに大胆にさせたことの一部である。

そして、2020年代初頭からの、いわゆる「AI安全」 [[画像:AI安全のロゴ]] や「壊滅的リスク」(その他の婉曲的な言葉)の研究・政策エコシステムの急激な台頭を始めた、大手AIとそのAI終末論に取り憑かれた仲間たちの一部のせいでもある。

これは、著名な「効果的利他主義」の創設者たち(彼らは奇妙な合理主義者コミュニティと社会的に、そして思想的に非常に重複している)によって資金提供された組織や研究者の集まりであり、外部世界に対しては賢明な技術政策専門家として見せかけることに長けている。しかし、彼らの主な関心は、「AIが人々の仕事を奪ったらどうなるか」といったことよりも、はるかに奇妙なことにある。

[画像:笑]

効果的利他主義に連携した莫大な億万長者の資金に支えられ、これらのいわゆるAI安全専門家たちは、公衆の影響力と資金調達の両方において、古い非キワモノ技術政策の守護者を乗っ取るという「餌と交換」の動きに成功した。彼らを、高価なカーディガンを着た寄生的なカッコウ鳥と考えてほしい。 [[画像:カーディガンを着たカッコウ鳥]]


効果的利他主義者はどのようにAI規制を乗っ取ったのか

私はかつて、効果的利他主義者は少し迷惑だが、ほとんど無害だと思っていた。彼らの数量化に執着するアプローチや、ピーター・シンガーに触発された哲学が時折取る奇妙な方向性には眉をひそめたが、マラリアとの戦いに多額のお金を費やしているグループについて夜も眠れなかったわけではない。

2023年初頭、サム・バンクマン=フリードが破綻し、彼の会社が崩壊し、EAの主要な著名人たちがベッドネットではなく2000万ドルの豪邸を購入していたという話がたくさん出てきたとき、私は考えを変えた。

どうやら、多くのEA著名人たちは、その頃には、疑わしいほど合理主義的なやり方で、差し迫ったAI超知能の終末と、まだ生まれていない何兆人もの人々の幸福(また、時にはエビの幸福)について心配することが、他の何よりも重要だと自分たちに言い聞かせていたようだ。世界の貧困と健康への対処さえも含まれる。

私は楽観的に、このスキャンダルがコミュニティに謙虚さを教え、リセットを追求する考えを育むことを期待した。残念ながら、私は間違っていた。

[画像:サム・バンクマン=フリードが刑務所に入っている]

2023年から2024年にかけて、SBFの失墜と投獄の物語が進むにつれて、Politicoのブランドン・ボーデロン(その他多数)は、億万長者のEA資金提供者であるDustin Moskovitz(Open Philanthropy/Coefficient Giving)やJaan Tallinn(Lightspeed Grant)が、ワシントンの影響力のある政治部門やシンクタンク、著名な組織(RAND Corporationなど)でEA志向の研究者のためのロビー活動やフェローシップポジションに資金を提供してきたことを明らかにする、数多くの よく調査された記事を発表した。

同時に、効果的利他主義の世界は、必要とされている内部の争いや議論に突入したが、運動自体は、前述の巨額のテック企業資金によって支えられ、進み続けた。

運動全体がFTX事件から多くの教訓を学んだり、変革的な自己反省に従事したりしたようには、現場にはほとんど証拠がない。実際、ほんの数日前、数百万ドルを管理する効果的利他主義ファンドの一つが、失墜したAlameda ResearchとFTXのリーダーであるキャロライン・エリソンを雇用したことを、かなり防御的に発表した。

一方、EA運動とそのいわゆる「AI安全」運動への支持は、2023年以降も政治的影響力と権力を増し続けている。彼らはこれらの努力において非常に成功したため、トランプ2.0が2025年初頭に非営利団体、学術研究、援助エコシステム全体に火と剣をもたらしたとき、EAが支援するAI安全組織や研究者は、倫理的技術政策、研究 [[画像:AI安全のロゴ]]、そして擁護活動において、おそらく最も著名で、そして議論の余地なく最も資金力のある声となった。

そして、これがアメリカの倫理的技術政策の世界が、かつてよりもはるかに奇妙で、はるかに突飛なものになった、非常に、非常に短い物語である。

[画像:ジョーイが私のEAに関する個人的な考えを完璧に要約している]

これは多くの理由で悪いことだ。しかし、私はそれを要約する。

それは悪い。なぜなら、効果的利他主義運動とその支持者が支援する「AI安全」エコシステムは、両方とも2つの中心的な問題を抱えているからだ。

  1. EA運動のメンバーは、合理主義者、AI安全研究者、AI企業の幹部と、多くの点で非常に重複しており、非常に近親相姦的(そして偏っている)であり、現在実際に人々を襲っている終末よりも、AI終末論の思考実験にはるかに関心がある。
  2. この共有された文化的・社会的世界のために、これらのグループはすべて、自分たちが世界で唯一賢く合理的だと仮定する病理を共有している。そして、援助を行ったり寄付したりしようとしている他のすべての人々は、おそらく愚かで非合理的だ。

この傲慢さは、ウガンダの農民で社会起業家であるアンソニー・カルルが指摘するように、貧しい人々のニーズや欲求をほとんど無関係なものとして無視することにまで及ぶことがある。これは、彼らの合理主義者やAI安全の兄弟姉妹が、AIに関する平均的なアメリカ人のニーズや欲求を現在無視しているのと非常によく似ている。

[画像:ああ、そう]

カルルによれば、伝統的な慈善事業もまた、 condescending な、トップダウンの「我々は賢い西洋人としてあなたたちのために何が最善かを知っている」という態度に悩まされていたが、少なくとも多くの小規模な草の根組織を資金提供していた。一方、効果的利他主義の絶え間ない数量化駆動型アプローチは、より大きな、西洋の組織の能力を大きく支持し、それによって地元の声、NGO、そして利害を完全に排除している。 [[5]]

実際、効果的利他主義は、伝統的な援助セクターとは異なり、援助の現地化にはほとんど関心がないように見える。そしてカルルは確かに、効果的利他主義のアプローチに対する他の非常に顕著な批判の中で、この盲点について指摘している唯一の人物ではない。しかし、この盲点はそれほど驚くべきことではない。なぜなら、2024年の調査によると、自己認識したEAの68.8%は男性、75%は白人、80%は上位200大学出身である。

この傲慢さは、一部の主要なEAが、他のすべての人々よりも自分たちが賢いと考えているため、世界の健康と貧困削減に関する公的な仕事を利用して、より賢く、親切で、高収入の人々を仲間に引き込もうと信じていることにも及ぶ。[[7]] これらの新しい加入者は、最終的に、子供たちを今日救うことは、数千年後の子供たちを救う(おそらく、仮説的に)という、存在論的なAIリスクに焦点を当てることよりも重要ではないと説得される可能性がある。彼らのうち何人かは、この餌と交換のアプローチについて公然と話すことを厭わない。

このすべてがどれほど奇妙になったかの別の例として、80,000 Hours [[画像:80,000 Hoursのロゴ]] が公表した優先順位リストを見てみよう。この組織は、効果的利他主義の共同創設者であるウィリアム・マカスキル(サム・バンクマン=フリードの友人であり、イーロン・マスクにTwitter買収を紹介したことで有名)によって共同設立された、非常に影響力のあるEA組織である。具体的には、80,000 Hoursは、EAの世界観に沿った高給取りの専門家が、どこにどのように資金を寄付するかを考えるのを支援することに焦点を当てている。

我々が主なる神の年2026年において、80,000 Hoursがどのように優先順位をつけているかを見てみよう。

[画像:80,000 Hoursの優先順位リスト(AIリスク、極端な権力集中、パンデミック、核兵器、気候変動、グローバルヘルス)]

[画像:80,000 Hoursの優先順位リスト(AIリスク、極端な権力集中、パンデミック、核兵器、気候変動、グローバルヘルス)]

[画像:80,000 Hoursの優先順位リスト(AIリスク、極端な権力集中、パンデミック、核兵器、気候変動、グローバルヘルス)]

AIリスクが最上位に来ている。AIが極端な権力集中につながるというのは非常に妥当な懸念だと認めるとしよう、しかし、この組織の概要は、その問題の本質的に非常に政治的な性質を指摘することに著しく消極的である(これはEAの文献全体に共通するテーマである)。一方、グローバルヘルスと気候変動は最下位に沈んでいる。そして核兵器は名誉ある言及にすぎない。

率直に言って、これは奇妙だ。

これは、ほとんどの普通の人が、慈善活動の最優先事項であるべきだと考えているものと根本的に一致しない価値観である。私はこれを、EAが世論調査研究に資金を提供しており、同じことを言っていることを知っているからだ。

[画像:世論調査結果(AIリスクよりもグローバルヘルスと気候変動を優先する一般市民)]

効果的利他主義の資金は確かに良いことをしてきた。それを認めたい。最近では、9月18日に、Dustin MoskovitzとCari TunaのCoefficient Givingが、ドナルド・トランプとイーロン・マスクによって作られたひどい援助資金危機を低・中所得国が乗り越えるのを助けることを目的とした、1億6500万ドルのヘルスエイド移行基金を発表した。

そして、そのような寄付は(そしてそれは本当に素晴らしいものだ)素晴らしいとしても、我々はまたその出所を考慮しなければならない。出所とは、より広範な運動の一部であり、そのメンバーは、世界的な健康と貧困の削減をメインコース前のサラダのように見なしているように見える組織である。良いものだが、結局のところ彼らが何のためにここにいるのかはわかっている。

この文脈を念頭に置くと、EAの慈善活動の世界(繰り返しになるが、AnthropicとOpenAIのIPOから数兆ドルもの寄付金を受け取ると予想されている)は、さらなるAI安全研究に資金を提供するのと同じくらい、世界的な援助危機の解決にコミットするだろうか?

彼らが、奇妙なSF風の終末シナリオを分析することを、少なくとも世界の貧しい人々を生かし続けることと同等以上に重要だと考えているように見えることは、我々は受け入れて良いのだろうか?(そして、運動の多くの人々がAI終末論の研究をそれよりもはるかに重要だと考えていることは?)

現在利用可能な情報に基づいて、これらの人々や組織が、莫大な資金と政治的資本を、非常に深い懐を持つ民間慈善団体では決して代替できない巨大な政府組織であるUSAIDを復活させるために費やす意思があることを、我々は本当に信じるべきだろうか?

私は信じない。

[画像:このミームをもっと良く作れたかもしれないが、それはそれなりに原始的な魅力を持っていると思う]

我々はどのようにして変人がAI規制を支配するのを止めるのか?

第一に、我々は民主党が中間選挙で勝利する必要がある。 今のところ、私はその見通しに楽観的だ。

我々は、知っているすべての人に(友人、家族、政治代表者)アメリカ最大のテクノロジー企業が本当に奇妙なものに魅了されていることを伝える必要がある。あまりにも奇妙なものなので、自己規制したり、アメリカの一般市民のAI技術に関する真の懸念に対処するような方法で政府と協力したりすることは信頼できない。

AI終末論派閥がこれほど多くのことを許されてきたのは、主に1.非常にオンラインでない人々に説明しようとすると、狂っているように聞こえること、そして2.その結果、説明しようとした人が少なすぎたことによる。幸いなことに、奇妙なAI終末論のくだらない話について語るダムが決壊したようだ。そして、初心者のための良い説明記事を書く人が増えている(下記参照)。

特に、政治家たちは、シリコンバレーのAI合理主義者やEAに近づくと、予想以上の奇妙さを得ることになるかもしれないという事実に気づく必要がある。あなたは、13歳の子供が忍び込めたと主張したAIグループハウスのパーティーに関するニューヨーク・タイムズの記事を見せることから始めることができる。

我々は、非キワモノ、非シリコンバレーAI終末論カルト、非DOGEの技術専門家を政府と政策に呼び戻す必要がある。 私が知っているすべての賢明で経験豊富で倫理的な政府の技術・技術政策専門家はまだそこにいるし、キワモノでも偏見でもなく、奇妙でもないAI政策と制御を策定することに取り組みたいと強く願っている。それがどのようなものになり得るかの一例として、この素晴らしいLiberal Currentsの記事を読んでほしい。我々は、変人たちから規制の未来を取り戻すために必要な才能と専門知識を持っている。

我々は希望を維持する必要がある。 なぜなら、希望はあるのだ。我々は運命づけられていない。我々はこれを共に成し遂げることができるし、それを成し遂げるために機械神も、神の代理人を自称する欠陥のある人々も必要としない。

さらに読む

私は奇妙なAIの男たちに関する読書リストのマスターリストを維持している。

いくつかの抜粋:

一般

AIカルトについて、政策立案者と一般市民が知っておくべきこと - ナタリー・マレシャル、Tech Policy Press

AI論争の中心にあるテクノ・宗教 - The Daily (Podcast)、New York Times

ネットワーキングに暗い側面があるAIパーティーハウス - キルスティン・グラインド、New York Times

AI安全カルトを止める ft. アダム・ベッカーとカル・ニューポート - Better Offline (Podcast)

今、AIについてどれくらい心配すべきか? - カル・ニューポート、New York Times

More Everything Forever - アダム・ベッカー (書籍)

「皆死んだと思う」:AIの脅威が新しい政治的同盟をどのように煽っているか - カルダー・マクヒュー、ブレンダン・ボーデロン、Politico

AI企業は自己規制できない:なぜ信頼できないのか - ハイディ・クラフ、Nature

安全性の共同選択と国家安全保障の侵害:AIリスク閾値の弱体化の自己成就予言 - ハイディ・クラフ、サラ・マイヤーズ・ウェスト、Arxiv

この夏のAIハイプに騙されないで - ティムニット・ゲブル、エミリー・M・ベンダー、MIT Technology Review

サム・アルトマンは我々の未来を支配するかもしれない—彼は信頼できるのか? - ローナン・ファロー、 アンドリュー・マランツ、New Yorker

TESCREALバンドル:優生学と人工汎用知能を通じたユートピアの約束 - ティムニット・ゲブル、エミール・P・トーレス、First Monday

AIキッズがサンフランシスコを制圧 - ケリー・ハウリー、New York Magazine

子供の遊び - サム・クリス

合理主義者

シリコンバレーのテクノ宗教の台頭 - ケイド・メッツ、New York Times

Ziziansと合理主義者の死のカルト - マックス・リード

Ziziansとは誰か? - WBUR

パート1:Zizians:ハリー・ポッターのファンフィクションが死のカルトをどのようにインスピレーションしたか - Behind the Bastards (Podcast)

ネオリアクション、バジリスク - エリザベス・サンディファー

合理主義者の非合理性 (w/ サマンサ・ハンコックス=リー) - アーロン・ロス・パウエル、ReImagining Liberty (Podcast)

効果的利他主義

効果的利他主義の餌と交換:グローバル貧困からAI終末論へ - ニリット・ワイス=ブラット、Techdirt

シリコンバレーのAIへの執着の現実世界への影響 - エレン・ヒューエット、Bloomberg

それは約束する善、それがもたらす害:効果的利他主義に関する批判的エッセイ、キャロル・J・アダムス、アリス・クレイリー、ロリ・グルーエン編、オックスフォード大学出版局 (書籍)

女性と効果的利他主義 - ケルサナ・ゴパルクリシュナン

効果的利他主義は、グローバルサウスの極貧層を排除する点で、伝統的な慈善事業よりも悪い - アンソニー・カルル

効果的利他主義の悲しい衰退 - ヤロウ・ブシャール、Strange Cosmos

効果的利他主義はより良く善を行うことを約束する。これらの女性たちは、それが性的ハラスメントと虐待の有害な文化を持っていると言っている - シャーロット・アルター、Time

効果的利他主義の死 - レイフ・ウェナー、Wired

[[1]]: 彼らの優れた知性にもかかわらず、自称AIの選ばれし者たちの多くは、彼らの業界のますます壊滅的な広報上の問題と、公衆とのコミュニケーションに対する長年の軽視が、おそらく関連する現象であることに気づいていないようだ。
[[2]]: テック分野の一部の人々が我々のような哀れな小さな一般人を指して使う「ノンプレイヤーキャラクター」のことだ。
[[3]]: 奇妙な小さなAIの男たちの世界についてさらに読むには、私がまとめつつあるこのSembleコレクションをチェックしてほしい。
[[4]]: もしまだ合理主義者について聞いたことがなければ(彼らは大手AI企業や効果的利他主義と非常に重複している)、残念ながら、今こそ学ぶ時だ。
[[5]]: GiveWellが2014年1月から2026年8月までに公開した助成金のリストを見ると、96%以上が先進国に本社を置く組織に行っていることがわかるが、詳細なデータ分析は行っていない。
[[6]]: このように、大手テックは再び、すべての問題の創造者であると同時に解決者であるという立場をとる。
[[7]]: エリーザー・ユドコウスキーが『ハリー・ポッターと合理主義の方法』を「国際数学オリンピック出場者を募集する良い方法」として明確に使用したのと同様に(彼らはティーンエイジャーであり、2010年にはハリー・ポッターを読んでいると安全に仮定できたグループである)。