AI・機械学習
良い人々は悪いことをすることを拒否する
Good people refuse to do bad things (carette.xyz)
要約
この記事は、Anthropicを辞職したエンジニア、Jacob Coxon氏の事例を基に、AI開発企業における責任ある行動の欠如と、超知能による人類滅亡のリスクについて論じています。Coxon氏は、AI開発競争が安全性を犠牲にしていると警告し、自身の株式を放棄して内部告発を行いました。Facebookの元従業員Frances Haugen氏の事例と比較しながら、個々のエンジニアの良心が、企業文化や報酬のために犠牲にされている現状を指摘し、技術者に対して、自らの行動の責任と、内部からの変革の限界について問いかけています。
全文翻訳
本日、私はAnthropicを辞職しました。私は過去3年間、OpenAIとAnthropicの両方で事前学習研究を行ってきました。どちらの企業も責任ある行動をとっていません。彼らは自己改善型超知能へとまっすぐに競争しており、私たちの命を賭けています。詳細は以下の投稿で。
— Jacob Coxon (@hilbertspaess) 2026年9月9日
これは、Jacob Coxonが先週X(旧Twitter)でAI業界に別れを告げた方法です。そして、それに続く投稿で彼はこう述べています。「AIを構築している人々は、それが今年末までに私たち全員を殺す可能性があると真剣に信じています。これはマーケティングの誇張ではありません。」
Jacob Coxonはスターではありません。彼はCEOでも、有名な科学者でも、博士号も持っていません(はい、アメリカでは博士号なしで「AI研究者」になることができます)。彼は27歳でAnthropicに入社しましたが、それは主にその安全性の評判のためであり、彼は問題を解決し、「世界をより良い場所にする」ことを好んでいました。彼は、他の多くの私たちと同様に、エンジニアなのです。
しかし、彼は私たちの大半が決してしないことをしました。彼は株式が権利確定する2ヶ月前に退職し、それを放棄して発言しました。「もはやAnthropicの評価額を釣り上げることで得るものは何もありません。... 私は株式が権利確定する前に辞めました。」
彼はAnthropicを「悪」と呼んでいません。彼はウォール・ストリート・ジャーナルに対し、彼らの安全への取り組みは誠実だとさえ語っています。彼の告発はそれよりも冷たいものです。「競争を強いられているなら、近道をしなければならない」のです。
この反応は過剰だと主張する人もいるかもしれません。一つの辞表、1億1500万回以上の再生、エンジニア、起業家、あるいは単なる人間たちの間でソーシャルネットワーク上に巻き起こった怒り、そして突然規制を求める議員たち。しかし、まさにそこがポイントなのです。一人のエンジニアの離職が世界全体を動揺させるということは、世界がすでに疑っていることを示しています。機械の中にいる人々が「これは危険だ」と言うとき、その騒ぎは悪い評判というよりも症状なのです。内部関係者自身がそれを認めました。
AnthropicのアライメントチームリーダーであるEvan Hubinger氏は、「Jacobの言うことは正しい。私たちはAIが全人類を殺す可能性があると真剣に信じています!個人的には、今後10年以内にその可能性は10%以上だと考えています。Anthropicは最善を尽くしていると信じていますが、私たちはまだ超知能のためのアライメント問題を解決する計画を持っておらず、その軌道にも明確に乗っていません。」と書いています。
私たちはこの映画を以前にも見たことがあります #
5年前、別の従業員が自身の会社の内部研究を見て、同じ選択に直面しました。ウォール・ストリート・ジャーナルの「Facebook Files」によって明らかにされたFacebook自身のスライドには、「私たちは10代の少女の3人に1人の間で、身体イメージの問題を悪化させています。」と、「自殺願望を表明した10代のうち、イギリスのユーザーの13%、アメリカのユーザーの6%が、自殺願望をInstagramに起因すると回答しました。」と書かれていました。
Frances Haugenは見て見ぬふりをしませんでした。彼女は文書を集め、辞職し、米国上院で証言しました。2026年のCoxon、2021年のHaugen。会社は違えど、同じ行動です。彼らは拒否し、去り、外部に警告しました。このパターンこそがポイントなのです。
どちらの場合も、会社は知っていました。そして、どちらの場合も、内部の誰かが、知っているだけで十分かどうかを決定する必要がありました。
病気 #
これを少数の邪悪な企業に還元するのは誘惑的です。より不快ですが、より正確なのは、それらを養っている文化、つまり私たちの文化を見ることです。今日のエンジニアは、生産性を崇拝し、品質を贅沢品として扱うように求められています。2026年のテクノロジー労働者に対する大規模な調査は、ある回答者の言葉で状況を要約しています。「私はより速く、より多くを実行できますが、より良くはありません。」
同じ調査は、その状態を「笑顔の疲弊」と名付けています。人々は再び製品を出荷し、報酬は上昇し、オフスイッチはありません。テクノロジー労働者の半数以上(53%)は、新規参入者を自身の分野から遠ざけるだろうと述べていますが、彼らは留まっています。ソフトウェアデリバリーに関する別のレポートでは、現在、開発者の67%がAI生成コードのデバッグに時間を費やしていることがわかりました。
私たちは、報酬のために、このスロップを受け入れ、この疲弊を受け入れ、自身の仕事の質の低下を見守ることを受け入れています。これはAIラボに限ったことではありません。それは、エンジニアが監視製品、中毒性のあるアルゴリズム、防衛契約、エージェンシーの仕事を、「もし私が拒否すれば、もっと悪い誰かがやるだろう」と肩をすくめて正当化するのと同じ反射です。
私は以前、快適さがスキルの敵だと書きましたが、それは優しすぎました。なぜなら、結局のところ、快適さは責任の敵であることがわかるからです。モラルを金銭と交換することは、キャリアの決定ではなく、取引です。それは、あなたが気にかけられるはずだった自分の一部を売る取引です。それを十分に頻繁に行うと、それは戻ってきません。それは燃え尽き症候群ではありませんが、病気です。しかし、あらゆる病気と同様に、それは広がります。まずあなたのチームに、次にあなたの製品に、そしてそれを使用する人々に。
告発 #
では、なぜあなたはまだ彼らのために働いているのですか?もし答えが給料なら、もっと大きな声で言ってください。そして、言い訳をしようとしないでください。もし答えが「もっと悪い誰かが私に取って代わるだろう」なら、それももっと大きな声で言ってください。もし答えが「私は内側から物事を変えられる」なら、何を変えたか見せてください。
Haugenは内側から試みました。Coxonも内側から試みました。残念ながら、結局、内側は動きませんでした。
私たちは社会に生きており、私たちのあらゆる行動には責任が伴います。あなたはそれを無視し、報酬を集め、頭を低く保ち、「私はただ機能を作るエンジニアだ」と自分に言い聞かせることができます… しかし、その場合、自分自身を人類の貢献者と考えないでください。あなたはただ自分自身のことを考えている人間であり、それ以上ではありません。拒否する人々は英雄ではなく人間であり、良い人々は悪いことをすることを拒否するのです。