HN 日本語サマリー

← 一覧へ戻る
キャリア

なぜ私はGoogle DeepMindを辞めたのか

Why I Left Google DeepMind (turntrout.com)

65 pointsby apsec11220 コメント

要約

著者は、Googleが移民税関執行局(DHS)にクラウドサービスを提供し、それが不当な殺人に繋がっていると感じたことから、GoogleのAI倫理原則が圧力下で維持されるか試みました。特に、ペリメーターとの軍事AI契約に反対しましたが、同僚や上司の協力を得られず、最終的にGoogle DeepMindを辞職した経緯を綴っています。

全文翻訳

なぜ私がGoogle DeepMindを辞めたのか

目次

  1. Googleは移民執行のサプライチェーンを支援している
    1. しかし、私はそれに対して何ができるだろうか?
  2. ジェフ・ディーンとの対話
  3. 国防総省はAnthropicを威嚇しようとする
    1. 私はカンファレンスでAIの著名人を動員したかった
    2. ベンジオとスチュアートとの対話
    3. スチュアートがiaseaiを締めくくる
    4. AI倫理に関する沈黙の国際協会
  4. Googleの署名を阻止しようとする
    1. Googleの社内コストを積み上げる
    2. ジェフ・ディーン、あなたは私たちの唯一の希望だ
    3. ジェフはAnthropicを支援するアミカス・ブリーフに署名する
  5. 上級管理職はGoogleは屈しないと主張した
  6. ジェフ・ディーンとのランチの準備
    1. 私は社会的支援を手配した
    2. 交渉術
  7. ジェフとのランチ
    1. 影響を与えるための別の道を探す
  8. 誰も応答しないので、CEOにDMを送ってみてはどうだろうか?
    1. 私のフレームワークは評価されない
  9. Googleは静かに契約を締結する
  10. デミスはGoogleのAI原則は「変わっていない」と主張する
    1. 私たちは「西側の民主主義国と協力して」「中国を打ち負かす」ことができるが、トランプのすべての要求に屈する必要はない
    2. 個人的な信頼に基づいて世界を変える技術を構築する
  11. 考察
    1. 誓約署名者はどのようにしてgdmにいられるのか?
    2. 倫理の重み
    3. AIの著名人たちは何をしているのか?
    4. なぜジェフは断固としなかったのか?
    5. 役割から解放される
  12. なぜ私がGoogle DeepMindを辞めたのか
  13. 関連記事
  14. 付録:予想される質問
    1. 批判している人々が政治的資本を温存していた場合はどうなるか?
    2. おそらく彼らはあなたを時間の無駄だと思ったのでしょう。あなたは彼らの助けを受ける権利はありません
    3. すべての人がすべての問題について発言する必要はありません
    4. Googleがあなたのフレームワークを採用したとしても、国防総省は拒否したでしょう
    5. これはAIによる存亡の危機に影響を与えますか?
  15. 付録:「心配しないで、APIアクセスだけだから」
  16. 脚注

1月、国土安全保障省(DHS)の捜査官が少なくとも2人を殺害した。どちらのケースでも、連邦捜査官は銃を掴み、平和な市民に向け、撃ち殺した。

[画像: ダークビーニーと明るい柄のセーターを着た若い女性が、ハンドルに手を置いたまま、開いた窓から外を見ている車の運転席に座っている。]

レニー・グッド、DHSに殺される数分前。

[画像: 日当たりの良い通りで、戦術装備を着用した3人の覆面捜査官が、舗装された地面にひざまずいている茶色のジャケットを着た男性の上に立っている。一人の捜査官が彼の背中を掴み、もう一人は彼の頭に銃を向けている。]

アレックス・プレッティ、DHSに殺される数分前。

私は、Googleが関連するDHS機関にクラウドサービスを販売していることを知った。私はそれが間違っていると思った。連邦捜査官が路上で無実の市民を殺害できるようにすべきではない。私は、会社にこれらの機関へのサービス提供をやめさせる最も効果的な方法を見つけようとした。私の売却キャンペーンは、すぐに国防総省がAIプロバイダーにキラーロボットや大規模監視に対する制限なしで軍事AI取引を強制し始めたため、Googleが非倫理的な軍事AI取引に署名するのを阻止する試みに拡大した。1

私はAI倫理のコミットメントが圧力の下で維持されることを望んだ。特に、Google DeepMind(GDM)がキラーロボット支援に対する既存のコミットメントを維持することを望んだ。2 数ヶ月にわたり、私は多くの人に行動を求めた。私は、AI倫理と安全への懸念で評判が輝かしい、尊敬される人々、つまりシニアな人々に依頼した。ほとんどが断った。

例えば、自律型兵器に対して10年以上キャンペーンを行ってきた有名なAI研究者であるスチュアート・ラッセルを挙げよう。私は長年彼の研究室で働いていた。カンファレンスで、ステージ上で、彼は自分の組織にAIプロバイダーを政府の強制に反対する声明を出すよう働きかけることに同意し、組織のメンバーの投票を約束した。声明も投票も消えた。

あるいは、Googleのチーフサイエンティストであり、GoogleのGemini AIプロジェクトの共同リーダーであるジェフ・ディーンを挙げよう。2018年、ジェフはキラーロボットの開発や使用を支援しないという誓約に署名した。私はジェフに、国防総省に対してAnthropicを支援するアミカス・ブリーフ(外部が訴訟に影響を与えるために意見を述べるもの)に公然と bold に共同署名させた。しかし、私はまた、彼にGoogle自身の非倫理的な軍事取引を阻止するために彼の計り知れない影響力を行使するよう求めたが、彼はそうしなかったと思う。彼は誓約にもかかわらずGoogleに留まっている。

私は、契約言語と監視メカニズムを含む25ページの提案書を作成した。軍事・監視法専門家はこの提案を称賛し、Googleが堅持できる原則的な対案を表していた。私はこの提案をDemis Hassabis(GDMのCEO)に送ったが、彼はそれを上級政策担当者に回した。しかし、提案はGoogleが契約を締結するまで、顧みられることなく放置された。

上級管理職は、Googleは署名しないと主張していた。私は彼らの警告を無視したが、彼らは私の警告をほとんど無視した。私は国防総省の取引へのためらいを増大させたかもしれないが3、Googleはキラーロボットや大規模AI監視に対する制限なしでAIを引き渡す契約を締結した。Googleの契約上の制限はOpenAIのものよりもさらに弱かった。4 その時点で、私は良心の呵責からGoogleに留まることができず、辞職した。

このエッセイは、私がGoogle DeepMindを辞めた理由を語るものである。それはまた、より大きな物語でもある。強力な個人や組織が、圧力に直面して、AI倫理の約束を一つ一つ果たせなかったという物語である。

プライベートなコミュニケーションについて

このエッセイ全体を通して、私は許可なく誰かのプライベートな言葉を引用することはありません。プライベートな会話が重要である場合は、最小限の描写に留めます。それ以外は、私自身の行動、公開情報、公式なコミュニケーションに焦点を当てます。私の描写を検証することはできないため、それに応じて重み付けしてください。この最小化により、私の主張を裏付けるコンテンツが削減されました。

2026年8月5日(このエッセイ公開から数週間後)

スンダルは彼を引き止めようとした:

ディーン氏によると、AlphabetのCEOであるスンダル・ピチャイ氏は、複数の会議で彼らにバッジを維持させようとしたという。最終的にチームは、スタートアップを行う楽しさと自由を求めたと決定した。

公開情報では、彼が国防総省との取引が原因で辞任したことを示唆するものは何もないが、ジェフが辞任し、それによって2018年の誓約を守ったことは良いことだと思う。

Googleは移民執行のサプライチェーンを支援している

2026年1月26日

アレックス・プレッティの死後、私は効果的な行動を取ることを決意した。5 DHSによる被害を減らす方法を判断するため、私はビッグテックの関与を調査した。確かに、MicrosoftとAmazonはより大きな関与をしているが、Googleの関与を知って驚いた。6

GoogleのDHSとの契約

[画像: 「VA MEDICAL CENTER」と見える青い医療用スクラブを着て、アメリカ国旗の前でポーズをとる、眼鏡をかけた髭面の男性。]

アレックス・プレッティ、2024年。

  • DHSの2025年AIユースケースインベントリは、DHSの「運用効率の向上」に使用されるGenAIプロバイダーとしてGoogleをリストアップしている。
  • Googleは、ITC Federalのようなサードパーティを通じてICEにクラウドサービスを販売している。78
  • 2025年10月3日、GoogleはICEの活動を警告するアプリを削除した。9
  • Googleは、学生抗議者のアカウントをICEに通知なしで自発的に引き渡した。10 これは、Googleの利用規約で「(政府への情報開示前に)ユーザーアカウントにメールを送信する」という約束を破るものだった。11

しかし、私はそれに対して何ができるだろうか?

典型的な活動家の行動は請願書を作成することだ。しかし、Googleはすでにこの問題に関する大規模な請願を無視していた。12 さらに、Googleの幹部は、典型的な組織化戦術に対して会社をより強固にした可能性が高い。座り込み、ストライキ、さらにはGoogleエンジニアの大量辞職さえも、効果がないと判断した(もし私がそれらを実行できたとしても)。

戦略を練る中で、私はGoogleが100人のランダムなリサーチエンジニアの辞職を気にしないだろうと判断した。いや、AI業界では、才能はトップヘビーであり、チームは数人の交換不能なスターによって牽引されている。私は100人のエンジニアを調整する必要はなかった。おそらく10人で十分だった。

私はニュースを追い、Sundar Pichai(GoogleのCEO)は「倫理について大きなスピーチをすれば考えを変える」タイプよりも、ビジネスマンである可能性が高いと推測した。しかし、交換不能な数人の人々が去る準備ができていれば、それはビジネスにとって重要になるだろう、だからSundarは聞くだろう。

その時、私はJeff DeanがICEのひどさをツイートし、アンネ・フランクの引用をリツイートしていたのを読んだことを思い出した。おそらく、私は10人のエンジニアさえ必要なかったのかもしれない。おそらく、私は一人だけ必要だったのだ。

これは絶対に恥ずべきことだ。連邦機関の捜査官が、携帯電話のカメラを使っていたという容疑だけで、無防備な市民を不必要にエスカレートさせ、そして処刑した。政治的所属に関わらず、すべての人がこれを非難すべきだ。

2026年1月24日

2458.4k

Jeff Deanがリツイート

「ひどいことが外で起こっている。哀れで無力な人々が家から引きずり出されている。家族は引き裂かれている。
男性、女性、子供たちが引き離されている。子供たちは、両親が姿を消したことに気づいて学校から帰ってくる。」

アンネ・フランクの日記
1943年1月13日

2026年1月25日

54834.8k

ジェフはGoogleで聖人のように尊敬されている。彼はGoogleの30番目の従業員で、重要なアルゴリズムを開発し、原則の人として知られている。よくあるジョーク:ジェフ・ディーンの履歴書には、彼が達成したことよりも、彼が達成していないことの方がリストしやすい。彼はGoogleのチーフサイエンティストであり、GoogleのGeminiプロジェクトの共同リーダーである。ジェフの離脱は会社にとって大惨事となるだろう。

しかし、ジェフがそれほど気にかけていて、それほどの影響力を持っていたのなら、なぜGoogleはそもそもICEとの契約を結んでいたのだろうか?もちろん、チーフサイエンティストでありながら、辞職を脅して常に自分の望むものを得ることはできない。しかし、私はまだ混乱していた。

ジェフ・ディーンとの対話

2026年2月9日

最初は、誰が私を彼に繋いでくれるかと考えた。しかし(これは良い一般的な教訓だが)、誰かに何かについて話したいなら、いつでも彼らに直接聞くことができるのだ!

私はジェフに、彼が声を上げたことを尊敬していること、そしてGoogleにDHSのサプライチェーンから撤退してほしいと伝えた。私は彼がこの目標を共有しているか、そしてもしそうなら、私がどのように助けることができるかを尋ねた。

彼は、私が数人の男性にメールを送ることが合理的だろうと提案した。彼らの名前は:Sundar Pichai(GoogleのCEO)、Demis Hassabis(Google DeepMindのCEO)、Thomas Kurian(Google CloudのCEO)。私は「もちろん、ジェフ。問題ないよ。彼らに私の考えを伝えるだけだ」と思った。[画像: 😅]

私のメール

GDMの懸念する従業員として書いています。最近、私の懸念についてジェフ・ディーンにメッセージを送りました。彼は、あなた方3人に直接メールを送ることが合理的な次のステップだと提案しました。

私は、Googleが米国のどちらの政党の合法的な政権とも協力することに問題はありません。私の懸念は政治に関するものではなく、DHSのサプライチェーンにおけるGoogleの役割によって可能になった出来事に関するものです。

ICEは、不法移民を秩序正しく国外追放するという法的権限をはるかに超えていると思います。監視団体によると、ICEの作戦はしばしば対象者の適正手続きを奪っています。これらの作戦は、市民を定期的に拘留しており13、法的監視がほとんどない(または全くない)施設で運営されています。14 ある場所からは1,000人以上が行方不明になっています。15 他の場所では、ACLUが人権侵害と拘留者の安全性の深刻な欠如を報告しています。16

これらは標準的で正当な執行活動ではありません。これらの作戦は人権の観点から懸念があり、関与するベンダーにも評判のリスクをもたらします。

1月28日、DHSは2025年AIユースケースインベントリを公開しました。17 このインベントリには、DHSの「運用効率の向上」に貢献するいくつかのGenAIプロバイダーとしてGoogleが含まれています。Googleに対し、ICE(およびより広範にはDHS)との連携、特にこれらの特定の作戦を支援するサードパーティインテグレーターへの支援を直ちに停止するよう強く求めます。直接的な(プライム)契約であれ、仲介業者(ITC Federalなど)18を介したものであれ、CloudとGeminiはこれらの作戦を動力源とすべきではありません。

歴史は、この出来事への関与によってテクノロジーセクターを判断するでしょう。私はGoogleでの仕事が大好きで、Googleがその歴史の正しい側にいることを保証したいです。

Alexander Matt Turner リサーチサイエンティスト

彼らは返信しなかった。私はジェフに戻り、Google内での真の変化のための建設的な機会について話し合うためのランチを求めた。私は彼に言った:「いつでも、どこでも。あなたに会うためにマウンテンビューまで車で行きます。」

この時点で、私は「計画A」が失敗するだろうと思った。驚いたことに、彼は数週間後のランチを受け入れた。

その間、多くのことが起こるだろう。

国防総省はAnthropicを威嚇しようとする

2026年2月25日

国防総省は、最先端AIラボであるAnthropicに対し、既存契約からレッドラインを削除するよう求めた。レッドラインとは、致命的な自律型兵器システムおよびAIによる監視・プロファイリングに対するものだ。最後通牒は実質的に「製品を提供するか、サプライチェーンのリスクと指定する」というものだった。政府はAIを「あらゆる合法的な用途」のために求めていた。

その種の取引には2つの大きな問題があった。

  1. 独立した法律専門家は、国防総省による潜在的な戦争犯罪(例えば難破船の生存者に対するダブルタップ攻撃など)を指摘していたが、国防総省はそれらの行動は合法だと主張していた。「合法性」という言葉の下では、「あらゆる合法的な用途」は「AIによる戦争犯罪の幇助」や「AIによる反体制派の自動プロファイリング」を意味する可能性があった。
  2. 国防総省は民間企業を経済的破滅で脅した。通常、政府は「いいえ、結構です。我々は望む条件を提供する別のサプライヤーを見つけます」と言うだろう。この場合、政府はアメリカ企業を「サプライチェーンのリスク」と偽って指定すると脅迫し、これによりすべての軍事請負業者がAnthropicの使用を停止させられることになった。

私は数週間、Anthropicと国防総省の対立を追っていた。最後通牒を知ったとき、私はパリで開催されていた、安全で倫理的なAIのための国際協会(IASEAI)のカンファレンスに参加していた。IASEAIは2024年に設立された「統一された声」となるための非営利団体である。世界的に有名なAI科学者スチュアート・ラッセルがその運営委員長を務めている。その2026年のワーキンググループには、「自律型兵器とエスカレーション」に焦点を当てた「高度AIのためのレッドライン」が含まれている。IASEAIはこの瞬間のために作られたかのようだった。

IASEAIの会場には、倫理を気にかける影響力のあるAI専門家が多数集まるだろう。私は考えた:私たちは、1) Anthropicが脅迫なしにビジネスを行う権利、そして2) AIを致命的な自律型兵器システムや監視装置に統合することの是非と方法に関する実際の基準を支持する、分野として対応を組織できる。

Anthropicには、政府の要求に従うために2日間しかなかった。おそらく他の企業も締め切り前にこれらの「あらゆる合法的な用途」の条件に同意するだろう。私を悩ませていた主な疑問は、Googleが屈して「あらゆる合法的な用途」の取引を受け入れるのを阻止できるかということだった。もしAnthropicが「ノー」と言い、Googleも「ノー」と言えば、事態は進展するだろう。それは困難に思えた。私はそれでもそれを実現させたかった。Googleは、金曜日を待たずに、あるいはその後すぐにでも屈する可能性があった。

[画像: アレックス・ターナーがパリのユネスコ本部の中庭に立っており、カンファレンスバッジを着用している。背景には、大きな金属製のドーム構造と数多くの国際的な旗が見え、遠くにはエッフェル塔がそびえ立っている。]

会場はユネスコ(国連教育科学文化機関)の本部だった。

IASEAIの会場に着いたとき、私は数百人のAI専門家のうち何人かが、ちょうど発表された緊急のAI倫理ニュースについて議論しているだろうと期待していた。しかし、私以外に誰もその話題に触れなかった。人々はいつもの抽象的な議論に忙しかった。「公的選択理論はどのように調整問題に情報を提供するのか?」

私はカンファレンスでAIの著名人を動員したかった

スチュアート・ラッセル

IASEAIの創設者。1500以上の大学で使用されている標準的なAI教科書の共著者。19 UCバークレーの人間互換AIセンターの創設者であり、私はそこで数年間インターンシップを行い、ポスドクを修了した。長年、AIによる存亡の危機を真剣に受け止めていた唯一の大物学者は彼だった。私は長年それを高く評価していた。

最も重要なこと:致命的な自律型兵器の禁止に関する世界的なキャンペーンの第一人者であり、その主題に関する200以上の著名な講演をハイライトするサイトを持っている。彼は国連にSlaughterbotsビデオを提示した。この地球上で、もし誰かが「あらゆる合法的な用途」の軍事AI取引を非難する理由があったとすれば、それはスローターボットに対して分野を組織した人物だった。

ヨシュア・ベンジオ

AI研究者として2番目に引用数が多く、チューリング賞受賞者(コンピュータサイエンスのノーベル賞のようなもの)。2023年、彼は米国上院でAIが民主主義と国家安全保障にもたらす脅威について証言した。彼は最近、軍事AIの応用をAIの安全性への懸念にマッピングする研究の監督を終えた。20

ジェフリー・ヒントン

2024年のノーベル物理学賞受賞者であり、チューリング賞受賞者。ヒントンは、AIの危険性についてGoogleの利益を考慮せずに警告できるように、2023年にGoogleを辞任した。2025年にはすでに「Googleが軍事AI応用の姿勢を後退させている」と批判していた。21 ヒントンは、まさにこれらの問題について真実を語るためにGoogleを辞めた。

ベンジオとスチュアートとの対話

私は迅速に情報を収集した。ヒントンはリモートで話していたので、間接的に、おそらくベンジオかスチュアートを通じて連絡を取る必要があった。スチュアートとはすでに知り合いで、連絡を取ってくれる友人がいた。ベンジオは不確定要素だった。彼が会場を出ていくのを見たので、私は彼を追いかけた。

「ヨシュア、Anthropicがビジネスを行う権利を支持し、規制されていないキラーロボットに反対する声明を発表していただけませんか?」私は、彼の声が多くのGDMの専門家に影響を与え、彼らが国防総省の要求に「屈する」ことに反対するよう動員される可能性があることを明確にした。彼は私にメールを送るように言った。

その後すぐに、彼のオフィスから声明を発表しないと決定したと伝えられた。理由は説明されなかった。ベンジオとは面識がなかったので、スチュアート・ラッセルに注意を集中させ、彼に任せるのが良いと考えた。

昼食時に、スチュアートが1対1で誰かと話しているのを見た。数人の参加者の励ましを得て、私は少しの社交不安を乗り越え、彼の会話にできるだけ丁寧に割り込んだ。

「スチュアート、これは非常に重要な状況であり、あなたの声は重要です」と私は彼に言った。「声明を発表していただけませんか?IASEAI組織にも声明を発表してもらえませんか?この中の人々を動かすことができますか?」彼は考えた。そして同意した。彼はベンジオとヒントンを説得しようとすると言った。彼はカンファレンスの終了時に発表するために、できるだけ早くIASEAIの投票を招集すると約束した。彼は戦う意思をためらわなかった。

「まさにそれだよ」と私は思った。「ここに強力な人物がいて、その力を持っている。」

スチュアートがiaseaiを締めくくる

AI企業と国防総省の取引は重要だった。それらは、現代の生成AIと軍事使用制限との最初の公的で注目度の高い交差点となった。企業がどのような妥協(または譲歩)をしても、将来への前例として響くだろう。IASEAIの参加者は、彼らの貢献を「政策立案者に情報を提供する抽象的な仕事」から「前例に直接影響を与える」機会を得た。スチュアートは今、彼らを動員しようとしていた。

約束通り、彼は閉会式でその問題について話した。私はQ&Aセッション中に彼の発言を録音した。当初はIASEAIのカンファレンススケジュールで利用可能だったが、後に移行され、IASEAIの公式YouTubeチャンネルには再アップロードされていない。

私がスチュアートに尋ねた質問(完全なやり取りのビデオ)

国防総省はAnthropicを買収して、制限なしでClaudeを使用できるようにしようとしています。致命的な自律型兵器や大規模監視についてです。交渉中のGoogleやOpenAIのような企業に何を言いますか?

スチュアート・ラッセル

私はこれを言おうとしていました。そして、これはIASEAIの全メンバーに投票を求める可能性のあるトピックです。彼らがこの問題についてIASEAIに立場を取ってほしいかどうかを知るために。

[スチュアートは状況を要約する。]

IASEAIは、Anthropicが契約で合意した範囲外の目的でソフトウェアを使用させられない権利を支持する声明を出すべきか?

質問は「Google DeepMindやOpenAIはどうなのか?彼らもAnthropicと同じ立場を取るのか?」ということでした。それは彼らにかかっているように思えますが、企業が「我々は自社の製品をその目的のために販売したくない」と言う権利、そして経済的破壊の脅威なしにそれを言える権利は、保護されるべきもののように思えます。

私は驚いた。スチュアートは「それは彼ら次第だ」と言った。彼はGoogleやOpenAIに致命的な自律型兵器の使用を避けるよう促さなかったのだろうか?それは過去10年間、彼の中心的な活動ではなかったのか?

カンファレンスの参加者からの次の質問は、IASEAIが現在の問題について立場を取るかどうかを尋ねた。セッションが終了に近づくと、IASEAIの暫定エグゼクティブディレクターであるマーク・ニッツバーグがステージに上がった。

[動画]

マークは挙手で意見を求めた。「メンバーの意見を伺います…もしあなたがメンバーでないなら、メンバーデスクに行ってください。」

[画像: 会場の参加者で埋め尽くされた講堂。大多数が支持の意思表示で手を挙げている。]

Anthropicの自由にビジネスを行う権利を支持するIASEAIの声明を支持する、ほぼ満場一致の挙手。

スチュアート・ラッセルによる閉会挨拶(ビデオ)

多くの報道機関が、国防総省がAnthropicに適用している恐喝ビジネスについて議論しています…

時間があればオンライン投票を実施しようと思います。それにより、「IASEAIメンバーの92%(または結果がどうであれ)が、Anthropicは望まないことを強制されるべきではないという命題を支持している」というプレスリリースを出すことができます。

スチュアートは国防総省の行動を「恐喝ビジネス」と呼んだ。私は率直さを評価したが、ホールでの率直さは、世界が見る声明での率直さと同じではなかった。22 会場を出る際、私はIASEAIのメンバーに登録し、投票に参加することにした。通過するだろうと思ったが、自分の声を届けたかった。75ドルの会費を支払った。

閉会式の前に、マークは私に、アンケートは木曜日の夜に締め切られるとテキストメッセージで伝えてきた。3分の2の支持があれば、スチュアートはIASEAIの名で声明に署名し、そうでなければ、スチュアートは個人的に署名し、他の人が共同署名するオプションがあるとのことだった。

私はルーブル美術館での夜を過ごすために出発した。

AI倫理に関する沈黙の国際協会

木曜日の朝が来た。投票の方法がわからなかった。奇妙だ。マークにテキストを送った。彼は、IASEAIはAnthropicの金曜日の締め切り後に対応する必要があると言った。

私はマークに、状況は緊急であると伝えた。GoogleとOpenAIはいつでも動く可能性がある。私は彼に、スチュアートに彼自身の声明、どんな声明でも良いから出すよう促すよう頼んだ。マークがこの状況を理解するのを手伝ってくれていることに感謝した。その日の後半、Anthropicは、既存の国防総省との契約におけるレッドラインを堅持すると表明した。23

(木曜日はアイスランドでのロマンチックな休暇の始まりだったはずだ。私は実際にはこれらのことのどれもしたくなかった。)

金曜日の朝。スチュアートは公の声明を発表していなかった。私はマークに尋ねた。「数分かけてメールを書いてお気に入りの記者に送るよりも重要なことなどあるだろうか?」マークとの会話から、スチュアートもIASEAIも行動しないことを知った。

しかし、事実はこうだ。マークは閉会式で、IASEAIがメンバー投票を実施すると公に約束した。マークはメンバーになるよう会費を払うよう促した。その後、IASEAIのリーダーシップは静かに投票をキャンセルした。24 声明は決して出なかった。

マークは、彼の組織が声明を発表しなかった理由について、進化し続けるリストを私に提供した:

  1. IASEAIは声明を起草するためにより多くの時間が必要であり、金曜日のフラッシュポイントの後で動くだろう。
  2. IASEAIは、どの原則を声明の根拠とすべきかを知らない。
  3. IASEAIは、Anthropicと国防総省のニュースサイクルに参加することが「メリットとデメリットがある」と懸念していた。
  4. マークは同情的だったが、この種の状況に対処するためのIASEAIのプロセスを洗練させることに集中したかった。
  5. Anthropicが声明を発表したので、IASEAIはもはや声明を発表する必要はなかった。

私は最初の理由を理解できた。結局、スチュアートは締め切り前に声明を出すことについて「時間があれば」と繰り返し断っていた。しかし、最後の理由は特に私には理解できなかった。Anthropicは譲歩しないという声明を発表したのだから、IASEAIはAnthropicを支持する声明を出す必要はないというのか?

IASEAIに既読スルーされる

国防総省はAnthropicに金曜日の締め切りを設定したが、IASEAIには設定しなかった。Anthropicの自律型兵器問題は、数週間前からニュースになっていた。Anthropicの国防総省に対する訴訟は数週間後に続いた。Googleはさらに2ヶ月間署名しなかった。IASEAIには行動する十分な時間と、アミカス・ブリーフの提出、声明の発表、Googleの主要意思決定者への連絡など、多くの行動方法があった。

OpenAIは金曜日に契約を発表した。OpenAIは、Anthropicが主張したキラーロボットと大規模監視に対するレッドラインを保護する契約だと主張した。しかし、一部のアナリストは、OpenAIの契約言語には広範な抜け穴が含まれていると結論付けた。

次の2ヶ月間、私はMark Nitzbergに何度もメッセージを送った。25 私は、Googleのシニア意思決定者に説得しようとしていること、スチュアートは公にトランプに反対する政治的コストなしに個人的に連絡できること、紹介だけでも助けになることを説明した。

私がマークに送ったメッセージ

3月30日、契約が署名されたと報じられる30日前

IASEAIの決定が異なっていればよかったのですが、共通の目標を達成する方法を見つけたいです。

マークは決して返信しなかった。

Googleの署名を阻止しようとする

水曜日に戻ろう。その日、私は国防総省の脅威を知ったばかりだった。私は未知の時間的プレッシャーの下で行動していた。Googleが取引に署名してAnthropicの立場を損なうかもしれないかどうか、私は全く知らなかった。外部でベンジオとスチュアートに働きかけながら、私は内部でも行動していた。

Googleの社内コストを積み上げる

2026年2月26日

Google DeepMindの現在のイベントディスカッションチャンネルで、私はGoogle(およびAIコミュニティ)に「Anthropicと強く団結する」よう呼びかけ、「合法的な」用途には「ベネズエラ沖で150人以上を殺害すること(そのほとんどがおそらく無実の漁師であった)」が含まれる可能性があるとコメントした。そのメッセージは125以上の「[画像: ❤️]」リアクションを受け取った。

[私のメッセージ]Geminiの「あらゆる合法的な用途」ポリシーと、Anthropicに対する国防総省の圧力

GDMが機密目的で「あらゆる合法的な用途」を許可する取引に「近い」と報じられているのを読んでいます。どうやら、非機密の作業については、Googleはすでに「一部のモデルレベルの制限を解除」し、国防総省の作業に対して「あらゆる合法的な目的」に同意したようです。

「あらゆる合法的な目的」の「合法」という言葉は、当初私を安心させましたが、この文脈での「合法」の意味を考えてみてください。まず、この国防総省は150人以上の人々をベネズエラ沖で殺害することは合法だと主張した(そのほとんどが無実の漁師であった可能性が高い)。26 「あらゆる合法的な目的」には、AIを使用した大規模監視と分析(監視法はAIを念頭に置いて書かれていなかったため合法である)や、致命的な自律型兵器システムの作成も含まれます。

ヘグセス長官は金曜日の午後5時にAnthropicに最後通牒を突きつけた。Anthropicが拒否した場合、彼は以下のことを脅迫した:

  1. Anthropicの2億ドルの契約をキャンセルする。
  2. 彼らをサプライチェーンのリスクとして指定し、他のすべての軍事請負業者にClaudeの使用を停止させる—「サプライチェーンリスク」は通常、侵害された外国企業にのみ使用される!—そして
  3. 国防生産法を発動してAnthropicにClaudeを提供するよう強制する。

私は、致命的な自律型兵器と大規模[AIプロファイリング]ツールを提供させるために、研究所を国有化することは容認できないと思います。 業界として、私たちはAnthropicと強く団結すべきです。私たちの努力は、顧客のためにGeminiを改善するべきであり、致命的な自律型兵器システムの能力を鋭くするべきではありません。

このトピックについて、他の人の意見に興味があります。この種の外部からの攻撃的な軍事用途に対する圧力に対して、私たちのAI原則がしっかりと維持されることを保証するために、どのように効果的に提唱できますか?

私はこのようなメッセージをGDM専用のディスカッションチャンネルに投稿し始めました。これらのメッセージは、異常に強く支持的なエンゲージメントを受けました。投稿した理由はいくつかあります:

  1. リーダーシップからの沈黙のコストを上げたいと思った。覚えておいてほしいのは、ポイントは、Sundarが署名から得られると認識していた利益を上回るコストを積み上げることだ。
  2. 戦略的な議論をすることがよくあったが、それをシニアな連絡先に伝えたいと思った。私は単なるリサーチサイエンティストだったので、直接「Xを検討してください」と言うのは僭越だった。しかし、彼らの何人かがこのチャンネルを読んでいることを知っていたので、議論をチャンネルに投稿した。
  3. GDMの従業員の間で、彼らがこれらの契約に不快感を抱いているのは自分たちだけではないという共通認識を作りたかった。
  4. OpenAIの契約における「保護」の問題点を指摘し27、GDMの従業員がGoogleが提示する可能性のある同様の偽の「保護」から免れるようにした。従業員がその見せかけを信じなければ、Googleはより大きな士気のコストを支払うことになる。
  5. 後に、いくつかのメッセージは、辞職を示唆するチャネルを提供したが、ソフトな否定も可能にした。

「[画像: ❤️]」リアクションは、微妙な組織化メカニズムとしても機能した。私の理解では、Googleは大規模な内部チャンネルを通じた直接的な組織化を好まなかった。私は「[画像: ❤️]」で反応した人々を特定し、個人的に連絡して、これから議論する請願書について話した。

ジェフ・ディーン、あなたは私たちの唯一の希望だ

ジェフに別のDMを送ることを考えた:「もしできれば、Googleが契約に署名するのを止めてください。」しかし、それはあまり効果がないように思えた。「ジェフのような人々を行動に駆り立てるものは何か?」と考えた。道徳的利害:すでに存在している。所有意識:存在しない。直接的な権限がなかったため、プロジェクトを所有することはできなかった。私が知る限り、ジェフは取引に反対する力と意欲の両方を持つ数少ない人物の一人だった。私は彼に力を感じてほしかったし、GDMの労働者が彼を支持していることを知ってほしかった。

私はジェフ宛ての請願書を書き、数人の友人たちの助けを借りて、次の1〜2日で約250人のGDM/リサーチ署名を集めた。請願書全体をここに掲載しないのは、それが「非公開」であると述べ、外部への共有を控えるよう指示したためである。28 しかし、ニューヨーク・タイムズはこの請願書について報じたので、一部29はすでに公開されている:

「これらの基本的なレッドラインを越えるいかなる契約も阻止するために、あなたの力のすべてを行使してください」と従業員たちは書いた。「私たちはGoogleでの仕事を愛しており、自分たちの仕事に誇りを持っていたい。」

ジェフはAnthropicを支援するアミカス・ブリーフに署名する

2026年3月9日

国防総省はAnthropicをサプライチェーンのリスクと指定しただけではなかった。ピート・ヘグセス(国防総省長官)は当初主張したが、軍事請負業者はClaudeのすべての使用を停止しなければならないと、契約での使用だけでなく、そのように主張した。それはAnthropicの主要なクラウドおよびエンタープライズ顧客に影響を与えたため、指定はエンタープライズ収益にとって致命的であるように見えた。この要件はかなり違法にも思え、ヘグセスはその部分については撤回した。(しかし、ヘグセスのツイートは、企業がAnthropicを使用した場合に罰せられるかどうかについて不確実性をもたらし、すでに損害を与えていたと思う。)

anyway、月曜日頃、Anthropicは裁判所で国防総省に異議を唱え、命令を停止するための差止命令を求めた。Protect Democracyという非営利団体が、AI専門家からのアミカス・ブリーフを作成した。アミカスは、「専門家としての立場から、Anthropicの技術的および政策的な懸念は正当であることに同意します。たとえ私たちが競合するラボで働いていても」というような内容を伝えた。私はその文書に署名し、同僚数人に署名してもらい30、(主催者の奨励を受けて)ジェフに連絡した。彼は署名した。

私は嬉しい驚きを覚えた。大きな動きだった。(この時点で、私の友人の中には、物事を好意的に描写するために「based and Jeff-pilled」と言う人もいた。)

ジェフが公にアミカスに署名したとき、彼は(Cスイートのエグゼクティブとして)Googleの沈黙を公に破った。予想通り、彼の署名は注目を集めた。最終的に、Googleと国防総省の交渉は行き詰まった。その一因は、アミカスがGoogleが後に撤退する可能性を示唆したことだった。31

後に公開(2026年3月18日)

しかし、国防総省関係者2名によると、国防総省とGoogleの協議に詳しい関係者によると、一部の国防総省関係者は依然としてGoogleへの依存に消極的だという。これは、同社が2018年に従業員からの抗議を受けてAIを兵器に使用しないという理由でプロジェクトから撤退したためだと、その2名は付け加えた。

GoogleやOpenAIのトップAI研究者数名も最近、Anthropicが国防総省に対して起こした2つの訴訟を支援する法的ブリーフィングに署名した。Anthropicは、AIの戦争での使用方法について国防総省と対立した後、国防総省が同社をサプライチェーンのリスクと指定したことに異議を唱えている。

Googleの従業員が法的ブリーフィングに参加したことは、一部の関係者の同社への懸念をさらに高め、国防総省などの意思決定者に、AIを兵器に使用することに対する過去の抗議を思い出させた、と元関係者は述べた。トランプ政権関係者の一部は、GoogleがAIの広範な使用に同意したとしても、同社は再び撤退する可能性があると懸念している、と元関係者は付け加えた。

この間、私はGoogle Legalにアミカスも提出するよう、いくつかのメモを送った。GoogleがAnthropicに対する脅威を放置すれば、政府は将来のすべての交渉でGoogleに対して銃を突きつけることになるだろうと彼らに思い出させた。従うか、サプライチェーンのリスクとラベル付けされるかだ。結局、Googleはアミカスを提出しなかった(しかし、Microsoftは提出した)。

上級管理職はGoogleは屈しないと主張した

3月を通して

上級管理職とさらに話すうちに、彼らは「心配しないで。リーダーシップもこれらの問題に関心を持っている。彼らは『あらゆる合法的な用途』の契約には署名しないだろう」と主張し続けた。私はその考えを検討した。それは真実かもしれないだろうか?

「いいえ、それは真実ではない」と私は結論づけた。誰かがリーダーシップに線を引くよう強制しない限りは。私は引用を多用したメモを作成し、Googleが屈する可能性が高い理由を説明した。私は、Googleがより低い利害の状況(例えば、学生抗議者の情報をICEに自発的に引き渡したこと)で従った歴史を指摘した。私は、Googleの政府契約における大きなシェアを指摘した。そして、Google DeepMindのAI原則が曖昧な言葉に分解されたことを指摘した。私はGoogleに直面している圧力のいくつかをレビューした。それには、Googleの複雑な反独占的な状況と、現司法省の歴史的に低い実績が含まれる。私はこのメモを何度も共有した。私の知る限り、私はこれらのシニア従業員を説得することはできなかった。

ジェフ・ディーンとのランチの準備

2026年3月10日

私は目標に集中し続けた。Sundarを動かす必要があった。Jeffなら、Sundarを動かせると推定した。Jeffは動かしたいと望んでいるだろうか?彼は尊敬されている会社を、彼のために仕立てられたような名誉ある職を、四半世紀の思い出を残して辞めるだろうか?一方で、世界のすべてのテック企業がJeffを雇いたいだろうし、彼の遺産は安全に見え、彼はすでにいくらでもあるお金を持っているだろうし、辞めることは原則を示すだろう。

私はJeffを操作したくなかった。私は、懸念する一人の人間として、彼に誠実でありたかった。私は彼の心理に合わせて議論を無意識のうちに調整することを避けるために、彼に関する記事を一つ以上読むことさえ避けた。

私が考えたのはこうだ:私はJeffにこの件で辞職することに同意させる必要はない。ある意味では、彼はすでにそれについて辞職することに同意していた。彼は2018年に誓約に署名していた:

5,218人が署名

人間の命を奪う決定を機械に委ねてはならない。この立場には道徳的な側面があり、私たちは他者、あるいは誰も責任を負わない生命を奪う決定を機械に許すべきではない。また、強力な実用的な議論もある。人間の介入なしに標的を選択し、交戦する致命的な自律型兵器は、すべての国と個人にとって危険なほど不安定になるだろう。[…]

生命を奪うことのリスク、帰属可能性、そして困難さを排除することにより、致命的な自律型兵器は、特に監視およびデータシステムと連携した場合、暴力と抑圧の強力な手段となり得る。[…]

私たち署名者は、政府および政府指導者に対し、致命的な自律型兵器に対する強力な国際規範、規制、法律を制定するよう求める。現在これらが欠如しているため、私たちは高い基準を設ける。致命的な自律型兵器の開発、製造、取引、または使用には一切関与せず、支援しない。

署名者には以下が含まれる:Google DeepMind(組織)、Demis Hassabis、Shane Legg(共同創設者、現Chief AGI Scientist)、Raia Hadsell(リサーチ担当VP)、Jay Yagnik(GoogleのVP兼エンジニアリングフェロー、Google AIの大部分を率いる)および[画像: 🥁][画像: 🥁][画像: 🥁] Jeff Dean:

同意する。大規模な監視は修正第4条に違反し、表現の自由を抑制する。監視システムは、政治的または差別的な目的で悪用されやすい。

アメリカ市民として、私が最も望まないのは、政府がアメリカ市民の監視のためにAIを使用することだ。

2026年2月24日

2026年2月25日

1684.3k

@JeffDean 自律型兵器についてあなたの立場は何ですか?

2026年2月25日

127

@TopherSpiro 2018年にこの手紙に署名しました。私の立場は変わっていません。

手紙:
futureoflife.org/open-letter/le…

それについての記事:weforum.org/stories/2018/0…

[画像: 画像を表示]

2026年2月25日

7392

ジェフ・ディーンは公約を自由に再確認し、「アメリカ市民の監視のためのAI」は「彼が望む最後のもの」であることに同意した。

私は、もしジェフが「致命的な自律型兵器の開発…または使用を支援しない」のであれば、論理的に、Googleが「あらゆる合法的な用途」の契約に署名した場合、ジェフはGoogleを辞めなければならないと考えた。私はジェフが実際にそのようなことをする準備ができているかどうかは知らなかった。私は可能性に備えたかった。

ジェフも私たち皆と同じように、人間だ。人間は、強力な組織に対して一人で行動することを心配する傾向がある。たとえジェフの影響力だけでGoogleを動かすのに十分だと想像しても、私は彼がサポートされていると感じてほしかった。その第一部は、私が組織した請願書であり、250人以上のGDM従業員がジェフに彼らのために戦うよう求めた署名を集めた。第二部は、しかし、より静かだった。

私は数人のGoogleのシニア従業員からバックアップを確保した。もしジェフがSundarに断固として対応することに同意するなら、彼らもそうすると示唆した。しかし、意図された連合はサイズ32が1だった。ジェフだ。私はジェフの影響力だけで十分だと予想した。なぜなら、彼の離脱はGeminiプロジェクトを壊滅させる可能性があるからだ。おそらくGoogleは、トランプ政権からの報復よりも、AIプログラムをより気にかけるだろう。

私はSundarが従業員からの圧力をかわすのに長けていると推測した。これが、たとえ彼がそれを知っていたとしても、彼が止められないようなギャンビットになることを願った。

交渉術

2026年3月13日

ジェフはレスラーだったのだろうか?私はDemisがSundarと交渉してDeepMindを別個の法的構造にしようとしたという話を読んだ。33 Sundarとのどんな取引も、レスリングが必要なように思えた。執拗なレスリングだ。さらに、Sundarは曖昧な約束で緊張を和らげようとするかもしれないので、Jeffには具体的な提案が必要だった。

つまり、Jeffと私がランチをすると想像してみよう。彼が賛成していると想像してみよう。彼がSundarのところに行って「もしこの取引に署名するなら、私はGoogleにいられなくなる。私がここにいられるように助けてほしい」と言うと想像してみよう。Sundarが「Jeff、君は私にとって重要だ。何が必要かね?」と答えると想像してみよう。Jeffは何と言うだろうか?「悪い取引に署名しないでくれ」は、表面上は悪くないように見える悪い契約につながるだろう。

契約の基準

実際に機能する契約言語を作成する必要があった。

良いレッドライン

疑わしいユースケース(人間の制御なしの自律的なターゲティング、無差別なプロファイリング)を排除し、ミサイル防衛のような信頼できるものを許可する。Anthropicのレッドラインの法的分析で指摘された弱点を避ける。

堅牢なレッドライン

Cloudはあらゆる抜け穴を通り抜けて取引を進めるだろう。Google Legalは私の草案を強化することはなさそうだ。そして国防総省は全く条件を望まないだろう。言語は、機密情報と運用セキュリティを尊重する監査とともに、圧力の下で維持されなければならなかった。

最小限の信頼仮定

私はチーフサイエンティストを、他のすべてが依存する単一の信頼の根源とした(結局、私はJeffにすべてを賭けていた)。チーフサイエンティストは、契約について助言するレビューボディを設置するだろう。

透明性による説明責任

レビューボディはJeffとSundarにのみ私的に助言するが、それを覆すことは、全AI従業員への年次透明性レポートに表面化する。それを解散するには、事前の通知と、未解決の非準拠事項の正確な発見事項の開示が必要となる。私は、ボディがGoogleの2018年の原則のように静かに無力化されないように努めた。

反対する利害関係者への最小限の苦痛

Cloudに7席中2席を与え、スタッフは自身の取引から除外し、遅延を10日に制限し、弁護士・依頼人特権の下で審議を保護した。

交渉ラウンドを検討した。相手方は何かに反対するだろう。そして私は、その何かが負荷支持にならないようにしたかった。したがって、私は「レビューボディは超多数決でAlphabetの取締役会にエスカレートできる」といった、重要度の低い、交渉で譲歩されることを意図した条項を含めた。

私が作成したフレームワーク

個人的な時間(休暇を取って)を使って、良い出発点となる言語を作成した。私は「良い出発点」の資料として25ページを作成した。私はこのフレームワークを、クラウドとAIの両方のプロバイダーに適用可能な一般的な形式で私のサイトに公開した。

私は時々これを「フレームワーク」と呼ぶ。

このフレームワークは、会社が政府機関に行使権限のあるAIを提供する際の、2つの狭い基準を提案する:

  1. ターゲティングと武力行使に対する人間の制御。 会社のAIは、適切な人間の制御なしに、各エンゲージメントで評価される、武力行使の標的を選択・交戦するシステムには使用されない。これは、会社が直接ターゲティングシステムを提供する場合でも、ターゲティングパイプラインでAIコンポーネントを提供するだけでも適用される。法的透明性への権利を含み、コンプライアンス検証は相互に合意された中立的な監査人によって実施される。反弾道防御システム、基準2に基づく情報分析、ロジスティクス、または研究開発は制限されない。

  2. 無差別なAIプロファイリングの禁止。 会社のAIは、すでに特定の調査対象となっている人物以外の、大量のデータから個人のインテリジェンスを作成しない。国籍に関わらず、すべての個人に対して、個人のAI支援分析は、奉仕される安全保障上の利益に対して比例的でなければならず、人口統計学的特徴や政治的表現のみに基づいて開始されてはならず、AI生成された出力は個人の精査を開始する唯一の根拠としてはならない。米国内のすべての個人に対して、身分に関わらず、より高い保護が適用される。特定された対象者、集計研究、および非戦闘員の保護を改善する紛争地域分析は許可される。

年次内部レポートによる透明性: チーフサイエンティストによって任命され、報告する、シニアスタッフからなる7人の国防AIレビューボディ(諮問機関)。

将来の法律による上書き: 連邦議会がこれらの使用法を規制する実質的な法律を可決した場合、チーフサイエンティストとレビューボディ(超多数決による)は、1つまたは両方の基準を廃止できる。

会社は「あらゆる合法的な用途」を基準として受け入れない。 「あらゆる合法的な用途」という言葉が要求される場合、会社は意図された用途の合法性を確立する法的覚書へのアクセスを要求する。その透明性により、会社は各ユースケースを基準に対して評価するための情報が得られる。いくつかは会社の基準を満たすだろう。いくつかは満たさないだろう。満たさないものは、会社は拒否する。

TomSmithの助けを借りて、軍事および監視法のエキスパートからフィードバックを得た。特に、人間/AIの戦争統合に関する第一線の法律専門家からフィードバックを得た。彼らは私のフレームワークを「実際かなり良い」と評価し[34](https://turntrout.com/why-i-left-google-deepmind# 🙂)、改善を提案した。

ジェフとのランチ

2026年3月17日

[画像: マウンテンビューにあるGoogle Gradient Canopyビルの空撮。特徴的な大規模なドラゴン鱗屋根構造を持ち、道路、木々、歩道に囲まれている。]

友人が私をマウンテンビューまで車で連れて行き、ジェフに会った。パリッとしたドレスシャツとスラックスを着て、私はGradient Canopyオフィスを歩いた。私はフレームワークをバッグに入れ、心に質問があった:「ジェフは何をしたいのか、もし何かあるなら?」私は、十字軍士に会うのだろうか?傍観者に?戦略家に?

1ヶ月前、私はこのランチを、Googleの契約状況をより倫理的にするための「建設的な選択肢」について話し合うために求めた。彼自身の計画があるだろうか?確かにあっただろう。彼はより多くの可視性と経験を持っていた。私はフレームワークを脇に置き、より多くの情報を使って考案されたより良い計画に従う準備をした。あまり気にしなかった。たとえSundarが私のフレームワークを採用したとしても、私はクレジットを得る可能性は低いと知っていた。それは私を少し悲しくさせたが、私は仕事を終わらせたかった。

私はカリフォルニアの太陽の下でジェフとランチをした。私はJeffに潜在的なレビューボディのヘッドになることを提案したが、彼はそのアイデアを受け入れなかった。それ以外は、ランチの詳細については議論しない。私は彼の公開行動に言及するだけだ。彼はツイートし35、Anthropicを支援するアミカス・ブリーフに署名した36。Googleは後に契約を締結した。Jeffは彼の誓約にもかかわらず、まだGoogleにいる37。

影響を与えるための別の道を探す

私はこれを予想していた。私は単に、チャンスを掴むには確率が良いと判断しただけだった。Jeffがレビューボディを擁護しなかったため、成功の可能性は大幅に低下した。私はまだ、大きな潜在的利益は私の継続的な努力に値すると考えた。もう一つの明らかなエスカレーション経路はDemis Hassabisだった。

2014年、GoogleはDeepMindを明確な約束のもとに買収した。そのAIは決して軍事目的で使用されないという約束だった。2018年、DeepMindの共同創設者全員(Demisを含む)はFLI致命的自律型兵器誓約に署名した。Google DeepMindも組織として署名した。

DemisはすでにSundarと戦い、将来のDeepMind AGIがGoogleの利益インセンティブに縛られないようにした(結局は負けたが)。私は考えた。「Demisはこの件で辞職しないだろう。しかし、彼が圧力をかければ、透明性メカニズムの一部を得られるかもしれない。」私は私の提案をDemisの目に留めるための、気まずくない方法を探した。Jeffなら問題なく送れただろうが、私は別の方法を探さなければならなかった。

私は探した。私は、この取引を阻止するために真のイニシアチブを取り、懸命に働いているシニアな人物が一人いることを知った。私はそれに感謝した。しかし、私は一人しか知らなかった。

いずれにせよ、管理職の連鎖を通じてエスカレートしようと1週間試みた後、私は単に気まずい方法で進めることにした。

誰も応答しないので、CEOにDMを送ってみてはどうだろうか?

2026年4月1日

結局、現実的に起こりうる最悪の事態は何だろうか?私の見積もりでは、彼は「不適切です、次回はマネージャーを通して送ってください」と言うかもしれない。まあ、どうでもいい。

Demisへの私のメッセージ

Demis、私はGoogleでの軍事AI監視のためのフレームワークと、2つの候補基準(別々に検討可能)を作成しました。人間/AIの戦争統合に関する第一線の法律専門家は、このフレームワークを「実際かなり良い」と評価しました。監視は諮問的なもので、防衛AI展開の独立した技術的および倫理的な評価を提供します。

Demisは、フレームワークをGDMのポリシー担当の2人のシニア担当者に評価してもらうように言った。私は彼らに送った。彼らはメッセージを既読スルーした。

私のフレームワークは評価されない

忙しい人たちが忙しいのだろう。数日後、私は彼らに ping した。一人は彼らの部下と話すように私を指示した。約1週間後、私はそれらの部下と話した。彼らはフレームワークに興奮しているようだったが、数ヶ月は返信がないだろうと言った。それは時間的プレッシャーには合わなかった。

私はシニアポリシー担当者に、次のステップについて話し合うために戻った。一人は、状況が展開するにつれて、私にアップデートを報告するように求めた。数日後、私は穏やかな反論をした。私は、未知だが潜在的に短い時間枠に直面していることを説明し、国防総省の1月9日のメモが、すべてのAI請負業者に「あらゆる合法的な用途」契約を受け入れるための180日間の締め切り(7月8日)を与えていることを指摘した。38 私は基本的に言った。「Demisがフレームワークを再検討すべきではないとあなたが思っているなら、それでも構いませんが、どちらにしてもその決定を下してほしい。」私はフレームワークについて質問があれば、サンフランシスコからロンドンまで飛んで答えることさえ申し出た。

彼らはメッセージを既読スルーした。

何が起こったのか、私はまだ知らない。会社のCEOがそれを評価することを望んでいたのだから。彼らが私をループに入れることは期待していなかったが、「ありがとう、Demisに私の評価を伝えます」という返信は期待していた。未知だが正当な複雑さがあった可能性はある。いずれにせよ、私はこのプロセスに満足していない。

Googleは静かに契約を締結する

報道されたように、2026年4月27日

その前の週末、私は噂を聞いていた。600人以上の従業員と共に、私はSundarに機密AI契約に「ノー」と言うよう求める手紙に署名した。39 私はJeffに、報告ラインや官僚主義を無視して、彼が望む何かを達成するために、非公式な方法でできることはないか尋ねた。問題なければ週末も働くつもりだった。残念ながら。

この契約により、国防総省はGoogleのAIを「あらゆる合法的な政府目的」に使用できるようになる。

Googleの契約では、政府の要求に応じて、同社のAIの安全性設定とフィルターを調整するのを支援することが求められる…

契約には、「当事者は、AIシステムが、適切な人間の監督と制御なしに、国内の大規模監視または自律型兵器(標的選択を含む)を意図したものではなく、使用されるべきではない」と記載されている。

しかし、この契約には、Googleに合法的な政府の運用上の意思決定を制御または拒否する権利を与えないとも記載されている。

私は、その週末の11時45分にSignalグループ経由で知った。Googleはこの契約を社内で発表しなかった。私が驚いたのは、Googleが署名したことではなく、契約が倫理的な懸念に対して最低限の賛辞しか払っていなかったことだ。「~べきではない」という言葉は拘束力がない。

私はこの2ヶ月間、これを防ぐために費やした。OpenAIがイチジクの葉を提供したなら、Googleは「イチジクの葉を提供したと想像してくれ」と言った。

Googleは、 veto する権利がないことを肯定し、政府の要求に応じて安全フィルターを変更することを約束し、法的制限のない願望的な言葉を使っている。

恥ずべきことだ。

[画像: 画像を表示]

2026年4月28日

47882

私はこの分野の主要な安全・倫理組織(IASEAI)に行った。私は最も著名なAI科学者数名(ベンジオとスチュアート)に尋ねた。私は連合とGoogleの最も率直な役員(ジェフ)のための計画を立てた。私は会社のCEO(デミス)にさえコールドメッセージを送ったが、彼の部下は提案を評価しなかった。ジェフを除いて、誰も取引を止めるために目に見える行動を取らなかった。そして取引には拘束力のある規定がなく、ジェフが立ち去ると脅さなかった場合に予想されるものだった。

契約は締結された。

しかし、Googleはドローン契約の入札をやめたのか?

Googleは、応募した企業の中にあったにもかかわらず、音声制御式の自律型ドローン群用の技術を作成するための1億ドルの国防総省の賞チャレンジへの入札を突然取りやめた、と関係者によると。

同社は、政府に対し、ドローン群を制御するための技術を作成することを目的としたこの取り組みへの参加をこれ以上行わないと通知した。これは、提出された提案の数週間後の2月11日のことだった、と別の関係者は述べた。この決定は、内部倫理レビューに続くものだった、とブルームバーグ・ニュースがレビューした関連記録によると。Alphabet Inc.のGoogleは、記録によると、公式には「リソース不足」を理由にコンテストから撤退した。

どうやら、Googleには歯のある倫理レビュープロセスがあるようだ。少なくとも時には、一部のプロジェクトに対しては。それは良いことだ。

しかし、これはGoogleが契約を締結した決定を免責するものではない。好意的に仮定すると、Googleには常に、明らかに兵器に使用される契約をブロックするプロセスがあるとしよう。

後にカバーするように、Googleの基準は「利益が害を大幅に上回る」ということのようだ。Googleは「合法的な目的」が何であるかを知ることができないのに、それをどのように測定できるのか?「あらゆる合法的な用途」の契約の下では、ジェフやデミスのような倫理観のある従業員を不快にさせる警告はもう存在しないだろう。

政府はGoogleに電話して「我々は爆撃された人々の大量殺害のためにGeminiを使用した」とは言わないだろう。同様に、AnthropicのCEOでさえ、Claudeがイランの女子校への空爆にどのような役割を果たしたか、あるいは果たさなかったか、正確には知らない。40 Anthropicでさえ知らないし、AnthropicはGoogleよりも公開された契約透明性への意欲をはるかに示している。

デミスはGoogleのAI原則は「変わっていない」と主張する

インタビュアー

GoogleがDeepMindを買収した2014年、あなたはGoogleがあなたの技術を軍事目的で使用しないという契約に署名しました。それ以来、あなたは再編成されました。現在、DeepMindの技術は米国やイスラエルを含む様々な軍に販売されています。あなたはAGI開発の大きな利点について話してきました。その機会を得るために、その面で妥協したと感じますか?

デミス

いいえ、そうは思いません。世界を取り巻く地政学的な不確実性が増大したことを考慮して、最近物事を更新したと思います。残念ながら、世界ははるかに危険な場所になりました。民主的な価値観が勝利するともう当然のこととは考えられません。それは全く明らかではありません。深刻な脅威があります。

ですから、政府と協力する必要があると思います。また、政府との協力は、銀行、ヘルスケアなどの他の規制された重要な産業とも協力することを可能にします。私たちの原則について何も変わっていません。私たちの原則に関する根本的なことは常に、利益を慎重に検討する必要があり、それらはリスクを大幅に上回らなければならないということです。ですから、それは私たちがやりたいことすべてにとって高いハードルです。もちろん、国際法と人権を尊重しなければなりません。それらはすべてまだ含まれています。

特に、彼は次のように述べている:

私たちの原則に関する根本的なことは常に、利益を慎重に検討する必要があり、それらはリスクを大幅に上回らなければならないということです。

それは原則ではない。原則とは、後で自分自身を言い逃れできないように、事前にコミットするものである。たとえ利益がリスクを上回るように見えてもだ。「見たときに決める」という「原則」は違反できない。

Googleの元の2018年のAI原則は、Googleが特定のユースケースを支援しないことを約束し、その結果、Googleは2018年に100億ドルの契約入札から撤退した。原則には、「追求しないアプリケーション」というセクションが含まれており、Googleは「人々に傷害を与えることを主目的または直接的な手段とする」兵器や、「国際的に認められた規範に違反する」監視のためのAIを設計または展開しないとしていた。

2025年2月4日、Demisはこれらの原則の更新を発表する投稿を共同執筆した。更新された原則は、兵器と監視の禁止を削除した。

これらの声明を考慮せよ:「DemisはGoogleのAI原則から禁止事項を削除した」と「私たちの原則について何も変わっていない」。両方は真実ではありえない。

DemisはGDMの従業員に彼を信頼してほしいと願っていた。そしてDeepMindが十分に強力なレビュープロセスを持っていると信じてほしいと願っていた。しかし、GoogleのAI原則はGoogleがしないことを明記していた。そして彼はそれらの禁止事項を削除し、最終的に何も変わっていないと言った。

私の最後の日に、私はディスカッションチャンネルでこの矛盾を指摘した。多くのGDM従業員が失望を表明した。

私たちは「西側の民主主義国と協力して」「中国を打ち負かす」ことができるが、トランプのすべての要求に屈する必要はない

AIリーダーが「西側の民主主義国と協力する必要がある」と言うとき、それは何か悪いことをしている兆候だ。

Demisは、民主的な価値観が勝利することを保証するために「政府と協力する必要がある」と述べて、GDMの武器不使用コミットメントを破ったことを正当化した。私はそれが偽の二分法を課していると思う。その世界観全体を認めたとしても、もし米国が自律型兵器を採用しなければ、世界を権威主義に失う—ウクライナが陥落し、自由が崩壊し、赤い波がすべてを飲み込む—としても、「国防総省に要求されたものを与える」ことが必ずしも世界にとって最善の行動ではない。あなたは、例えば、Googleが製品のために提供することをいとわないユースケースを制限するガバナンスフレームワークを構築することができる。それはGoogleが非倫理的なものなしに、倫理的なもの(「中国を打ち負かす」ため)を提供することを可能にするだろう。

たとえGoogleが署名を強制されたとしても、議会に法的保護を働きかけるためにその巨大な影響力を行使できたはずだ。譲歩は選択だった。

個人的な信頼に基づいて世界を変える技術を構築する

私はかつてDemisを、困難な企業構造の中で最善を尽くしている、静かで思慮深い人物だと思っていた。再びDemisがGoogle DeepMindをGoogleから分離しようとして(そして失敗した)物語に戻ろう:

「Googleと交渉していたとき、私たちは信頼できない方法で安全性を確保したかった」とHassabisは言った。「それは実際、現実には非常に難しい。

「安全性はガバナンス構造に関するものではない」と彼は続けた。「つまり、ガバナンスボードがあったとしても、いざという時にはおそらく正しいことをしないだろう。

「安全憲章も同様だ。あなたはそれを交渉しようとすることができる。しかし、何年も前に明確な原則を作成することは現実的ではない。なぜなら、あなたは間違った場所に線を引く可能性が高いからだ。[…]

「それで、なぜ逆の方法に行かないのかと思った。信頼できない交渉に費やされたエネルギーを、実際の信頼を創造することに注ぎ込もう。Googleに寄り添うことから始めよう。

「そしてもちろん、2つのことが起こる。第一に、あなたはテーブルに着くので、安全性の問題が発生したとき、あなたはそれを決定するのを助けることができる。第二に、あなたはGoogleの人々を知り、一緒に成功を積み重ねることができる。あなたはただ信頼について話すことはできない。あなたはそれを稼ぐ必要がある。

「そして私にとって、そしておそらくムスタファにとっても、それは成長することだ」とHassabisは思索した。「私たちはこれらの交渉を経て、成熟した。特に結果が未知の技術を扱っているときは、物事は白黒ではない。

「だから、適応しなければならない。理想主義者から現実主義者へと移行しなければならないが、それでも価値観を持ち続けることが望ましい。」

Demisは信頼できない構造を警戒している。私はそれが逆だと思う。システムが必要とする信頼の量を減らすように努めるべきだ。フレームワークで私が提案したのは、単一の信頼仮定に基づいている。つまり、チーフサイエンティストがレビューボディを設置するのに十分なほど合理的であることだ。その後、フレームワークは透明性と契約を通じて正当化された信頼を製造する。非倫理的な取引を防止するのではなく、摩擦を加えるのだ。Demisの反対意見は、ガバナンスボードは「いざという時にはおそらく正しいことをしないだろう」ということだ。確かに、しかしテーブルにいる人間は、全く同じ状況に直面するが、透明性がなく、より悪いインセンティブを持っている。株式、同僚との社会的絆、そして会社への自己イメージ。

そしてDemisが彼の哲学にどのように到達したかに注目してほしい。彼はDeepMindを半独立した取締役会の下でGoogleから分離しようとすることで、より低い信頼構造を構築しようとした。Sundarはそれを拒否した。その時になって初めてDemisは、答えは相互信頼とテーブルに着くことだと結論づけた。

Googleに寄り添うことから始めよう。

そしてもちろん、2つのことが起こる。第一に、あなたはテーブルに着くので、安全性の問題が発生したとき、あなたはそれを決定するのを助けることができる。第二に、あなたはGoogleの人々を知り、一緒に成功を積み重ねることができる。あなたはただ信頼について話すことはできない。あなたはそれを稼ぐ必要がある。

では、彼の席は何をもたらしたのだろうか?Demisはこのエッセイのすべての契約にテーブルに着いていた。機密契約は、倫理的な懸念を表明した従業員に対して、拘束力のある譲歩を全く行わなかった。おそらく彼の存在は何かより悪いことを回避したのだろうが、Googleの条件は私が想像できた最低限のものだった。倫理的な条件は拘束力がなく、したがってOpenAIのものよりも弱い。もし彼の席が彼が言うほどの価値があるなら、もっと成果があるはずだ。41

考察

Google DeepMindはガバナンスの実験だった。共同創設者は、武器に電力を供給しないという約束でGoogleに売却し、半独立したガバナンス構造のために戦った。Sundarはそれを拒否した。Googleの2018年のAI原則は従業員の圧力によって課されたが、後にリーダーシップによって静かに無力化された。

GDMの実験の結果はこうだ:失敗した。

利益と圧力がGoogle DeepMindの倫理的コミットメントと衝突したとき、圧力は勝ち、倫理は負けた。利益と圧力がAnthropicの倫理的コミットメントと衝突したとき、倫理は勝った。だから教訓は「誰も決して立ち上がらない」ということではない。教訓は、社会が倫理に動機づけられた人々が断固として立つことに頼ることはできないということだ。

他の選択肢があまり良くないことは知っている。議会は隅の鉢植えのままだ。しかし、少なくとも私たちは「テーブルに着くことは効果がある」と自分自身に言い聞かせるのをやめるべきだ。42

誓約署名者はどのようにしてgdmにいられるのか?

Jeff Dean、Demis Hassabis、Shane Legg、そして他のシニア従業員は、「致命的な自律型兵器の開発、製造、取引、または使用には一切関与せず、支援しない」と誓約した。Googleは機密契約に署名したが、彼らはまだそこにいる。

擁護するかもしれない:「契約は自律型兵器を禁止しているわけではない。それは積極的に自律型兵器を支援することとは違う。」Googleの契約は、懸念する誓約署名者から確実性を奪うが、目隠しは責任を免除しない。

あなたの会社は、世界最高のAIを、AIを致命的な自律型兵器に使用したいと考えている軍に製造・供給しようとしている。あなたの会社は、ユースケースを制限する能力を売却した。あなたは、そのAIを構築し続けることを選んだ。

それは私には「致命的な自律型兵器の開発を支援する」と、かなり似ているように見える。

誓約署名者はどうすべきか?私は3つの正直な選択肢を見る:滞在することが誓約とどのように一致するかを公に説明する、自分がもはやそれを保持していないこととその理由を率直に述べる、または辞職する。43 誓約を身につけて何も言わないのは、そのうちの一つではない。

2026年8月5日(このエッセイ公開から数週間後)

スンダルは彼を引き止めようとした:

ディーン氏によると、AlphabetのCEOであるスンダル・ピチャイ氏は、複数の会議で彼らにバッジを維持させようとしたという。最終的にチームは、スタートアップを行う楽しさと自由を求めたと決定した。

公開情報では、彼が国防総省との取引が原因で辞任したことを示唆するものは何もないが、ジェフが辞任し、それによって2018年の誓約を守ったことは良いことだと思う。

テーブルに着く席を維持する

しかし、GDMの従業員は、良い方向への舵取りを維持するために留まるべきではないのか?これに対して私は反対しなければならない:「どんな舵取りだ?」この契約は、GoogleのGeminiプロジェクトが直面する最も明確なレッドラインだったかもしれない。それにもかかわらず、契約は倫理に関心のある従業員への譲歩なしに終わった。もし彼らの「テーブルに着く席」が、その状況で一つの拘束力のある規定さえも生み出せなかったなら、いつそれができるのだろうか?

さらに、誓約はそれに裏打ちされた信頼性だけが価値がある。誰かが「致命的な自律型兵器の開発を支援しない」と署名し、それから、その軍がまさにそれを望んでいる状況で、無制限のAIを軍に販売しながら留まる場合、彼らはすべての相手方に教訓を与える:これらの安全担当者は、自分の最も明るい線でさえ行動しないだろう。彼らが次に作るコミットメントは、より価値が低い。最終的には無価値になる。

倫理の重み

責任はどこにあるのか?AI企業を脅迫したPete HegsethとDonald Trumpか?契約に署名したSundar Pichaiか?影響力が契約に何の痕跡も残さなかったJeff Deanか?責任は彼らに不均等に分散するが、私の注意は、表明された倫理的コミットメントを持つ人々に向けられる。

Pete Hegsethの場合、少なくとも何を得ているかわかる。「Peteを説得して戦争犯罪の命令を止める」というのは利用可能な戦略ではない。しかし、私はこれらのシニアAI専門家のほとんど全員の一貫した不作為に、特に失望を感じている。

なぜ彼らは不作為を選んだのか?答えはクリーンでシンプルではないように思えるが、答えの一部はトランプ政権への恐怖だと思う。

2025年4月26日

インタビュアー

Googleが軍事AIの使用に関する約束を破ったとき、失望しましたか?

ヒントン
とても失望しました。特にセルゲイ・ブリンが軍事AIの使用を好まなかったことを知っていたので。

インタビュアー
なぜ彼らはそうしたのだと思いますか?

ヒントン
内部情報は何もありません…彼らが、米国のために兵器を作らなければ、現政権から不当な扱いを受けることを恐れていたのではないかと推測できます。

AIの著名人たちは何をしているのか?

これらの人々は明らかに一般的に臆病者ではない。長年、スチュアートはAIの存亡の危機を真剣に受け止めるべきだという不人気な立場を貫いていた。ヒントンは、彼の「人工知能の軍事資金調達への不承認」のために1980年代に米国を離れ44、2023年にはAIのリスクについて率直に語るためにGoogleを辞任した。

2026年6月10日

これらの大手のAI企業を抑制する唯一のものは、世論の圧力だ。

では、その圧力はどこにあったのか?

時々、人は「IASEAIは、さらに影響力のある瞬間のために政治的資本を温存していただけではないか?」と尋ねるだろう。一つの答えは、「資本の温存」では、低コストの機会(スチュアートが私をGoogleの主要な意思決定者に紹介してくれたことなど)を避けたことを説明できないということだ。

スチュアートのキャリアを考えると、彼が声を上げることを期待するだろう。スチュアートは(国連、上院、インタビュアーに)数百回の講演を行い、スローターボットを非難した。彼はIEEE Spectrumのページで「楽観論」を非難した。4546 彼はIASEAIの閉会式でステージ上で強い声明を発表した47。しかし、特定の強力な敵に対して声を上げる現実的な機会に直面したとき、彼は沈黙した。

なぜジェフは断固としなかったのか?

ジェフは難しいケースだ。Googleの役員の中で、彼だけが公に行動した。彼はアミカスに署名し、会社から離れた。それはおそらくCスイート内で気まずい状況を作り出した。私はそれを尊敬する。

彼はもっと多くのことをする力を持っていた。そして私は彼がそうしてくれればと本当に願っている。彼は取引を止められたと思うが、そうしなかった。彼はまだそこにいるが、私は彼がそうすべきではないと思う。

役割から解放される

私はリサーチサイエンティストだった、知っているだろう—GDMで数百人いるうちの一人だ。「責任ある」リサーチサイエンティストのイメージが私の頭の中にある。「責任ある」リサーチサイエンティストはツイートをし、それからICE契約についてマネージャーに懸念のメッセージを送る。「責任ある」リサーチサイエンティストはGoogleの役員にコールドメッセージを送らない。

まれに、人は境界を破る。彼らは自分を縛っていた恐怖から抜け出す。彼らは困難な真実を認める。彼らは前日には自分自身を驚かせるような方法で行動する。なぜ人々が境界を破るのか、あるいは破らないのか、私は理解できない。

[画像: アレックス・プレッティの額装された写真。彼は眼鏡をかけた髭面で、木製のロザリオビーズで飾られている。フレームの下には、厚紙に手書きされたメモがあり、「安らかに眠れ アレックス・プレッティ」と書かれている。]

この件で私の境界を破ったものは何か、私は知っている。私の電話には、アレックス・プレッティの写真を見せてくれる定期的なリマインダーがある。1月のとある瞬間、私の怒りはあまりにも激しく燃え上がり、その唯一の出口は、実際に機能する計画を見つけることだった。単なるツイートは何もしないだろうし、何の意味もないだろう。良い計画だけが満足させられるだろう。怒りは私の境界を燃え尽きさせ、それを破った。48

私が怖くなったとき—そして怖くなった—私はミネアポリスのことを考えた。ICEが路上で人々を撃ち、人々を家から引きずり出すことを考えた。

従業員がトップAIラボを辞めるとき、それはしばしば別のラボの腕の中に入る。彼らは通常、そこで莫大なボーナスを得る。私はそうしなかった。競合ラボと浮気せず、OpenAIの安全チームからのアプローチも断った。私は今、無職だ。

2月に、Googleが契約に署名する可能性が高いことに気づき、ドアのことを考えた。49 私は辞職して、どこか他の場所でより良いAI安全作業ができるかもしれないと考えた。しかし、もし彼らが契約に署名しなかったら、あと数ヶ月は留まっただろうと思う。Googleが署名したとき、私はもうこれ以上仕事ができなかった。私の脳は「ノー」と言った。

次にオフィスに行ったとき、建物は記憶のように感じられた。古い高校に帰るようなものだ。かつては希望と夢の中心だったが、ある日、自分がもうそこには属していないことを知るのだ。

[画像: サンフランシスコ・オークランド・ベイブリッジを見下ろすオフィス窓からの眺め。青い湾の水、前景にヤシの木、下に海岸道路と交通量が見える。トレジャーアイランドの上に小さな虹の一部が覗いている。]

GDMの私のデスクからの眺め。2024年3月。

関連記事

付録:予想される質問

批判している人々が政治的資本を温存していた場合はどうなるか?

確かに、常に自分の考えを思った瞬間に言うのが合理的とは限らない。しかし、「政治的資本の温存」は、費用のかかる公の声明を避けることを説明する。それは、費用のかからない個人的な助けを拒否することを説明しない。私はIASEAIに個人的な紹介を求めたが、何も得られなかった。

おそらく彼らはあなたを時間の無駄だと思ったのでしょう。あなたは彼らの助けを受ける権利はありません

絶対にそうだ。誰も、単に私の特定の推薦に従わなかったという理由だけで非難されるべきではない。しかし、私が期待するのは、あらゆる種類の行動だ。

より広く言えば、共感的な物語は、目に見える影響、つまり「結果における目に見えるもの」を予測する。それも私がジェフが断固としなかったと推測する理由の一つだ。もし彼が断固としていたら、世界は私にとって異なって見えるだろう。特に、機密契約には少なくともいくつかの拘束力のある規定が含まれていると予想する。

すべての人がすべての問題について発言する必要はありません

はい、しかし、もしあなたが行動すると約束して、それから実行しなかったら、それは異なります。IASEAIはメンバー投票を実施すると約束したが、実行しなかった。さらに、もしあなたが自分のアイデンティティの重要な部分を何かに反対することに築き上げていたなら50、それが決定されている間に沈黙を選んだ決定について議論することは公平だと思う。スチュアートは単純に最も明確なケースだ。彼は10年間、自律型兵器に対する最も声高な声だったが、現代AIと軍事使用との最初の実際の衝突に直面したとき、静かになった。

Googleがあなたのフレームワークを採用したとしても、国防総省は拒否したでしょう

同意する。xAIはそれでもAIを提供しただろう。しかし、もしGoogleがもっと早く独立の兆候を示していれば、おそらくOpenAIやAnthropicと連合を築くことができたかもしれない。

また、Anthropicが立場を取ることは、一つのテクノロジー企業であると考えるべきだ。もしGoogleのような企業も政権に抵抗したら、私はそれがテクノロジー業界の卑屈さを独立に変えただろうと思う。代わりに…

研究・工学担当国防次官補エミール・マイケルは、新しい契約はAnthropic-国防総省間の紛争に対する「対抗声明」であり、同省は柔軟な契約を優先していると述べた。[…]

マイケルはさらに、Amazon Web Services、Google、Microsoft、Nvidia、OpenAI、Reflection、Oracle、SpaceXとの新しい契約は、「AI分野に関与している世界の最大のテクノロジー企業による声明であり、彼らが『私たちは戦争省を支持します、私たちは米国政府を支持します、そして私たちは…軍のためにあらゆる合法的なユースケースを支持します』と言っている」と述べた。

国防総省の方針にもかかわらず、ジェフの影響力は重要だった。国防総省は拒否しただろう、確かに、しかしその後Googleは撤退できたはずだ。

これはAIによる存亡の危機に影響を与えますか?

はい。

高度なAIシステムを構築する際、ベストプラクティスは「安全性ケース」を作成することであり、システムがどのように整合性を保ち、壊滅的な損害を引き起こさないかを説明する。私は、信頼できるGDMの安全性ケースは、そのフロンティア安全性フレームワークが議論しているメカニズムである「思考連鎖」の監視に大きく依存すると考えている。51 慣れていない人のために言うと、思考連鎖とは、AIが何をしているのか、なぜそうしているのかを大まかに説明することだ。それは完全に正確ではないが、非常に有益だ。

私たちを傷つけたいAIは、私たちがそれをシャットオフするので、その(不整合な)目標を達成できなくなるため、それを顔に出して発表しないだろう。だからAIは欺瞞的になる可能性が高い。欺瞞を検出する最良の方法の一つは、思考連鎖を見ることだ。思考連鎖を見るためには、データにアクセスして分析できる訓練された人間の監視者が必要だ。しかし、誰もそれをできない。GoogleはAIを、デフォルトでは訓練された監視者がこの分析を実行していない安全な軍事データセンターで実行させることになる。そして、そのデータセンターはもちろんGoogleにデータを送信していない!52

Googleのエンジニアが軍が何をしているかを読むべきだと言っているのではない。適切に訓練された軍事エンジニアがこの監視を実行する人がデフォルトではいないと言っているのだ。思考連鎖における欺瞞についてAIが監視されない場合、それは陰謀、欺瞞、そして乗っ取ろうとすることによって、人類に壊滅的な損害を与えることが容易になる。それは悪いことだ。

残念ながら、それは問題の半分に過ぎない!思考連鎖の欺瞞監視がない軍事展開設定は、陰謀の弱い監視と強力な意思決定者およびインフラへのアクセスという両方を提供する、不正なAIの格好の標的となるだろう。53

希望としては、軍(US CAISIと協力して)が、不正なAIシステムを監視・封じ込めるための専門知識、注意、そして制御手順を開発することだ。

付録:「心配しないで、APIアクセスだけだから」

管理職からの一般的な安心材料:

私たちは、業界標準の実践と条件に従い、Googleインフラストラクチャ上でも、当社の商用モデルへのAPIアクセスを提供することが、国家安全保障を支援するための責任あるアプローチを表すと信じています。

「APIアクセス」は誤解を招く。「APIアクセス」と聞くと、AIプロバイダーにリクエストを送信し、プロバイダーがリクエストをスキャンして使用が許容できることを確認できると考えるだろう。

任務中に司令官がGeminiに相談していると想像してほしい。彼がGoogleに平文のクエリを送信し、Googleが(理論的には)機密任務の詳細を読むことができると考えているだろうか?いや、それは狂気の沙汰だろう。

代わりに、私の推測では、GoogleはオンプレミスAPIアクセスを実行しているということだ。私にとって理にかなっている話はこうだ:政府は、Googleのサーバーファームへの接続がない安全なコンピューティングクラスターを持っている。Googleは、軍のクラスターにGemini APIエンドポイントを公開する1つ以上のサーバーをドロップオフする。

「APIアクセスのみ」は、技術的には真実だが誤解を招く(Googleによる中央集権的な監督を示唆する)そして無関係だ。APIアクセスは何の保護を提供するのか?問題は、Geminiを使用して戦争犯罪や反体制派の大量プロファイリングを支援することだ。しかし、Googleのおかげで、これらの条件は今や「業界標準の実践」(Anthropicを除く)となっている。

脚注

  1. 厳密には、AIによる大規模なプロファイリングを懸念している。監視はデータ収集に関わる。プロファイリングはデータを収集し、結論を導き出す。「この人物は政府を嫌っているか?」など。⤴
  2. Googleは、移民捜査官は単に市販のクラウドサービスを使用しているだけだと返答している。54 しかし、問題はGoogleが特別なサービスを提供したことではなく、GoogleがICEにサービスを提供したこと自体だった。⤴
  3. 利用規約の例外は、学生抗議者のケースには適用されなかった。⤴
  4. 後にリン判事は、国防総省のサプライチェーンリスク指定は「典型的な違法な憲法修正第1条による報復」であったと述べた。55 ⤴
  5. スチュアートの「恐喝ビジネス」というコメントは、The Informationによる一つのニュースまとめに偶発的に登場したようだ。⤴
  6. その木曜日、同じ会場ビルで、4時間のワークショップがAIレッドラインを「検証可能で強制可能」にする方法について開催された。参加者は尋ねられた:これらのレッドラインの最大の障害は何か?それは政治的意思だった。⤴
  7. 要求に応じて、マークは私の会費を返金した。56 ⤴
  8. 私のGDMディスカッションメッセージでは、当初「150人以上を殺害」と推定していた。2026年6月28日現在、犠牲者は215人に増加した。⤴
  9. 私の社内キャンペーン中、私はメディア(オフ・ザ・レコードでも)と話さないようにした。私は内部からの変化を望み、ジェフのような人々に対して正しくやりたいと思った。57 ⤴
  10. ニューヨーク・タイムズはさらに次のように報じた:

ディーン氏へのAI書簡の脚注には、署名者の多くが「世界中のいかなる市民の無許可監視」にも反対していると記載されていた。しかし、彼らは「我々の要求達成の確率を高めるため」に、それを書簡から除外することを決定した。

私はその決定を後悔している。「アメリカ国民のみ」の保護はAnthropicのレッドラインと一致したが、「アメリカ国民のみ」は要求としては小さすぎた。交渉が始まる前に、欲しいものを交渉で手放してはならない!私の提案された契約言語は、後に非アメリカ国民のためのより多くの保護を要求した。⤴
11. 私は、アミカス・ブリーフへの18人のGDM署名のうち8人を担当した。集計は少なかった。なぜなら、それは急だったからだ。58 ⤴
12. これは、私の行動が国防総省に追加の懸念をもたらしたと私が考える理由だ。私はジェフ(およびGoogle署名者のほぼ半数)をアミカス・ブリーフに紹介した。彼らは署名した。国防総省は、アミカスへのGoogle署名が原因で、一部躊躇した。59 ⤴
13. 大規模な連合には問題がある。私の計画が、もし契約が署名されたら辞職するとSundarに伝える数人のシニアGDM従業員に依存していたと想像してほしい。Sundarは彼ら全員を説得する必要はない。彼は彼らの行動の意図を分断するだけでよい。よりシニアな従業員に1500万ドルの維持ボーナスを提示する。もし数人がそれに飛びついたら、連合は崩壊する。他の人々が本当にどれだけ乗り気だったか誰も知らないし、彼らは一人で辞職しても変化をもたらすことはできないと考え、だから辞職しない。60 ⤴
14. 政府の7月8日の締め切りは、「Googleはただ待つだろう」という考えが非現実的だと私が感じたもう一つの理由だった。61 ⤴
15. 私は「機密契約なし」という線引きが正しい線引きだとは思わなかったが、それがないよりは良いと思った。62 ⤴
16. 現在のGDMリサーチサイエンティストであるAndreas Kirschは、彼の論文「Trust is not Governance」で独立して同じ結論に達している。63 ⤴
17. 2026年、国防総省は米国海兵隊よりも多くの自律型兵器のためのお金を要求した!64 ⤴
18. 私は、この契約のために辞職したもう一人の人物を正確に知っている。René Mayrhofer、Androidプラットフォームセキュリティのディレクターだ。「経営陣は道徳的な羅針盤を失った」と彼は述べた。65 彼は6月中旬から8月まで通知期間を務めるようだ。勇敢だ。⤴
19. > 要約すると、私たち、そして多くの他の専門家は、自律型兵器が大量破壊兵器の規模になり得るという見解がもっともらしいと考えている。Scharre氏の、禁止は効果がないか逆効果になるという主張は、歴史的記録と一致しない。最後に、自律型兵器の規制されていない軍拡競争によって人間の安全が向上するという考えは、せいぜい楽観論に過ぎない。

⤴
20. 2026年1月1日、私はその年GDMを辞職する確率を0.2と割り当てた。5月1日にはその数値は0.95に跳ね上がった。私はFatebook.ioを使用してこの数量を追跡した。66 ⤴
21. 著名人たちは自律型兵器を彼らの原因の一つとした。2025年9月、国連総会で、AIレッドラインのためのグローバルコールは300人以上の署名者を集めた。その中にはノーベル賞およびチューリング賞受賞者15名が含まれていた。このコールは、大量監視や致命的な自律型兵器を含む特定のAI用途は、国際協定によって禁止されるべきだと宣言した。

スチュアートはそれに署名した。ベンジオ、ヒントン、ニッツバーグも同様だった。彼らは2025年9月に抽象的な原則に署名した。具体的なテストが2026年2月に到来したとき、彼らのIASEAIは全く声明を出さなかった。⤴
22. フロンティア安全性フレームワークv3.1、セクション3.2.1、「chain-of-thought」でCtrl+F。⤴
23. 機密展開は、IL-6のような認可レベルで実行され、商用クラウドインフラからの隔離を義務付ける。⤴
24. 再帰的な自己改善シナリオ中にAIを監視することがさらに重要かもしれないが、それは私のポイントを損なうものではない。自己改善が完了すると、AIはその目標を実行する必要がある。不用意な軍事展開は、不整合なAIが乗っ取るために必要な最小限の能力優位性を低下させる。⤴