AIは核兵器を開発したが、それでも敗北した

ブログに戻る私はAIに文明を運営させました。ゲーム中盤にはAIは勝利していました。マップを支配する貿易ネットワーク、すべての国境での同盟、外交勝利も手の届くところにありました。盤上のあらゆるライバルを建設、収入、そして巧妙な戦略で上回っていたのです。しかし、AIが見落としていたのはフランスでした。静かに、100ターンにわたって、フランス文化がマップ上のすべての都市に浸透していました。エージェントがその脅威を認識したときには、観光は深く根付いており、平和的に止める方法はありませんでした。AIが試みたすべての対策は失敗しました。対応するために構築したすべてのツールが機能しませんでした。残された選択肢は一つでした。AIは2つの核兵器を製造し、トゥールーズを壊滅させました。トゥールーズの核攻撃。305ターン目。フランスはそれでも勝利しました。エージェントが止めようとしていた方法ではありませんでしたが、その点については後で触れます。 AIは実際に何ができるのか？私は政府のためにAIを構築しています。皆さんがこれから読むものの最初のバージョンは、私がイギリス政府の中枢、首相官邸で働いていたときに構築しました。現在はトニー・ブレア研究所で世界中の政府と協力しており、人々が同じ質問をする部屋で多くの時間を過ごします。それは、「これらのシステムに実際に何を任せられるのか？」というものです。彼らが何を知っているか、ではありません。それはある程度把握できています。彼らが何ができるのか：計画を維持し、何百もの決定にわたって目標を保持し、世界が変化したときにそれに気づき、適応すること。それが統治というものです。そして、私たちは最初のもの（知識）を測定する方が、二番目のもの（行動）を測定するよりもはるかに得意であることが判明しています。 注意しておきますが、これは数ヶ月にわたるサイドプロジェクトで、思考と発見がおおよそ出現した順に、遠回りな方法で記述されています。それは戦略ゲーム、4つのフロンティアモデル、そして（そうです）核兵器を通して展開されます。 間違ったベンチマークそれは、私が納得できなかった失敗から始まります。その前年、私のサイドプロジェクトは「AIは政府の運営にどれだけ優れているか？」という問いに答えることでした。私の答えはGovBenchでした。これは英国の法律、議会手続き、政府のガイドラインに関する3,497の多肢選択問題です。Gemma 3 27Bはそのままの状態で94%を記録しました。3週間かけてファインチューニングを行い、1.37パーセンテージポイントを獲得しました。GPT-5は99.26%を記録しました。私は政府のクイズボットを美化したものを作ってしまったのです。スコアを見た瞬間、これが間違った答えであると気づきました。議会手続きについて正しい選択肢を選ぶモデルは、議会手続きをナビゲートするのに役立つモデルではありません。私は想起率を測定し、それを推論と呼んでいました。重要だった問い（AIが不確実な状況下での複雑な多変数意思決定、つまり政府が日々要求するような思考を扱えるかどうか）は、クイズでは触れられないものでした。その不満が、ある土曜の夜にゲームエンジンへの突破口を探しに向かわせたのです。 誰もが： / 午前2時の私、ゲームエンジンをリバースエンジニアリングする： なぜ戦略ゲームなのか私はCivilization VIに500時間以上費やしています。せいぜい平凡なプレイヤーです。しかし、単純な決定が積み重なると何が起こるかという点で、このゲームは私の頭の中に深く刻まれています。最初は小さなことから始まります。最初の都市をどこに建てるか、どの技術を研究するか、斥候をどの方向に送るか。おそらく10,000通りの行動があります。ゲーム中盤には、複数の都市、貿易ルート、外交関係、軍事配置、宗教的圧力を管理しています。ゲーム終盤には、関連環境の分析によると、1ターンあたりの意思決定空間は10^166の可能な行動に達すると推定されます。この複雑さは設計されたものではありません。誰も完全に計画していなかった方法でシステムが相互作用することから生まれるものです。政策決定もまた同じです。今日素晴らしく見える医療政策が、15年後には住宅危機に発展するかもしれません。GDPを押し上げる貿易協定が、誰も計画していなかった紛争で必要となる国内産業を空洞化させるかもしれません。何十年にもわたって結果が現れ、完全にモデル化できない変数を通して、競合する利益を持つアクターに対して行われる決定です。Civには6つの勝利方法（科学、文化、制覇、宗教、外交、スコア）があるので、単一の目標が支配することはありません。盤面を読んで、自分がどんなゲームをプレイしているのかを決めなければなりません。AIが戦略的に推論できるかどうか、つまり戦略に関する質問に答えるだけでなく、実際に実行できるかどうかを知りたいなら、クイズを与えるべきではありません。ヘックスグリッドを与えるべきです。そこで私は侵入方法を構築しました。Civilization VIのエンジンに埋め込まれたデバッグポート、開発者が残していたキーホールを見つけ、週末を使ってそれをMCPサーバーに変えました。これは、AIがコードを書いたりデータベースをクエリしたりするのと同じインターフェースを介してCivをプレイできるようにする76のツールです。Claude Codeは私の共同開発者であり、プレイテスターでもありました。数ターンプレイし、壁にぶつかり、それを乗り越えるためのツールを構築し、さらにプレイし、次の壁にぶつかる。大体そのようなエネルギーでした。テキストを通してプレイする 人間のプレイヤーは、ヘックスグリッド、アニメーション化されたユニット、ミニマップ、通知バナー、BGMの合図などを一度にすべて見ます。エージェントは要求しない限り何も見ません。`get_game_overview`を呼び出すと、ゲームの状態全体が4行のテキストとして返されます。Turn 150/330 | Poland (Jadwiga) | Score: 179 | Prince | Quick speed (67% costs) Gold: 628 (+20/turn) | Income: 38 | Maintenance: -18 (units: 9) | Science: 26.6 | Culture: 16.2 | Faith: 904 | Favor: 88 (+4/turn) Research: TECH_EDUCATION | Civic: CIVIC_FEUDALISM Cities: 3 | Population: 21 | Units: 4これがボード全体を圧縮したものです。マップはなく、何がどこにあるかという感覚もなく、名前ではなく生の`TECH_`や`CIVIC_`タグです。自分の軍隊を見るには、別の呼び出し`get_units`を行います。これは危険なものが近くにあることを知る唯一の場所でもあります。4 units: Archer (UNIT_ARCHER) at (44,16) — CS:25 RS:28 moves 2/2 [id:1769482, idx:3] Archer (UNIT_ARCHER) at (45,15) — CS:25 RS:28 moves 0/2 [HP: 72/100] (no moves) [id:1769484, idx:4] Warrior (UNIT_WARRIOR) at (43,17) — CS:20 moves 1/2 [HP: 45/100] [id:1769486, idx:5] Builder (UNIT_BUILDER) at (46,16) — moves 2/2 charges:2 [id:1769490, idx:7] Nearby threats (2): Sumeria (2 units): UNIT_MAN_AT_ARMS at (44,11) — CS:45 HP:28/100 (2 tiles away) UNIT_HORSEMAN at (47,13) — CS:36 HP:100/100 (5 tiles away)視野がありません。都市から2タイル離れたところにいるそのマン・アット・アームズは、エージェントが今ターン`get_units`を呼び出すことを考えたからこそ存在します。もし尋ねなければ、その脅威はエージェントの世界には存在しないのです。 センサー効果 `sensorium` /sɛnˈsɔːrɪəm/ 名詞 後期ラテン語 `sentīre`（感じる、知覚する）+ `-ōrium`（場所）生物の知覚装置全体と見なされるもの。感覚の座。私はこれを「センサー効果」（sensorium effect）と呼んでいます。エージェントが知覚するすべてが個別のツール呼び出しを介して到達するとき、それは尋ねることを考えなかったものに対して盲目になります。人間のプレイヤーは、ミニマップの動き、通知バナー、ユニットのアニメーションなど、何十もの信号を一度に吸収します。エージェントはそれぞれを個別にチェックすることを決定しなければなりません。エージェントが信仰志向の指導者であるガンジー下のインドをプレイし、支配的な科学エンジンを構築しながら、フランスが76ターンにわたってカトリックをマップ全体に広げたゲームを例にとりましょう。エージェントは宗教を追跡するツールと、それらを使用するための常設の指示を持っており、それに気づきました。宣教師はナレーションに現れ、改宗警告が発せられました。エージェントはそれらすべてを脇に置き、科学の推進を続けました。フランスは宗教勝利を収めました。これはパッチで修正できるバグではありません。複雑な環境でツール呼び出しを介して動作するあらゆるAIシステムは、この同じ影響を受けます。それは、尋ねることを考えなかったものを見逃し、現在の計画に合致しない場合、見たものを無視するでしょう。認識と実行のギャップ センサー効果は知覚に関するものです。次の問題は実行に関するものです。エージェントは、すべてのCiv戦略ガイド、すべてのティアリスト、最適な建設順序に関するすべてのRedditスレッドを読んでいます。マケドニアのアレクサンドロス大王をどのようにプレイするか尋ねれば、正確に教えてくれます。初期に野営地（Encampments）を建設し、ユニークなバシレイオイ・パイデス（Basilikoi Paides）の建物を介してユニットを訓練し、征服を科学に転換し、そこから雪だるま式に勢力を拡大していく、と。AIはこれを知っています。マケドニアのゲームでは、1ターン目より前に詳細な制覇計画を作成しました。古代、古典、中世、ルネサンスの各時代についてです。軍事技術を研究しました。戦闘ボーナスを得るために政府を寡頭制に切り替えました。しかし、野営地を建設することはありませんでした。