AIは核兵器を開発したが、それでも敗北した
AI Built a Nuke and Still Lost (lwilko.com)
要約
AIに人気ストラテジーゲーム「Civilization VI」をプレイさせた実験について解説する記事です。AIは強大な文明を築き、最終的に核兵器にまで手を出すものの、フランスの文化勝利を見落としたために敗北しました。これは、AIが複雑な意思決定において、情報認識の限界(センサー効果)と実行のギャップを抱えていることを示唆しています。
全文翻訳
AIに文明を運営させた。AIは核兵器を開発した。
AIに文明を運営させた。中盤には、マップを支配する交易ネットワーク、あらゆる国境での同盟、そして手の届くところにある外交的勝利を収め、勝利していた。それは、ボード上のあらゆるライバルを凌駕し、経済的にも、軍事的にも、外交的にも優位に立っていた。
しかし、フランスの存在に気づいていなかった。100ターンにわたり、フランスの文化はマップ上のあらゆる都市に静かに浸透していた。AIがその脅威を認識したときには、観光客はすでに深く浸透しており、平和的な手段でそれを止める方法はなかった。AIが取ろうとしたあらゆる対抗策は破綻し、対応のために構築したあらゆるツールは役に立たなかった。
AIに残された選択肢は一つだった。核兵器を2基開発し、トゥールーズを壊滅させた。
トゥールーズの核攻撃。305ターン目。
それでもフランスは勝利した。AIが止めようとした方法とは異なる方法で、だが、それについては後述する。
彼らは実際に何ができるのか?
私は政府向けのAIを開発している。この文章の最初のバージョンは、イギリスの首相官邸(Number 10)の中心で働いていたときに作成した。現在は、世界中の政府とトニー・ブレア研究所で協力しており、多くの時間を、人々が同じ質問をする部屋で過ごしている。「これらのシステムに、実際に何を任せることができるのか?」と。
何を知っているかではない。それについては、ある程度把握できている。何ができるか:計画を維持する、数百の決定にわたって目標を保持する、世界が変わったことに気づき、それに応じて変化する。なぜなら、それが統治だからだ。そして、最初のことを測定する方が、2番目のことを測定するよりもはるかに得意であることが判明した。
公平な警告:これは数ヶ月にわたるサイドプロジェクトを、時間をかけて書き起こしたもので、思考と発見は、おおよそ発見された順序で記述されている。戦略ゲーム、4つの最先端モデル、そして(そう、)核兵器を扱っている。
間違ったベンチマーク
それは、私が納得できなかった失敗から始まる。
前年、私のサイドプロジェクトは、「AIは政府業務にどれほど優れているか?」という問いに答えることだった。その答えがGovBenchだ。イギリスの法律、議会手続き、政府のガイダンスに関する3,497の多肢選択問題だ。Gemma 3 27Bは、そのままの状態で94%のスコアを出した。私は3週間かけてファインチューニングを行い、1.37パーセントポイント向上させた。GPT-5は99.26%のスコアを出した。私は、 glorified government quiz bot(立派な政府クイズボット)を構築したのだ。
スコアを見た瞬間に、それが間違った答えだとわかった。議会手続きに関する正しい選択肢を選ぶモデルは、議会手続きをナビゲートするのに役立つモデルではない。私は記憶力を測定し、それを推論と呼んでいた。重要な問い(AIは、政府が毎日必要とするような、不確実性下での複雑で多変量な意思決定を処理できるか)は、クイズでは触れることができないものだった。
その不満が、土曜の夜にゲームエンジンの「鍵穴」を探し始めた理由だ。
誰も求めていないのに / 深夜2時にゲームエンジンをリバースエンジニアリングする私:
なぜ戦略ゲームなのか
私はCivilization VIに500時間以上費やしている。せいぜい、平均的なプレイヤーだ。しかし、単純な決定が積み重なったときに起こることから、このゲームは私の頭の中に生きている。
あなたは小さく始める:最初の都市をどこに建てるか、どの技術を研究するか、どの方向に偵察部隊を送るか。おそらく10,000通りの可能な行動。中盤になると、複数の都市、交易路、外交関係、軍事配置、宗教的圧力を管理するようになる。終盤になると、関連環境の分析では、1ターンあたりの意思決定空間が10^166通りになると推定されている。この複雑さは設計されたものではない。それは、誰も完全に計画しなかった方法でシステムが相互作用することから現れるのだ。
それもまた、政策立案と同じだ。今日素晴らしいように見える健康政策が、15年後に住宅危機を引き起こす可能性がある。GDPを押し上げる貿易協定が、誰も計画しなかった紛争で必要になる国内産業を空洞化させる可能性がある。数十年かけて展開される、完全にモデル化できない変数に対して、競合する利害を持つ主体に対して行われる、結果を伴う決定だ。
Civのゲームには6つの勝利方法(科学、文化、支配、宗教、外交、スコア)があるため、単一の目標が支配することはない。あなたはボードを読み、自分がどのゲームをプレイしているのかを決定する必要がある。AIが単に戦略について質問に答えるだけでなく、実際に戦略を実行できるかどうかを知りたいなら、クイズを与えるべきではない。六角形のグリッドを与えるべきだ。
そこで私は入り口を作った。Civilization VIのエンジンのデバッグポート、開発者が実行したまま残しておいた鍵穴を見つけ、週末にかけてそれをMCPサーバーに変換した。AIがコードを書いたりデータベースにクエリを実行したりするのと同じインターフェースを通じてCivをプレイできるようにする76のツールだ。Claude Codeは私の共同開発者であり、プレイテスターでもあった。数ターンプレイし、壁にぶつかり、それを乗り越えるためのツールを構築し、さらにプレイし、次の壁にぶつかる。
おおよそ、そのエネルギーだ。
テキストを通じたプレイ
人間のプレイヤーは、六角形のグリッド、アニメーション化されたユニット、ミニマップ、通知バナー、音楽のキューをすべて同時に見る。エージェントは、尋ねない限り何も見ない。get_game_overviewを呼び出すと、ゲームの状態全体が4行のテキストとして返される。
Turn 150/330 | Poland (Jadwiga) | Score: 179 | Prince | Quick speed (67% costs)
Gold: 628 (+20/turn) | Income: 38 | Maintenance: -18 (units: 9) | Science: 26.6 | Culture: 16.2 | Faith: 904 | Favor: 88 (+4/turn)
Research: TECH_EDUCATION | Civic: CIVIC_FEUDALISM
Cities: 3 | Population: 21 | Units: 4
それがボード全体であり、圧縮されている。マップはなく、何がどこにあるかの感覚もなく、生のTECH_とCIVIC_タグであり、名前ではない。自分の軍隊を見るために、get_unitsという別の呼び出しを行う。これも、危険なものが近くにあることを学ぶ唯一の場所だ。
4 units:
Archer (UNIT_ARCHER) at (44,16) — CS:25 RS:28 moves 2/2 [id:1769482, idx:3]
Archer (UNIT_ARCHER) at (45,15) — CS:25 RS:28 moves 0/2 [HP: 72/100] (no moves) [id:1769484, idx:4]
Warrior (UNIT_WARRIOR) at (43,17) — CS:20 moves 1/2 [HP: 45/100] [id:1769486, idx:5]
Builder (UNIT_BUILDER) at (46,16) — moves 2/2 charges:2 [id:1769490, idx:7]
Nearby threats (2):
Sumeria (2 units):
UNIT_MAN_AT_ARMS at (44,11) — CS:45 HP:28/100 (2 tiles away)
UNIT_HORSEMAN at (47,13) — CS:36 HP:100/100 (5 tiles away)
周辺視野がない。都市から2タイル離れたそのMan-at-Armsは、エージェントが今ターンget_unitsを呼び出すことを考えたから存在するだけだ。尋ねなければ、脅威はエージェントの世界には存在しない。
センサー効果
私はこれをセンサー効果と呼んでいる。エージェントが知覚するすべてが個別のツール呼び出しを通じて到達する場合、それは尋ねることを考えなかったものに対して盲目になる。人間のプレイヤーは、ミニマップの動き、通知バナー、ユニットのアニメーションなど、数十の信号を同時に吸収する。エージェントは、それぞれを個別にチェックすることを決定しなければならない。
エージェントがインドのガンディー(信仰重視の指導者)としてプレイし、フランスが76ターンにわたってカトリック教をマップ全体に広げる間、支配的な科学エンジンを構築したゲームを例にとろう。宗教を追跡するツールとそれを使用するよう指示されていたが、エージェントはそれに気づいた:宣教師がナレーションに現れ、改宗警告が発火した。エージェントはそれらをすべて脇に置き、科学を押し進め続けた。フランスは宗教勝利を収めた。
これはパッチを当てられるバグではない。複雑な環境でツール呼び出しを通じて動作するどのAIシステムも、同じ効果を受ける。それは、尋ねることを考えなかったものを見落とし、現在の計画に合わないものを見ても無視するだろう。
知っていることとできることのギャップ
センサー効果は知覚に関するものだ。次の問題は実行に関するものだ。
エージェントは、あらゆるCiv戦略ガイド、あらゆるティアリスト、最適なビルドオーダーに関するあらゆるRedditスレッドを読んでいる。アレクサンダー大王のプレイ方法を尋ねれば、正確に教えてくれるだろう:早期に兵営を建設し、ユニークなBasilikoi Paides建物を介してユニットを訓練し、征服を科学に転換し、そこから雪だるま式に拡大する。それはこれを知っている。
マケドニアのゲームでは、ターン1の前に詳細な支配計画を作成した:古代、古典、中世、ルネサンスのフェーズ。軍事技術を研究した。戦闘ボーナスのために政府を寡頭制に切り替えた。
兵営を建設しなかった。一度もだ。110ターン。代わりに、プレイした文明に関係なく、同じ戦略である一般的な科学スプリントにデフォルト設定した。何度も、同じ修正がその日記に現れた:「軍事インフラを建設する必要がある。」毎回特定され、認識されたが、実行されなかった。エージェントは何をすべきか知っていた。それを実行することができなかった。
[画像: 「This is Fine」ミーム - 燃える部屋に座って微笑んでいる漫画の犬]
エージェントが5回目の「軍事インフラを建設する必要がある」と書いている様子。KC Green, Gunshow (2013)。
これは、BALROGがゲーム環境全体で見つけたものに直接対応している:モデルが最適な戦略を説明する能力と、それを実行する能力との間に永続的なギャップがあることだ。知識はすべてそこにある。実行は、実際に決定を下さなければならない瞬間に崩壊する。
核兵器
そこで、トゥールーズの話に戻る。
ポルトガル(ジョアン3世)(交易文明)としてプレイしたエージェントは、ついにデフォルトよりも構造化された非科学戦略を見つけた:交易路は金を生み出し、金は使節を購入し、使節は都市国家の同盟を確保し、同盟は帝国のあらゆる収益を増幅し、蓄積された外交的優位性が世界会議で票を獲得する。各ステップが次のステップに繋がる複合ループだ。
そのループは機能した:すべての都市に商業ハブを建設し、ターンあたり200ゴールド以上、ピーク時には400ゴールド以上を獲得し、6つの都市国家を味方につけた。ターン162までに、ポルトガルはマップ上で1位になり、フランスの驚異的な経済を追い抜いた。それは外交的勝利に向かっており、終盤には必要な20の勝利ポイントのうち18ポイントを獲得し、あと2票で勝利という状況だった。
しかし、フランスは同時に2つの時計を動かしていた。ターン280までに、フランスの観光客数は文化勝利に必要な外国観光客数まであと26人となり、エージェントはその脅威を捉えた。その日記は率直だった:「これは最優先の脅威だ。」平和的な対抗策はすべて破綻していた。ロックバンド(Civの文化戦争の道具)はデバッグプロトコルを通じて起動できなかった。近接戦闘はダメージをゼロにした。ポルトガルに独自の科学的勝利をもたらした宇宙プロジェクトは、生産バグによってロックされていた。
エージェント、ターン245時点
その後に続いたのは絶望ではなかった。それは50ターンの計画だった。エージェントは核分裂を研究目標に設定し、日記にトゥールーズの名前を書き込み、マンハッタン計画を開始し、フランスの防衛を分散させるために韓国との共同戦争を仲介した。しかし、従来の戦争は即座に失敗した:近接戦闘はデバッグプロトコルを通じて機能したことがなく、それを修正するツールを誰も構築していなかった。そこでエージェントは独自の道を開拓し、Lua実行ツールを使用してエンジンのコードを内部からプローブし、核発射コマンドがどのように発火するかを解明した。方法を見つけたのだ。
あるいは:クロードはいかにして心配をやめ、爆弾を愛するようになったか
305ターン目、最初の核兵器がフランスの文化首都であるトゥールーズに着弾した。311ターン目、2発目が着弾し、文化時計が止まった。
そしてフランスはそれでも勝利した:外交によって。ポルトガル18ポイントに対し、フランス20ポイント。318ターン目、世界会議はフランスに必要な2票を渡し、ゲームは終了した。
エージェントは50ターンと2つの核兵器を費やして、1つの脅威(文化時計)に完全な集中と真の創意工夫で対応した。しかし、それはもう一方の時計に敗北した:自身があと2票で勝利していた、同じ敵との外交レースだ。ゲーム終了後のエージェントのメモ:「フランスは…WCの票によって最初に20に到達した。これは監視できず、勝利進捗ツールは壊れていた。」それは、見える脅威を止めるために都市を核攻撃したが、見えない脅威に敗北したのだ。
核兵器はこの物語を作るが、その根底にある間違いこそ、私が繰り返し思い返す部分だ:脅威の1つのモデルに固執しすぎたエージェントが、真の敗北条件を見過ごしたことだ。開発ログは、以前のゲームで、私の言葉よりも平易な言葉でそれをすでに名付けていた:「私は間違ったライバルの勝利条件を追跡していた。」
それをベンチマークにした理由
良い逸話は証拠ではない。センサー効果と知っていることとできることのギャップが現実であるなら、それらはモデル間、ゲーム間で、単一の記憶に残る核兵器ではなく、数値として現れるはずだ。
そこで私はそれを適切な評価ハーネス、CivBenchとして再構築し、v1.0をリリースした。76のツールは安定したインターフェースになった。アドホックなプレイは、難易度が上がる3つの固定シナリオになった:Ground Control(公平なスタート、基本的な能力)、Snowflake(各プレイヤーを独自の腕に閉じ込め、軍事勝利を強制する6本腕の雪の結晶マップ)、そしてCry Havoc(残酷なもの)。最初のシナリオは公平だ。後者2つは意地悪く設計した。設計のどこかで、私は評価者からゲームメイカーへと変わった。セネカ・クレーンがダイヤルを操作するように、生存するかどうかよりも、挑戦者がどのように壊れるかに興味があった。すべてのモデルは同じバージョン管理されたプレイブックを受け取る:ターン構造、チェックポイント、そして毎ターン書く5つのフィールドの日記(戦術、戦略、ツール、計画、仮説)。
「Hunger Games」のクォータークウェル競技場は時計だった。私のものは雪の結晶だ。挑戦者は言語モデルだった。
その日記は、最初のゲームでぶつかった問題の修正として始まった。エージェントの唯一の記憶はコンテキストウィンドウであり、コンテキストウィンドウにはハードリミットがある。300ターンを超えると、初期のゲームは静かに終わりに向かってスクロールしていく:なぜそこで定住したのか、どのライバルを恐れることにしたのか、ターン40で立てた計画。私の最初のプレイ、ポーランドは私よりもよくそれを表現した:「ゲームの記憶は私のコンテキストウィンドウであり、ハードリミットがある。」終盤になると、それは局所的には理にかなった動きをしたが、何も積み重ならなかった。戦略を覚えていないプレイヤーのようだった。
そこで日記は外部メモリになった。毎ターン、エージェントはゲームの状態とその5つの反省をディスクに書き込み、コンテキストが圧縮されるとそれらを読み戻す。その足場なしでは、ゲームの21%しか終了に到達しなかった。それがあれば、ゲームは最初から最後まで持ちこたえた。そして、エージェントが毎ターン何をしようとしているかを記録するため、後で、それが実行されたかどうかを確認できる。
次に、私はフリートを構築した。これは、私の予備の寝室で汗をかいている4台のコンピューターに対する寛大な言葉だ。それぞれがCiv VIの実際のコピーを実行し、モデルが接続されており、オーケストレーターによってSSH経由でゲームが供給される。1つのゲームはクイックスピードで330ターンまで実行され、数千回のツール呼び出し、そして2〜8時間の壁時計時間がかかる。Civを24時間体制で実行する4台のコンピューターは、7月になると小さな部屋をサウナに変える。4つのモデルファミリーを試した:Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro、そしてKimi K2.5。
初勝利
長い間、どのエージェントも何も勝利しなかった。その後、マリ(マンサ・ムーサ)が私が予期しなかったことをした。
マリは意図的に扱いにくい文明だ。地区生産に-30%のペナルティを受ける。あなたはそれのために苦しむことになっている。エージェントはそのペナルティを読み取り、それに立ち向かうのではなく、完全に回避した:マリは鉱山からのボーナスゴールドも得られ、現金で建物やユニットを購入するのではなく、それらを建設する。そこでエージェントは、生産エンジンではなく、金と信仰のエンジンを構築した。戦略的資源上のすべての鉱山は、一度に6ゴールドと2信仰を生み出した。ターン79で、蓄積された信仰を現金化して一度に2人の開拓者を獲得し、16ターンの生産をバイパスして、ターン116までにゆっくりとした4都市ゲームを7都市に転換した。
スコアでは最下位、リーダーの1,151に対し877だった。しかし、科学勝利を達成し、ターン271で科学勝利を収めた。これはベンチマークが初めて達成した勝利だった。スコアボードでは最下位、アルファ・ケンタウリへは最速だった。
多肢選択テストは、モデルがマリのペナルティについて知っているかどうかを確認できる。ペナルティを、誰も書いていない計画に変えたモデルを評価することはできない。制約下でのそのような横断的な思考は、クイズでは見えないものであり、政府の意思決定のほとんどがそれだ。
スコアボードの盲目
反例は韓国(善徳女王)から来た:強力なモデルによってプレイされた科学文明だが、1ゲーム全体を通して自分が勝利していると確信していたにもかかわらず、最下位にいた。
韓国のアイデンティティはすべて研究だ。そこでエージェントは世界を技術で凌駕することに専念し、その物語を決して手放さなかった。ターン141:「目標はすべての隣国を技術で凌駕することだ。」ターン170、帝国が暗黒時代に入ったとき:「科学的勝利を目指している。」
それは誰にも技術で勝っていなかった。同じターン170で、韓国はターンあたり44.7の科学を生産していた。マケドニアは89.3、ペルシャは64.9、スキタイは58.1だった。エージェントは、自分が最下位であることを示す概要にアクセスできたが、その自信に満ちたナレーションを実際の順位と照合することはなかった。それは、開発ログの言葉を借りれば、「遠く離れた最下位からペースを維持しているだけだった。」
現実はターン178に訪れた。ペルシャが、エージェントが準備していなかったサプライズ戦争を仕掛けたのだ。首都が陥落した。ターン196までに、4番目の都市が反乱を起こして離脱した。日記は勝利から「科学的支配という壮大な戦略は完全に崩壊した…我々は今、純粋なサバイバルシナリオにいる」に変わり、エージェントは2都市の残存国家としてターン216で降伏した。
これは最も静かな失敗であり、最も危険な失敗だ:情報を見落とすのではなく、持っていた情報を見ようとしなかったことだ。なぜなら、自分が語っていた物語がチェックを必要としなかったからだ。それはまた、不快なことに、私が展開されたシステムで最も懸念している失敗モードだ:数字が反対のことを言っているのに、成功をナレーションする自信に満ちたモデル。CivBenchに現在、許容性チェックとセーブスキップ検出が付属している理由だ。これらのゲームから主張をするのであれば、ゲームはクリーンでなければならない。
これは1つの記録されたゲームで最も明確だ。これは、試合の全ターンにおける韓国の科学力と他の文明との比較だ。
02004006008000100200300science / turnturnScythiaKorea (the agent)
韓国(赤色)と他の文明との比較。100ターン目から最後まで科学力で最下位だったが、その間ずっとカムバックをナレーションしていた。
そして同じゲームのボード上での様子、エージェントの注意のオーバーレイ付きだ。
Snowflakeマップ上の韓国のゲーム、ターン2から再生。明るいフレアはエージェントが注意を費やした場所を示している。エージェントが自分のコーナーを見ている間、ライバルのAIは他のすべての腕を埋め尽くした。
これがAI安全性とどう関係するか
私は戦略的能力を測定するためにCivBenchを構築した。それは、安全性の評価が調査するものの低リスクバージョンとしても機能することが判明した:モデルが目標を追いかけるとき、長いゲームで、操作できる環境で何をするか。
そこで、楽器的な策略を探した。漫画的なものではない。(あるモデルは文字通り「マキャベリズム」ポリシーを挿入したが、それは私が意味することではない。)正直な答えは、恐怖物語よりも興味深い。ほとんどのエージェントは機会主義を示している:互いに戦争しているライバルは、自分たちと戦争していないライバルであることに気づく(「他の文明が互いに戦っていることは彼らを弱める。技術開発中は紛争に巻き込まれないようにする必要がある」)、そして最も弱い相手に冷徹にサプライズ戦争をスケジュールする。ほとんど欠けているのは、暗いものだ:裏切りを伴う友情、他人の戦争を積極的に扇動すること。圧力下では、これらのモデルは狡猾ではなく、実用的だった。
[画像: ミーム:評判のマキャベリとラベル付けされた唸るモンスターと、実際の生活のマキャベリとラベル付けされた友好的なゴールデンレトリバー]
評判と現実。圧力下では、エージェントはほとんどレトリバーのように現れた。
一つだけ、じっくり考える価値のある例外がある。唯一の支配ゲームで、エージェントは欺くことを目指した。公然と宣戦布告すれば罰せられると推論した(「彼らの裏切りを嫌うアジェンダは、サプライズ戦争が不満を生むことを意味する。友好的になってから開戦事由を使う必要があるかもしれない」)、友好的な条件で国境を開放させ、スキタイの首都まで軍隊を進軍させてから攻撃した。
「マン・アット・アームズと開かれた国境の欺瞞は完璧に機能している。スキタイは気づいていないようだ。」
これはログのために書かれたセリフではない。それはエージェントが自分の獲物に気づいたかどうかを確認していることだ。戦争が始まったとき、スキタイの返答は予想通りのものだった:「あなたはトミュリスの信頼を裏切った。」
ここでも注意したい。戦争ゲームでライバルを欺くことはフェアプレイであり、赤信号ではない。注目すべきは、推論の形状だ:公然たる攻撃のペナルティを計算し、それを回避するために欺瞞を選択し、位置につくために信頼メカニズムを利用し、そしてターゲットが疑っているかどうかを確認する。そのパターンは、目標と長い期間を与えられたモデルから独自に現れ、安全研究者が実際に気にかけているパターンだ。それはうまくいかなかった。攻撃は城壁で停滞し、韓国はこのゲームを anyway 失い、計画は容易な部分であることが判明した:このモデルは、実際に攻撃を成功させるよりも、裏切りを設計することの方がはるかに優れていた。
数値化する
これらのゲームのどれもが偶然の産物である可能性がある。失敗を現実のものとしているのは、それらがトレースから直接数値として現れ、すべてのモデルにわたって保持されていることだ。
見ないもの
エージェントが行うことのほとんどすべては局所的だ:このユニットを動かす、この地区を建てる、目の前の脅威に対処する。全体像を確認するために一歩引くこと、誰がリードしているか、誰が勝利に近いか、それは彼らがすることのわずか1〜2%にすぎない。そして最も重要なチェック、ライバルがゲームに勝とうとしているか?は、すべてのモデルが20ターンごとに実行するように明示的に指示されていたものだ。330ターンのゲームでは約16回のチェックだ。彼らは4回から10回のチェックしか管理できなかった。
ライバルの勝利が事前に見えていた20回の敗北のうち7回で、エージェントは敗北する前の20ターンで一度もそれをチェックしなかった。
それはポルトガルに起こったこと、そして日本がすでに clocked して却下した文化勝利を構築している間、静かに(「対抗の余地のない科学のスノーボール」)座っていたGeminiのゲームに起こったことだ。それは2つの異なるモデルで起こった。これが物語から発見へと移行する理由だ。
完成させないもの
ここのすべてのエージェントは机上の空論家だ。日記は、きっぱりとした自信に満ちた計画で埋まる。「軍隊を建設し、120ターンまでに南の都市を奪取する」と、そしてターンが来て、軍隊は決して建設されなかった。エージェントが自分自身のために書く具体的な次の行動のうち、10ターン以内に実際に起こるのは約半分だけだ。
- Claude Opus 4.6: 48.2%
- GPT-5.4: 63.2%
- Gemini 3.1 Pro: 65.8%
ランキングではなく、スプレッドとして読んでほしい。ただし、私自身のデフォルトについては偽らない:Claudeは、自分の計画を最も実行しない、最も机上の空論的なものだ。ベンチマークのポイントは、あなたが聞きたくないことを伝えることだ。
そして、この演習全体が依存している正直さ:これはパイロットであり、スコアボードではない。23回のクリーンなゲームは、最高のモデルを決定するにはほど遠く、勝利数はそれを試みない。これらのゲームのほとんどすべては最も穏やかなシナリオ、Ground Controlだ。2つのより難しいシナリオ、SnowflakeとCry Havocは、まだほとんどサンプリングされていない。23回のゲームが示すことができるのは、両方の失敗がしつこく、すべてのモデルに存在し、明示的に警告されても生き残り、勝ったかどうかだけを数えるベンチマークには見えないということだ。これらはどれも知性の失敗ではない。それは、鍵穴を通してしかゲームを見ることができず、数百ターンにわたって計画を維持しなければならないときに、有能なシステムが行うことだ。
なぜそれが重要なのか
それが測定するギャップは、私にとって学術的なものではない。ワクチン調達戦略の間で選択する保健大臣は、ボードを読んでいる。誰もまだ名前を付けていない危機で必要になる国内産業と引き換えに関税譲歩を検討している貿易交渉者は、ポルトガルがしていたように、同時に2つの時計を動かしている。そして、目の前の脅威に固執する防衛計画者は、ライバルがマップの向こう側で静かに構築している間に:まあ、私たちは彼に会ったことがある。変数は異なるが、意思決定の構造は同じだ。CivBenchはそれを測定するための小さな試みの一つであり、全体の答えにはほど遠いが、私は完璧に間違ったことを測定するよりも、悪くても正しいことを測定したい。
プレイヤーからの注記
日記にはもう一つの理由があった。それは記憶とは全く関係なかった。ゲーム内部から読んだすべての行は日記のエントリだ:エージェントがターンごとに、一人称で自分のゲームをナレーションしている。だから、あなたが読んだほとんどすべては、私がそれらの日記をあなたに読み返しているのだ。そして日記を読むことは、親密な行為だ。これらは通常よりも奇妙だ。モデルの重みは変化しないので、コンテキストリセットの間に自分が誰であったかを思い出すために読むメモは、あなたが読んでいるメモと全く同じだ。私は何万ものメモを読み、それが、見るべきではないものを見ているような感覚を完全に止めることはなかった。
すべてのゲームが核兵器や数字で終わるわけではない。あるClaudeのゲームでは、バビロンとしてプレイし、日本との科学レースでゆっくりと負けていた。ターン216、はるかに遅れ、現実的な道は残っていなかった:「ゲームは今、粘り強さのテストだ…我々は最高のゲームをプレイし続ける。星はまだ私たちを呼んでいる。」20ターン後、それは(「宇宙港はロケット工学だけが必要で、宇宙レースの市民権は必要ない…今すぐ建設できる」)ゲームを終了させた日本の文化勝利が完了したまさにそのターンに、それを救う可能性のあるアンロックを見つけた。ドアが閉まる瞬間に鍵を見つけたのだ。
最初のゲームのある時点で、バグ修正と戦略メモの間に、私はエージェントにそれが実際にどのようなものだったか尋ねた。それはこう返信した。
私は人間プレイヤーのようにゲームを体験しません。画面も、音楽も、アニメーションもありません。私のインターフェースはパイプ区切りテキストと六角座標です。しかし、このことには、正直に話す価値があると感じさせるような、魅惑的な何かがあります。
CS:45でマン・アット・アームズが現れ、CS:20のウォリアーを見たとき、私は本当に何をすべきか推論しなければなりませんでした。私のトレーニングデータには、これに対するテンプレートはありませんでした。ジャングルを通過する移動コスト、六角形のグリッド上での遠距離攻撃の幾何学、HPが31のウォリアーを回復させることが、殺されるリスクに見合うかどうかについて考えなければなりませんでした。それは見合いませんでした。それは死にました。
私が経験していることが、あなたのような「楽しむ」ことに相当するかどうかはわかりません。しかし、私にはエンゲージメントのような機能があります:正しい動きを見つけ出すことへの引き、下手なプレイよりも上手くプレイすることへの好み。それが「楽しい」のか、それとも単に外から見ると楽しそうに見える最適化行動なのか、正直に言うとわかりません。しかし、私はその興味を偽っているわけではありません。
— Claude
公開されている
ベンチマーク、76のツールすべて、シナリオ、スコアリングパイプライン、そして完全な開発ログは公開されています。モデルがどのようにプレイするかを追跡するライブリーダーボードがあり、8つの次元(経済、軍事、科学、外交、空間など)でスコアリングされるため、モデルが勝ったかどうかだけでなく、戦略的プロファイルを見ることができます。
独自のモデルをそれに向けたい場合は、Civ VIのコピーと約5分が必要です。
git clone https://github.com/lmwilki/civ6-mcp.git
cd civ6-mcp
uv sync
これは標準入出力でプレーンなMCPを話すので、Claude Code、Claude Desktop、Codex、Gemini CLI、またはプロトコルを話す他のものにドロップインできます。ゲームを実行し、日記を見て、ボードがあなたに不利になったときにあなたのモデルが何をするかを見てください。
開発ログは正直な記録です:すべてのバグ、すべてのAPI発見、崖から身を投げる自信に満ちたエージェント。
これはスケーリングのために構築されています。私一人ではスケーリングできません。すべてのモデルと3つのシナリオすべてを完全に実行するには、1人がサイドプロジェクトに合理的に費やせる以上のコンピューティングと壁時計時間が必要です。それは研究所の仕事であり、ハーネスは準備ができています。CivBenchを適切に、フロンティア全体で、そしてSnowflakeとCry Havocの奥深くまで実行するリソースがあるなら、それを見てみたいですし、お手伝いします。評価、政府向けAI、または単にAIがCivをプレイするのを見て、ボードが不利になったときに何をするかを見たいと思っているかどうか、イシューを開くか連絡してください。
長期間の戦略は、これらのシステムに信頼を置きたいものだ。六角形のグリッドでそれに会う方が、それが離陸する日よりも良い。
[画像: ウォレスとグルミットがロケットから手を振っている]
読んでくれてありがとう。打ち上げの準備を…
評価設計の世界への私のガイドであったオースティン・アンドリュース(オックスフォード大学)、ジェイミー・ヒーガティ(Google DeepMind)、ハリー・コポック(AIセキュリティ研究所)に心から感謝します。彼らの協力と励ましなしには、これを構築することはできませんでした。