Brood War Bench: AIモデルによるスタークラフトのプレイ評価

主なテイクアウェイ どのモデルも初心者レベルを超えてプレイすることはできませんでした。 Codex Astraは、他のすべてのモデルを一貫して打ち負かす、明確なリーダーです。 Grokモデルは、まだBrood Warをプレイするには賢すぎません。 古いモデルはRTSをターンベースのゲームとしてプレイする傾向があり、思考中に破壊されていました。新しいモデルは時々同じ罠に陥ることがあり、一部の低労力設定がより良く機能した理由を説明しているかもしれませんが、全体的には思考のコストをより認識していました。 Freestyleによるパワーアップ リーダーボード ランク システム 勝利 敗北 APM ゲームあたりのコスト 勝率 🥇Codex Astra / xhigh 180 12 6 $10.54 100.0% 🥈Codex Astra / medium 162 17 2 $15.11 88.9% 🥉Claude Fable 153 12 6 $12.24 83.3% 4Codex Astra / low 144 25 7 $21.07 77.8% 5Codex 5.6 Sol / medium 135 10 1 $5.12 72.2% 6Codex 5.6 Sol / low 126 18 1 $9.23 66.7% 7Claude Opus 5 126 10 5 $20.78 66.7% 8Codex 5.6 Sol / xhigh 117 8 0 $3.23 61.1% 9Codex 5.6 Luna / low 99 23 8 $0.42 50.0% 10Codex 5.6 Terra / xhigh 99 15 8 $2.10 50.0% 11Codex 5.6 Terra / medium 81 10 1 $3.15 44.4% 12Codex 5.6 Terra / low 81 10 4 $4.65 44.4% 13Codex 5.6 Luna / xhigh 7 11 5 $0.16 38.9% 14Claude Sonnet 7 11 6 $8.98 38.9% 15Codex 5.6 Luna / medium 6 12 1 $0.30 33.3% 16Grok 4.6 / xhigh 2 15 2 $0.66 11.1% 17Grok 4.6 / medium 1 16 3 $0.79 5.6% 18Claude Haiku 0 16 0 $0.34 0.0% 19Grok 4.6 / low 0 16 4 $1.26 0.0% すべて表示 Brood War Benchは、私が実験として友達と遊ぶためにBrood Warのバージョンを作成した後、エージェントを通じてのみプレイできるようにした後に始まりました。私は、人生で数回しかスタークラフトをプレイしたことのない友人たちとそれをプレイしました。彼らがなぜうまくいったのか尋ねたところ、彼らはあまり何もしておらず、エージェントに攻撃するように頼んだところ、小さな軍隊を構築して完全な攻撃を行ってくれたと答えました。これが、彼らが単独でどこまで行けるのか疑問に思わせ、これが私の答えです。 観察したこと 01Codexはマクロを見つける前にチーズを見つけた Codexの最も強力な繰り返しアイデアは破壊でした。プロトス戦では、しばしばプローブをマップの反対側に送り込み、ワーカーや建物を攻撃しました。これは、反対側のエージェントが他のことをする代わりに、プローブに対処するために数十秒を費やすことが多かったため、驚くほどうまくいきました。 同じシステムは、持続的な生産にはるかに弱かったです。彼らは技術開発を遅らせ、防御された基地に基本的なユニットを数個ずつ送り込み、ワーカーを最後の抵抗に投入しました。 また、Codexは経済、軍隊生産、軍隊制御を管理するために別々のサブエージェントを作成することがよくありました。それらは互いにあまりコミュニケーションをとっていなかったため、軍隊エージェントは、他のエージェントが構築を計画していたより大きな軍隊を認識せずに、各新しいユニットを直接攻撃に送り込むことがよくありました。 これは一般的な初心者ミスです。重要な戦力と計画された攻撃タイミングを待つのではなく、ユニットを一度に1つずつ送ることです。私がCodexの指揮を助けたゲームでは、それらの瞬間を計画し、サブエージェントに協力させるのがはるかにうまくいきました。 粘り強さは本物でした。G009では、軍隊と主要基地を失った後、Codex 5.6 Terra / mediumは最後のコマンドセンターを持ち上げて反対側の角に向かって移動させました。それはさらに6分間生き残りました。 6つのプローブがマップを横断 まずプローブ、次にドリップ状のゼロット 最後のコマンドセンターが走る 02Grokはゲームをアクションの間で過ごした Grok 4.6は頻繁に長い推論の期間と非常に少ないコマンドバッチを生成しました。G043では、xhigh実行は11,138の推論トークンを記録しましたが、43分間でわずか6つのコマンドバッチを発行し、戦闘ユニットを一度も展開しませんでした。 それが実行したアクションは、機能する制御ループに発展することはめったにありませんでした。G003では、Grok / xhighは3人のマリーンを製造しましたが、敵基地に到達することはありませんでした。G002では、Grok / mediumは2人のゼロットを製造しましたが、マップを横断することはありませんでした。これらは悪い戦略というよりは、観察と行動を続けることの失敗のように見えました。 43分、軍隊なし 03Fableは真剣にゲームをプレイしようとした 私は多くのゲームでClaude Fableを応援している自分に気づきました。Fableは通常、利用可能な最初のユニットで止まるのではなく、経済を構築し、技術ツリーを登ろうとしました。それは他のどのモデルよりも実際にゲームをプレイすることに興味があるようでした。 G007では、Lair、Spire、Mutalisksに到達して勝利しました。G027では、Robotics Facility、Citadel of Adun、Observatory、Templar Archivesを追加してから勝利しました。野心が実行を保証するわけではありませんでした。G036では、FableはFactoryとAcademyに到達しましたが、Opus 5がそれを圧倒しました。 Fableがミュータリスクを入手 Fableは登り続ける ビルドは軍隊にならない どのエージェントも初心者レベルを超えてプレイしませんでした AstraとFableでさえ、複雑な軍隊を構築したり、単純な攻撃から防御したり、具体的な戦略をプレイしたりすることはできませんでした。フォトンラッシュをプレイする初心者なら、これらのゲームすべてに勝つでしょう。 とはいえ、エージェントがプレイするのを見るのは、しばらくの間で最も興奮したことです。このベンチマークは、まだまったく使い果たされていません。エージェントが学ぶべきことはもっとたくさんあり、ベンチマークが彼らに要求できることももっとたくさんあります。それらがそこに着くのを見るのを楽しみにしています。 ゲームがどのように展開したか 比較 モデル モデル + 労力 ハーネス 種族 すべての種族 テラン プロトス ザーグ ゲーム時間 最初の10分 最初の15分 最初の20分 フルゲーム 最大5つを選択 Codex Astra Claude Fable Codex 5.6 Sol Claude Opus 5 Codex 5.6 Luna Codex 5.6 Terra Claude Sonnet Grok 4.6 Claude Haiku 5:00 / 15:00 テクノロジー投資 完了した研究 + アップグレードレベル 0 0.5 1 1.5 2 0:00 5:00 10:00 15:00 Codex Astra 0.3 Claude Fable 0.2 Grok 4.6 0 ワーカー 完了したワーカー生存数 0 8 16 24 32 0:00 5:00 10:00 15:00 Codex Astra 14.7 Claude Fable 16.7 Grok 4.6 7.4 軍隊サイズ 完了した軍隊とサポートユニット 0 20 40 60 80 0:00 5:00 10:00 15:00 Codex Astra 8.3 Claude Fable 7.6 Grok 4.6 2 構造物 完了した建物（アドオン含む） 0 7 14 21 28 0:00 5:00 10:00 15:00 Codex Astra 6.2 Claude Fable 7.4 Grok 4.6 4.5 鉱物バンク 未使用の鉱物（収入ではない） 0 500 1,000 1,500 2,000 0:00 5:00 10:00 15:00 Codex Astra 240.6 Claude Fable 248.6 Grok 4.6 536.6 ガスバンク 未使用のガス（収入ではない） 0 500 1,000 1,500 2,000 0:00 5:00 10:00 15:00 Codex Astra 151 Claude Fable 326.9 Grok 4.6 244.5 供給使用量 生産中のものを含む 0 30 60 90 120 0:00 5:00 10:00 15:00 Codex Astra 26.5 Claude Fable 26.6 Grok 4.6 11.3 ゲーム終了時 5分ごとのゲーム終了率 Codex Astra: 中央値 8:10。 0:00～5:00未満: 3.9%; 5:00～10:00未満: 54.9%; 10:00～15:00未満: 31.4%; 15:00～20:00未満: 5.9%; 25:00～30:00未満: 2%; 30:00～35:00未満: 2%。 Claude Fable: 中央値 10:37。 5:00～10:00未満: 38.9%; 10:00～15:00未満: 38.9%; 15:00～20:00未満: 22.2%。 Grok 4.6: 中央値 9:15。 0:00～5:00未満: 2%; 5:00～10:00未満: 51%; 10:00～15:00未満: 23.5%; 15:00～20:00未満: 13.7%; 20:00～25:00未満: 2%; 40:00～45:00未満: 7.8%。 Codex Astra 中央値 8:10 60% Codex Astra: 3.9% (2ゲーム) が 0:00～5:00未満で終了 Codex Astra: 54.9% (28ゲーム) が 5:00～10:00未満で終了 Codex Astra: 31.4% (16ゲーム) が 10:00～15:00未満で終了 Codex Astra: 5.9% (3ゲーム) が 15:00～20:00未満で終了 Codex Astra: 0% (0ゲーム) が 20:00～25:00未満で終了 Codex Astra: 2% (1ゲーム) が 25:00～30:00未満で終了 Codex Astra: 2% (1ゲーム) が 30:00～35:00未満で終了 Codex Astra: 0% (0ゲーム) が 35:00～40:00未満で終了 Codex Astra: 0% (0ゲーム) が 40:00～45:00未満で終了 Claude Fable 中央値 10:37 60% Claude Fable: 0% (0ゲーム) が 0:00～5:00未満で終了 Claude Fable: 38.9% (7ゲーム) が 5:00～10:00未満で終了 Claude Fable: 38.9% (7ゲーム) が 10:00～15:00未満で終了 Claude Fable: 22.2% (4ゲーム) が 15:00～20:00未満で終了 Claude Fable: 0% (0ゲーム) が 20:00～25:00未満で終了 Claude Fable: 0% (0ゲーム) が 25:00～30:00未満で終了 Claude Fable: 0% (0ゲーム) が 30:00～35:00未満で終了 Claude Fable: 0% (0ゲーム) が 35:00～40:00未満で終了 Claude Fable: 0% (0ゲーム) が 40:00～45:00未満で終了 Grok 4.6 中央値 9:15 60% Grok 4.6: 2% (1ゲーム) が 0:00～5:00未満で終了 Grok 4.6: 51% (26ゲーム) が 5:00～10:00未満で終了 Grok 4.6: 23.5% (12ゲーム) が 10:00～15:00未満で終了 Grok 4.6: 13.7% (7ゲーム) が 15:00～20:00未満で終了 Grok 4.6: 2% (1ゲーム) が 20:00～25:00未満で終了 Grok 4.6: 0% (0ゲーム) が 25:00～30:00未満で終了