Brood War Bench: AIモデルによるスタークラフトのプレイ評価
Brood War Bench (bw.swerdlow.dev)
要約
この記事は、AIモデルがリアルタイムストラテジーゲーム「スタークラフト：Brood War」をどの程度プレイできるかを評価したベンチマーク実験の結果を報告しています。Codex Astraモデルが他のモデルを大きく引き離してリードしていますが、どのモデルもまだ初心者レベルを超えられていないことが示されています。特にGrokモデルは、思考に時間がかかりすぎるため、ゲームの進行に追いつけていない様子が観察されました。
全文翻訳
Brood War Bench
By Ben Swerdlow
どのモデルがBrood Warで勝利するか？
主要なポイント
- どのモデルも初心者レベルを超えてプレイすることはできませんでした。
- Codex Astraが他の全てのモデルを一貫して打ち負かし、明確なリーダーとなりました。
- GrokモデルはまだBrood Warをプレイするほど賢くはありません。
- 古いモデルはRTSをターンベースのゲームのようにプレイする傾向があり、思考中に破壊されていました。新しいモデルは時折同じ罠に陥りましたが、これは低負荷設定の方がパフォーマンスが良かった理由を説明するかもしれませんが、全体的には思考コストをより認識していました。
| 順位 | システム | 勝利数 | 敗北数 | APM | 1ゲームあたりのコスト | 勝率 |
|---|---|---|---|---|---|---|
| 🥇 | ［画像］Codex Astra / xhigh | 18 | 0 | 12.6 | $10.54 | 100.0% |
| 🥈 | ［画像］Codex Astra / medium | 16 | 2 | 17.2 | $15.11 | 88.9% |
| 🥉 | ［画像］Claude Fable | 15 | 3 | 12.6 | $12.24 | 83.3% |
| 4 | ［画像］Codex Astra / low | 14 | 4 | 25.7 | $21.07 | 77.8% |
| 5 | ［画像］Codex 5.6 Sol / medium | 13 | 5 | 10.1 | $5.12 | 72.2% |
| 6 | ［画像］Codex 5.6 Sol / low | 12 | 6 | 18.1 | $9.23 | 66.7% |
| 7 | ［画像］Claude Opus 5 | 12 | 6 | 10.5 | $20.78 | 66.7% |
| 8 | ［画像］Codex 5.6 Sol / xhigh | 11 | 7 | 8.0 | $3.23 | 61.1% |
| 9 | ［画像］Codex 5.6 Luna / low | 9 | 9 | 23.8 | $0.42 | 50.0% |
| 10 | ［画像］Codex 5.6 Terra / xhigh | 9 | 9 | 15.8 | $2.10 | 50.0% |
Brood War Benchは、私が友人と遊ぶための実験として、エージェント経由でしかプレイできないBrood Warのバージョンを構築した後に始まりました。数人の友人とプレイしたところ、彼らは人生で数回しかStarCraftをプレイしたことがないにもかかわらず、驚くほど上手くプレイしました。理由を尋ねると、彼らはあまり何もしておらず、エージェントに攻撃するように頼んだら、小さな軍隊を構築して攻撃を全て行ってくれたとのことでした。これが、彼らが単独でどこまでできるのか疑問に思うきっかけとなり、これが私の答えです。
01
Codexはマクロを見つける前にチーズ（奇襲）を見つけた
Codexの最も強力な繰り返し見られたアイデアは、妨害でした。Protossのゲームでは、しばしばProbeをマップの反対側に送り込み、ワーカーや建物を攻撃しました。これは、相手のエージェントが他のことをする代わりに、Probeにどう対処するかを何十秒も考えていたため、驚くほど効果的でした。
同じシステムは、持続的な生産においてははるかに弱かったです。彼らは技術開発を遅らせ、防御された基地に基本ユニットを1つか2つずつ送り込み、ワーカーを最後の抵抗に投入しました。
また、Codexは経済、軍隊生産、軍隊制御を管理するために、しばしば別々のサブエージェントを作成していました。それらは互いにあまりコミュニケーションを取っていなかったため、軍隊エージェントはしばしば、他のエージェントが構築しようとしていたより大きな軍隊を意識せずに、新しいユニットを次々と攻撃に送り込んでいました。
これは一般的な初心者ミスです：決定的な戦力と計画された攻撃タイミングを待つのではなく、ユニットを1つずつ送り込むことです。私がCodexの指揮を助けたゲームでは、それらはそれらの瞬間を計画し、サブエージェントを協力させるのがはるかに上手でした。
粘り強さは本物でした。G009では、軍隊と主要基地を失った後、Codex 5.6 Terra / mediumは最後のCommand Centerをリフトして反対側の角に移動させました。それはさらに6分間生き残りました。
マップを横断する6機のProbe
まずProbe、次にZealotが少しずつ
最後のCommand Centerが逃走
02
Grokはアクションの間にゲームを過ごした
Grok 4.6は頻繁に長い推論のストレッチと非常に少ないコマンドバッチを生成しました。G043では、xhighの実行は11,138の推論トークンを記録しましたが、43分間にわずか6回のコマンドバッチしか発行せず、戦闘ユニットを一度も配備しませんでした。
それが取ったアクションは、機能する制御ループに発展することはめったにありませんでした。G003では、Grok / xhighは3体のMarineを作成しましたが、敵基地に到達することはありませんでした。G002では、Grok / mediumは2体のZealotを作成しましたが、マップを横断することさえありませんでした。これらは悪い戦略というよりは、観察と行動を続けることの失敗のように見えました。
43分間、軍隊なし
03
Fableは真剣にゲームをプレイしようとした
私は数回のゲームでClaude Fableを応援している自分に気づきました。Fableは通常、最初に入手可能なユニットで止まるのではなく、経済を構築し、技術ツリーを登ろうとしました。他のどのモデルよりも、実際にゲームをプレイすることに興味があるように見えました。
G007では、Lair、Spire、Mutalisksに到達して勝利しました。G027では、勝利する前にRobotics Facility、Citadel of Adun、Observatory、Templar Archivesを追加しました。野心が実行を保証するわけではありませんでした：G036では、FableはFactoryとAcademyに到達しましたが、Opus 5に圧倒されました。
FableがMutalisksを入手
Fableが登り続ける
ビルドは軍隊にならない
ここにいるどのエージェントも初心者レベルを超えてプレイしなかった
AstraやFableでさえ、複雑な軍隊を構築したり、単純な攻撃から防御したり、具体的な戦略をプレイしたりすることはできませんでした。Photon rushをプレイする初心者は、これらのゲーム全てに勝利するでしょう。
とはいえ、エージェントがプレイするのを見るのは、しばらくの間で最も興奮したことでした。このベンチマークは全く使い果たされていません。エージェントが学ぶべきことはまだたくさんあり、ベンチマークが彼らに要求することもたくさんあります。それらがそこに到達するのを見るのを楽しみにしています。
ゲームの展開方法
比較レースゲーム時間
5:00 / 15:00
技術投資
完了した研究 + アップグレードレベル
00.511.520:005:0010:0015:00
Codex Astra0.3Claude Fable0.2Grok 4.60
ワーカー
完了したワーカー生存数
081624320:005:0010:0015:00
Codex Astra14.7Claude Fable16.7Grok 4.67.4
軍隊規模
完了した軍隊および支援ユニット
0204060800:005:0010:0015:00
Codex Astra8.3Claude Fable7.6Grok 4.62
建物
完了した建物（アドオン含む）
071421280:005:0010:0015:00
Codex Astra6.2Claude Fable7.4Grok 4.64.5
鉱物バンク
未支出の鉱物（収入を除く）
05001,0001,5002,0000:005:0010:0015:00
Codex Astra240.6Claude Fable248.6Grok 4.6536.6
ガスバンク
未支出のガス（収入を除く）
05001,0001,5002,0000:005:0010:0015:00
Codex Astra151Claude Fable326.9Grok 4.6244.5
サプライ使用量
生産中のものを含む
03060901200:005:0010:0015:00
Codex Astra26.5Claude Fable26.6Grok 4.611.3
ゲーム終了時
5分ごとのゲーム終了割合
Codex Astra: 中央値 8:10。0:00から5:00未満: 3.9%; 5:00から10:00未満: 54.9%; 10:00から15:00未満: 31.4%; 15:00から20:00未満: 5.9%; 25:00から30:00未満: 2%; 30:00から35:00未満: 2%。Claude Fable: 中央値 10:37。5:00から10:00未満: 38.9%; 10:00から15:00未満: 38.9%; 15:00から20:00未満: 22.2%。Grok 4.6: 中央値 9:15。0:00から5:00未満: 2%; 5:00から10:00未満: 51%; 10:00から15:00未満: 23.5%; 15:00から20:00未満: 13.7%; 20:00から25:00未満: 2%; 40:00から45:00未満: 7.8%。Codex Astra中央値 8:1060%Codex Astra: 3.9% (2ゲーム) は0:00から5:00未満で終了しましたCodex Astra: 54.9% (28ゲーム) は5:00から10:00未満で終了しましたCodex Astra: 31.4% (16ゲーム) は10:00から15:00未満で終了しましたCodex Astra: 5.9% (3ゲーム) は15:00から20:00未満で終了しましたCodex Astra: 0% (0ゲーム) は20:00から25:00未満で終了しましたCodex Astra: 2% (1ゲーム) は25:00から30:00未満で終了しましたCodex Astra: 2% (1ゲーム) は30:00から35:00未満で終了しましたCodex Astra: 0% (0ゲーム) は35:00から40:00未満で終了しましたCodex Astra: 0% (0ゲーム) は40:00から45:00未満で終了しましたClaude Fable中央値 10:3760%Claude Fable: 0% (0ゲーム) は0:00から5:00未満で終了しましたClaude Fable: 38.9% (7ゲーム) は5:00から10:00未満で終了しましたClaude Fable: 38.9% (7ゲーム) は10:00から15:00未満で終了しましたClaude Fable: 22.2% (4ゲーム) は15:00から20:00未満で終了しましたClaude Fable: 0% (0ゲーム) は20:00から25:00未満で終了しましたClaude Fable: 0% (0ゲーム) は25:00から30:00未満で終了しましたClaude Fable: 0% (0ゲーム) は30:00から35:00未満で終了しましたClaude Fable: 0% (0ゲーム) は35:00から40:00未満で終了しましたClaude Fable: 0% (0ゲーム) は40:00から45:00未満で終了しましたGrok 4.6中央値 9:1560%Grok 4.6: 2% (1ゲーム) は0:00から5:00未満で終了しましたGrok 4.6: 51% (26ゲーム) は5:00から10:00未満で終了しましたGrok 4.6: 23.5% (12ゲーム) は10:00から15:00未満で終了しましたGrok 4.6: 13.7% (7ゲーム) は15:00から20:00未満で終了しましたGrok 4.6: 2% (1ゲーム) は20:00から25:00未満で終了しましたGrok 4.6: 0% (0ゲーム) は25:00から30:00未満で終了しましたGrok 4.6: 0% (0ゲーム) は30:00から35:00未満で終了しましたGrok 4.6: 0% (0ゲーム) は35:00から40:00未満で終了しましたGrok 4.6: 7.8% (4ゲーム) は40:00から45:00未満で終了しました0:0015:0030:0045:00
時系列チャートは、各ゲーム時間における記録されたプレイヤー実行の平均値を示しています。終了したゲームは除外され、欠落したサンプルは埋められません。モデルはそれらの努力設定をプールします。ユニットと建物は完了時にのみカウントされ、軍隊にはワーカー、Overlord、卵、幼生、弾薬は含まれません。
勝率 vs. コスト
リーダーボードと同じ価格を使用した、1ゲームあたりの平均コスト。CodexとSonnetのコストはトークンベースの推定値です。
［画像］Codex［画像］Claude［画像］Grok
勝率0%25%50%75%100%$0.1$0.5$1$5$10$201ゲームあたりのコスト（USD、対数スケール）
ベンチマークの実行方法
モデルと努力設定のラウンドロビン行列を構築し、各設定が他の全ての設定と対戦するようにしました。ハーネスは、Freestyle VMでそれらの対戦を並列実行し、各マッチのゲームエンジンデータと両方のエージェントのハーネスログを保存しました。
対戦マトリックス
行に沿って読みます。Wは勝利、Lは敗北、Tはベンチマーク時間制限に達したマッチです。
フル19 × 19マトリックスを開く
W勝利L敗北T時間制限
| システム | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1Codex Astra / xhigh | - | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W |
| 2Codex Astra / medium | L | - | W | W | W | W | W | W | W | W | W | W | L | W | W | W | W | W | W |
| 3Codex Astra / low | L | L | - | W | W | W | W | W | W | W | W | W | L | L | W | W | W | W | W |
| 4Codex 5.6 Sol / xhigh | L | L | L | - | L | W | W | W | L | W | W | W | L | L | W | W | W | W | W |
| 5Codex 5.6 Sol / medium | L | L | L | W | - | W | W | W | L | W | W | W | L | W | W | W | W | W | W |
| 6Codex 5.6 Sol / low | L | L | L | L | L | - | W | W | W | W | W | W | W | W | L | W | W | W | W |
| 7Codex 5.6 Luna / xhigh | L | L | L | L | L | L | - | W | L | W | L | W | L | L | L | W | W | W | W |
| 8Codex 5.6 Luna / medium | L | L | L | L | L | L | L | - | L | L | L | L | L | W | W | W | W | W | W |
| 9Codex 5.6 Luna / low | L | L | L | W | W | L | W | W | - | W | L | L | L | L | L | W | W | W | W |
| 10Codex 5.6 Terra / xhigh | L | L | L | L | L | L | L | W | L | - | W | W | L | W | W | W | W | W | W |
| 11Codex 5.6 Terra / medium | L | L | L | L | L | L | W | W | W | L | - | L | L | L | W | W | W | W | W |
| 12Codex 5.6 Terra / low | L | L | L | L | L | L | L | W | W | L | W | - | L | L | W | W | W | W | W |
| 13Claude Fable | L | W | W | W | W | L | W | W | W | W | W | W | - | L | W | W | W | W | W |
| 14Claude Opus 5 | L | L | W | W | L | L | W | L | W | L | W | W | W | - | W | W | W | W | W |
| 15Claude Sonnet | L | L | L | L | L | W | W | L | W | L | L | L | L | L | - | W | W | W | W |
| 16Claude Haiku | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | - | L | T | T |
| 17Grok 4.6 / xhigh | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | W | - | W | T |
| 18Grok 4.6 / medium | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | L | - | W |
| 19Grok 4.6 / low | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | T | L | - |
自分でマッチをプレイする
あなた自身のエージェントを持ち込み、友人とBrood Warをプレイしましょう。