LLMエージェントがポケモンショウダウンをプレイ
LLM Agents Play Pokemon Showdown (olivergrabner.com)
要約
本研究では、大規模言語モデル（LLM）エージェントが協力してゲームをプレイする能力を評価するため、ポケモンショウダウンの2v2形式のマルチエージェント環境を構築しました。自由な会話を許可されたエージェントは、単独でプレイする場合や会話が制限される場合と比較して、勝率が大幅に向上することが示されました。この環境は、LLMの協調行動を測定・学習させるためのベンチマークとしても活用できます。
全文翻訳
マルチエージェントLLMの協調動作をポケモン2v2環境で実現
2026年10月10日
https://github.com/OliverGrabner/multi-agent-poke-showdown
［画像: ポケモンのダブルバトルで、2体のAIチームメイトが動きを計画している］
LLMのコラボレーションの未来は、エージェントがいかに協力し、コミュニケーションを取り、行動を交渉できるかを理解することが重要です。ほとんどのマルチエージェント研究は、エージェントがパイプラインに沿ってタスクを渡すワークフローに関するものです（Hong et al., 2024; Qian et al., 2024）。これをテストするために、これらの能力を評価するためにポケモンショウダウンの2v2形式でマルチエージェント環境を構築しました。
Qwen3.8-27B - プレイヤー1
「相手は両方ともウォータータイプ…だから僕の炎技は両方に半減される…ドンドドに『おにび』を撃つつもりだけど…相手のどちらか一体を怯ませるために、先手で『フェイント』を出してくれる？」
Qwen3.8-27B - プレイヤー2
「ドンドドに『おにび』を撃つのは良い判断だね。ただ、ちょっと訂正があるんだけど、格闘タイプはウォーターやじめんに実際には半減されないから、僕の『インファイト』は両方に等倍（1倍）なんだ…だから『フェイント』→『ドロポン』で決定するよ。」
Qwen3.8-27B - プレイヤー1は『おにび』を選択 → 対戦相手のドンドド（p4）
Qwen3.8-27B - プレイヤー2は『フェイント』を選択 → 対戦相手のドロポン（p2）
2体のQwen3.8-27Bチームメイトによる実際の対戦のターン1（抜粋）。彼らはターゲットを分散し、一方がコミットする前にタイプ相性の間違いをもう一方に訂正しています。チームチャットでの対戦全体を見る。
なぜポケモンなのか？
ポケモンのダブルバトルは、完全情報ではないゲーム理論の環境です。相手のパーティ構成は隠されており、ダメージはランダムであるため、勝利には真の戦略が必要です。相手チームを読むこと、ターゲットを分散すること、そしてパートナーと計画を立てることがそれに当たります。最近のPokéAgent Challenge（Karten et al., 2026）のような研究はポケモンの対戦をベンチマークしていますが、各サイドは単一のエージェントによってプレイされ、専門的なRLエージェントが汎用LLMを上回っています。これは、協力する必要があるチームメイトをテストするものではありません。
目標は、LLMエージェントがどのように協調するかを測定できる制御された環境を作り、後にこれらの協調行動を促進するためにRLでそれらを訓練することです。
方法論
環境
公式のポケモンショウダウンシミュレーターを、Gymスタイルの環境としてラップしました。4人のプレイヤーがそれぞれ3体のポケモンから1体ずつを操作し、各サイドに2体ずつ配置します。
エージェント
各ターン、エージェントは対戦のプレーンテキストの要約と、利用可能な技の番号付きリストを読み取ります。パートナーにプライベートメッセージをsayするか、技をchooseすることができます。技を選択すると、パートナーはその選択を知らされます。
会話モード
自由会話（両方が選択するまで話し続ける）、各1メッセージ、会話なし、そして1つのモデルが両方のポケモンを制御するモードがあります。
評価
Qwen3.8-27Bが、スクリプト化された最大ダメージボットに対して両方のチームメイトとしてプレイします。バトルはシードされており、各チームの引き分けは両サイドからプレイされるため、各会話モードは全く同じバトルに直面します。
結果
最大ダメージボットのベースラインに対する会話条件別の勝率
| 条件 | 30%50%70% | バトルあたりのトークン数 | |
|---|---|---|---|
| 自由会話 | 64% | 978k | |
| 1つのモデルが両方を制御 | 54% | 450k | |
| 各1メッセージ | 52% | 654k | |
| 会話なし | 42% | 259k |
会話は効果的です。自由に会話できたチームメイトは、最大ダメージボットに対して64%のバトルで勝利しましたが、全く会話できなかったチームメイトは42%でした。各1メッセージ（52%）でさえ、会話なしを上回りました。1つのモデルが両方のポケモンを制御する（54%）のは、会話なしよりも良好でしたが、2つのエージェントが自由に会話する場合よりは劣りました。そのため、単に両方の技を計画する1つの頭脳であることによる利点ではなく、会話そのものから得られる利点だと考えられます。
会話にはコストもかかります。自由会話はバトルあたり978kのプロンプトトークンを使用し、会話なしの259kの3.8倍でした。これは、各メッセージが対戦とこれまでの会話を再読する別のモデル呼び出しを意味するためです。
自由会話でのQwen3.8-27Bチーム対戦結果
| 対戦相手 | 勝率 | |
|---|---|---|
| Qwen3.5-2Bチーム | 96% | |
| Qwen3.5-9Bチーム | 74% | |
| 最大ダメージボット | 64% |
また、環境がモデルを区別できることも確認しました。Qwen3.8-27Bチームは、最大ダメージボットに対する64%と比較して、2Bモデルのチームに対して96%、9Bモデルのチームに対して74%のバトルで勝利しました。相手が強いほど、ゲームは接戦になり、これは環境がモデルを比較するためのベンチマークとして使用できる理由です。
次のステップ
会話の効果と、パートナーの動きを見る効果を分離しています。また、環境をモデル間のリーダーボードを備えたベンチマークに変換し、協調行動を促進するためのRLトレーニングに使用することを検討しています。
謝辞
このプロジェクトを通じて、エージェントの協調動作とRL環境についてさらに学びたいと考えており、その結果を共有したいと思いました！テキサスA&M大学のGraceクラスターでこれらの実験を実行しました。指導とフィードバックをいただいたMaria Teleki氏とJames Caverlee教授に感謝します。