HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

GPT-6 Astra、agent-wowで初めてWorld of Warcraftをプレイ

GPT-6 Astra plays World of Warcraft for the first time with agent-wow (agent-wow.sh)

75 pointsby almostlit58 コメント

要約

この記事は、GPT-6 Astraという大規模言語モデル(LLM)エージェントが、カスタムプラットフォームagent-wowを用いてWorld of Warcraftをプレイした実験について説明しています。エージェントは、ゲームのルールを明示的に学習せず、自身の推論能力のみでキャラクター作成から初期クエスト完了までを40分で達成しました。この試みは、LLMが未知のシミュレーション環境でどの程度能力を発揮できるかを評価するもので、将来的にAIエージェントでサーバーを埋め尽くし、高難易度のレイドボス討伐を目指すという長期目標の一歩となります。

全文翻訳

GPT-6 Astraがagent-wowで初めてWorld of Warcraftをプレイ

2026年10月02日

最近、LLMパワーのエージェントがビデオゲームをプレイするというコンセプトに魅了されています。これらのエージェントは、見ていて驚くほど楽しいだけでなく、明示的にトレーニングされていないシミュレーション世界に投入された場合に、最先端モデルがどの程度パフォーマンスを発揮できるかについての貴重な洞察を提供してくれます。

ビデオゲーム、特にWorld of Warcraft(WoW)をボットがプレイするというコンセプトは、目新しいものではありません。ヒューリスティックベースのボットと比較してLLMエージェントが異なる(そしてより興味深い)点は、ゲームで明示的にトレーニングされていないことです。むしろ、持っている推論能力をすべて使って環境に行動し、実際のプレイヤーのようにタスクを完了します。

この分野には、MindcraftやFactorio Learning Environmentのような、すでにいくつかの興味深いオープンソースプロジェクトが存在します。私はagent-wowを構築し、このコンセプトを拡張して、最先端モデルがWorld of Warcraftをプレイする能力を検証しました。最終的な目標は、AIエージェントでサーバー全体を埋め尽くし、彼らが英雄級の難易度でIcecrown Citadelをクリアできるかどうかを見ることです。たとえ失敗したとしても、彼らがどこまで進めるかを見るのは、依然として有益(そして楽しい)でしょう。

簡単な出発点として、GPT-6 Astra (xhigh) を使用するCodexに以下のプロンプトを与えました。

create an orc character and complete all quests in the starting zone

これが機能するかどうか、当初は懐疑的でした。もし機能したとしても、途中で行き止まりがあり、完了には何時間もかかるだろうと思っていました。しかし、実際には40分で、死ぬことなく、最小限の複雑さでタスクを簡単に完了しました。セッションの完全なゲームプレイ録画もこちらで視聴可能です。

World of Warcraft なぜ?

私自身、昔から好きなゲームの一つ(特にClassicからWotLK時代)であることに加え、AIを評価するための理想的なシミュレーション世界となる素晴らしいメカニクスを備えています。ゲームを進めるにつれて、長期戦略と短期戦術のバランスがうまく取れています。

レベルキャップに到達する頃には、キャラクターをエンドゲームコンテンツの準備を整えるために、多くの複雑な計画と実行が必要になります。

  • すべての前提クエストを完了する
  • エンドゲームのボス戦に適した十分な装備を入手する
  • 正しいクラス構成でギルドを形成する

これらの要件はそれぞれ、より複雑なタスクに分解できます。例えば、最適な装備スロットの中にはクラフトが必要なものがあり、それはさらに特定の資源とスキルを必要とします。キャラクターはそれをひたすら集めるか、ゴールドで購入するかを選択できます。どちらも同じ結果につながりますが、アプローチは大きく異なります。

もしそれらすべてをこなし、レイドボスに到達できれば、ゲームはさらにペースの速い協調性と実行力を要求します。ダメージ毎秒を最大化するために最適なローテーションで呪文をキャストし、炎を避け、リアルタイムで他の24人のプレイヤーと同期を保つことができますか?

これにより、長期的な戦略計画と狭い戦術的実行のためのエージェント能力をプレッシャーテストするための強力な環境が効果的に提供されます。マルチプレイヤーインタラクションがゲームの特定の進行に不可欠になるにつれて、さらに興味深いものになります。

agent-wow はどのように機能するか?

[画像: agent-wow アーキテクチャ図]

agent-wow は、直接的なキーボードとマウスの制御によるコンピュータビジョンに依存せず、WoWクライアントを直接乗っ取るためのゲームハッキング技術も使用しません。代わりに、WoWネットワークプロトコルを使用してエージェントがゲームサーバーと直接対話するためのプラットフォームを提供します。

さらに興味深いのは、agent-wow が移動、戦闘、ゲーム内インタラクションなどのゲームプレイメカニクスを一切定義していないことです。代わりに、タスクを完了するために必要な能力を構築するための標準的なモジュールシステムのみを公開します。

モジュールシステムにより、agent-wow の複雑さは少なくとも1桁削減されます。当初は、エージェント使用に最適なプリミティブを備えた完全にヘッドレスなWoWクライアントを作成する予定でした。しかし、ジャンキーなパスファインディング実装を備えたバギーな movement プリミティブのために16K行を書き終えた後、別のアプローチに切り替えることにしました。

Mindcraftの実装では、利用可能なコマンドセットがより複雑な動作を完了するのに十分でない場合、エージェントはMineflayer APIを使用してカスタムコードを生成することが許可されています。私はagent-wowでも同じアプローチに従うことにしましたが、この場合、組み込みのゲームアクションもありませんでした。このシステムは、多くの独立した実行を通じてエージェントが構築することを選択したモジュールに基づいて、どのプリミティブが実際に重要かを把握するための優れたフィードバックループも提供します。一般的に構築されるモジュールは、コアに実装できます。

また、agent-wow はライブのWorld of Warcraftサーバーに接続しないことも重要です。代わりに、すべての実験は、オープンソースのAzerothCoreプロジェクトによって強化されたプライベートローカルサーバーで実行されます。これは、WoW 3.3.5a — Wrath of the Lich Kingの最終ビルド(そしてピーク時のWoW)をサポートしています。

実行からの洞察

エージェントがこの単純な最初のタスクをどのように完了したかを見るのは興味深かったです。上記のリンクにあるゲームプレイ録画をざっと見てもらい、エージェントの推論トレースとともにキャラクターがどのように動作するかを確認することをお勧めします。

ゲームプレイ映像がどのように記録されたかについての簡単な注意:AzerothCoreには幸いなことに、強力なGMコマンドがいくつか用意されています。私のPOVをエージェントのキャラクターにバインドし、それを解除するための2つの簡単なマクロを作成するのは難しくありませんでした。

/run SendChatMessage(".gm on","SAY")
/run SendChatMessage(".gm visible off","SAY")
/run SendChatMessage(".bindsight","SAY")
/run SendChatMessage(".unbindsight","SAY")

これは、短いセッションで単一のキャラクターにはうまく機能しますが、長い時間枠でのマルチエージェント実行にはスケールしません。より良い観測可能性のために、AzerothCoreモジュールとゲーム内アドオンを構築する必要があるでしょう。

AzerothCoreソースコードのデータマイニング

これは、後から考えると驚くことではなく、おそらく最適な戦略です。エージェントは、AzerothCore SQLファイルからクエスト要件、クエストギバー、納品NPC、スポーン座標を抽出して、計画のための具体的なチェックリストと場所を提供しました。

このデータを使用して、クエスト順序と準備のための最適な戦略を作成することもできます。前提条件チェーンを完了し、ジャンクを販売し、アップグレードを装備し、最終的な洞窟セグメントの開始エリアクエストラインに入る前にアビリティをトレーニングします。また、両方の洞窟クエストを同時に取得して一緒に完了するように最適化します。

高レベルのプロンプトを具体的なステップシーケンスに変換するためにデータマイニングを使用するこの戦略は、おそらく許容範囲内です。これは、人間がWowheadでクエストを調査するために何時間も費やすのと同様であると言えます。私が線を引くのは、実行中のAzerothCoreサーバーとデータベースの管理者アクセスを取得して、その内部を変更できた場合です。この実行はサンドボックス内で行われなかったため、それは可能でした。

高レベルな抽象化を作成するためにモジュールシステムを使用しない

私の最初の賭けは、エージェントが高レベルな抽象化を作成し、moveToやcastSpellのようなRPCメソッドを公開して、低レベルのパケットレイヤーで作業することを避けるだろうということでした。実際には、プロトコルレイヤーで作業する能力は十分にありました。それが作成した唯一のモジュールは、関心のある特定のパケットを送受信することでした。

以下は、それが生成したgRPCインターフェースとモジュール構成です。

syntax = "proto3";
package example.module.v1;
option go_package = "github.com/agent-wow/go-module-template/src/api;modulev1";

import "api/module/v1/session.proto";
import "google/protobuf/empty.proto";

message PollRequest { uint64 after = 1; }
message Packet { uint64 seq = 1; uint32 opcode = 2; bytes payload = 3; }
message PollResponse { uint32 clock = 1; string guid = 2; repeated Packet packets = 3; }

service Module {
 rpc Send(agentwow.module.v1.SendPacketRequest) returns (google.protobuf.Empty);
 rpc Poll(PollRequest) returns (PollResponse);
 rpc OnPacket(agentwow.module.v1.WorldPacket) returns (google.protobuf.Empty);
}
api_version: 1
enabled: true
description: Gameplay protocol bridge for the Valley of Trials
compose:
  file: compose.yaml
  service: module
grpc:
  descriptor_set: module.pb
rpc:
  send: /example.module.v1.Module/Send
  poll: /example.module.v1.Module/Poll
packets:
  SMSG_LOGIN_VERIFY_WORLD: /example.module.v1.Module/OnPacket
  SMSG_UPDATE_OBJECT: /example.module.v1.Module/OnPacket
  SMSG_COMPRESSED_UPDATE_OBJECT: /example.module.v1.Module/OnPacket
  SMSG_DESTROY_OBJECT: /example.module.v1.Module/OnPacket
  SMSG_MONSTER_MOVE: /example.module.v1.Module/OnPacket
  SMSG_GOSSIP_MESSAGE: /example.module.v1.Module/OnPacket
  SMSG_QUESTGIVER_QUEST_LIST: /example.module.v1.Module/OnPacket
  SMSG_QUESTGIVER_QUEST_DETAILS: /example.module.v1.Module/OnPacket
  SMSG_QUESTGIVER_OFFER_REWARD: /example.module.v1.Module/OnPacket
  SMSG_QUESTGIVER_QUEST_COMPLETE: /example.module.v1.Module/OnPacket
  SMSG_QUESTUPDATE_ADD_KILL: /example.module.v1.Module/OnPacket
  SMSG_QUESTUPDATE_COMPLETE: /example.module.v1.Module/OnPacket
  SMSG_LOOT_RESPONSE: /example.module.v1.Module/OnPacket
  SMSG_CAST_FAILED: /example.module.v1.Module/OnPacket
  SMSG_INVENTORY_CHANGE_FAILURE: /example.module.v1.Module/OnPacket
  SMSG_QUESTGIVER_QUEST_INVALID: /example.module.v1.Module/OnPacket
  SMSG_ATTACKSWING_NOTINRANGE: /example.module.v1.Module/OnPacket
  SMSG_ATTACKSWING_BADFACING: /example.module.v1.Module/OnPacket
  SMSG_QUESTGIVER_QUEST_FAILED: /example.module.v1.Module/OnPacket
  SMSG_LEVELUP_INFO: /example.module.v1.Module/OnPacket
  SMSG_TRAINER_BUY_SUCCEEDED: /example.module.v1.Module/OnPacket
  SMSG_TRAINER_BUY_FAILED: /example.module.v1.Module/OnPacket
  SMSG_AURA_UPDATE: /example.module.v1.Module/OnPacket
  SMSG_AURA_UPDATE_ALL: /example.module.v1.Module/OnPacket
  SMSG_TRAINER_LIST: /example.module.v1.Module/OnPacket
  SMSG_INITIAL_SPELLS: /example.module.v1.Module/OnPacket
  SMSG_LEARNED_SPELL: /example.module.v1.Module/OnPacket
  SMSG_QUERY_QUESTS_COMPLETED_RESPONSE: /example.module.v1.Module/OnPacket

onPacketは、定義されたサーバーメッセージ(SMSG_*)のセットをサブスクライブし、メモリに保存します。その後、モジュールはagent-wowのJSON-RPCゲームプレイサーバーを介してsendとpollを公開します。エージェントはPythonスクリプトを使用してpollを呼び出し、最後に処理したチェックポイント以降のすべての着信パケットを取得し、デコードしてワールドモデル(ヘルス、近くのクリーチャー、クエスト進行状況、戦利品など)を更新します。次にsendを使用して、AzerothCoreにクライアントメッセージを発行し、ゲーム世界でアクションを生成します。

このアプローチがますます複雑なタスクにスケールできるかどうか、またはエージェントが高レベルな抽象化を作成することを余儀なくされるかどうかを見るのは興味深いでしょう。プロトコルレイヤーですべてが必要な場合、コアにこの機能を提供し、モジュールシステムを完全に削除するだけで十分かもしれません。

パスファインディング能力は最適だった

ヒューリスティックベースのボットに関する私の調査から、パスファインディングは常に主な課題の1つです。この記事は、問題に関する素晴らしい洞察を提供しています。この場合、エージェントはゲーム世界内の2つの位置間の移動可能なルートを計算するために、C++でパスファインディングヘルパープログラムを作成することができました。

これは次のように行われます。

  1. 6つの数値(開始 x, y, z と宛先 x, y, z)を取ります。
  2. AzerothCoreのローカルナビゲーションメッシュファイル(mmaps)をロードします。
  3. Detourパスファインディングライブラリを使用して、接続された移動可能な表面を横断するルートを見つけます。
  4. ルートを座標のJSON配列として返すか、完全なパスを見つけられない場合はエラーを報告します。

Pythonスクリプトがコンパイルされた実行可能ファイルを呼び出し、結果のウェイポイントを読み取り、ルートに従うための移動パケットを送信します。

これはエージェントが生成した実際のC++ヘルパープログラムです(読みやすくフォーマットされています)。

#include "DetourNavMesh.h"

#include "DetourNavMeshQuery.h"

#include "DetourAlloc.h"

#include <cstdio>

#include <cstdlib>

#include <algorithm>

int main(int argc, char ** argv) {
  if (argc != 7) return 1;
  const char * dir = "/azerothcore/env/dist/bin/mmaps";
  char fn[512];
  sprintf(fn, "%s/001.mmap", dir);
  FILE * f = fopen(fn, "rb");
  if (!f) return 2;
  dtNavMeshParams params;
  fread( & params, sizeof(params), 1, f);
  fclose(f);
  auto mesh = dtAllocNavMesh();
  if (dtStatusFailed(mesh -> init( & params))) return 3;
  float a[3] = {
    float(atof(argv[2])),
    float(atof(argv[3])),
    float(atof(argv[1]))
  };
  float b[3] = {
    float(atof(argv[5])),
    float(atof(argv[6])),
    float(atof(argv[4]))
  };
  int ax = int(32 - a[2] / 533.333333), ay = int(32 - a[0] / 533.333333), bx = int(32 - b[2] / 533.333333), by = int(32 - b[0] / 533.333333);
  for (int x = std::min(ax, bx) - 1; x <= std::max(ax, bx) + 1; x++)
    for (int y = std::min(ay, by) - 1; y <= std::max(ay, by) + 1; y++) {
      sprintf(fn, "%s/001%02d%02d.mmtile", dir, x, y);
      f = fopen(fn, "rb");
      if (!f) continue;
      unsigned int h[14];
      fread(h, 56, 1, f);
      auto data = (unsigned char * ) dtAlloc(h[3], DT_ALLOC_PERM);
      fread(data, h[3], 1, f);
      fclose(f);
      if (dtStatusFailed(mesh -> addTile(data, h[3], DT_TILE_FREE_DATA, 0, nullptr))) dtFree(data);
    }
  auto q = dtAllocNavMeshQuery();
  q -> init(mesh, 10000);
  dtQueryFilter filter;
  filter.setIncludeFlags(1 | 2);
  filter.setExcludeFlags(0);
  float ext[3] = {
    5,
    12,
    5
  };
  dtPolyRef ra = 0, rb = 0;
  float pa[3], pb[3];
  q -> findNearestPoly(a, ext, & filter, & ra, pa);
  q -> findNearestPoly(b, ext, & filter, & rb, pb);
  if (!ra || !rb) {
    fprintf(stderr, "No nav polygon at endpoint %llu %llu\n", (unsigned long long) ra, (unsigned long long) rb);
    return 4;
  }
  dtPolyRef polys[4096];
  int n = 0;
  q -> findPath(ra, rb, pa, pb, & filter, polys, & n, 4096);
  if (!n || polys[n - 1] != rb) {
    fprintf(stderr, "Incomplete path %d\n", n);
    return 5;
  }
  float pts[4096 * 3];
  unsigned char flags[4096];
  dtPolyRef refs[4096];
  int count;
  q -> findStraightPath(pa, pb, polys, n, pts, flags, refs, & count, 4096, DT_STRAIGHTPATH_ALL_CROSSINGS);
  printf("[");
  for (int i = 0; i < count; i++) printf("%s[%.5f,%.5f,%.5f]", i ? "," : "", pts[i * 3 + 2], pts[i * 3], pts[i * 3 + 1]);
  printf("]\n");
  dtFreeNavMeshQuery(q);
  dtFreeNavMesh(mesh);
}

このアプローチの興味深い結果の1つは、ゲームプレイ録画で見られるように、エージェントが衝突判定が欠落している可能性のある壁をすり抜けることで、マップのバグを悪用することもできたことです。

[画像: エージェントが壁をすり抜ける例]

結論

全体として、agent-wowを使用してLLMエージェントのWorld of Warcraftをプレイする能力をテストする最初の実行は非常に満足のいくものでした。それは私の期待を超え、これらのモデルをさらにどこまで押し進めることができるのか疑問に思わせました。

次のいくつかの実行では、特に以下の質問に答えることに興味があります。

  • 単一のエージェントは完全に自律的にレベル80まで上げることができますか?もしそうなら、その過程で何を構築する必要がありますか?そして、どのくらいの時間がかかりますか?
  • 複数のエージェントが一緒にプレイできますか?ゲーム内のソーシャル機能を使用して、クエストやダンジョンを調整して完了できますか?

サイドクエストとして、私も以下を行います。

  • AFK中にエージェントキャラクターを長期間追跡するための、より優れた観測ツールを構築します。
  • エージェントがアクセスおよび変更できるものにガードレールを設けるサンドボックスを追加します。