HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

世界モデルにポケモンをプレイさせる方法

Teaching a World Model to Play Pokemon (nostalgia.dev)

24 pointsby stmonty18 コメント

要約

この記事では、AIの「世界モデル」の概念と、それを1996年のゲーム「ポケットモンスター 赤」に適用する方法を探求しています。特に、JEPA(Joint Embedding Predictive Architecture)の一種であるLeWorldModel1を使用し、報酬なしでゲームの状態遷移を学習させ、最終的に最初のポケモンを選択させることに成功した過程を解説しています。

全文翻訳

世界モデルでポケモンをプレイすることを教える

目次

[画像: The planned action sequence selecting Squirtle in the Pokémon Red emulator.]

人工知能(AI)の分野で最も魅力的な研究の一つは、世界モデルを取り巻くものだと私は考えています。世界モデルには多くの種類があり(そしてその言葉自体が少し過負荷になっていますが)、世界モデルの最もエキサイティングなアーキテクチャの一つは、ヤン・ルカン(Yann LeCun)のJEPA(Joint Embedding Predictive Architecture)です。多くのバリエーションがありますが、特に私の目を引いたのはLeWorldModel[1]でした。私のRTX 3080 Tiでローカルにトレーニングできるほど小さく、以前の多くのJEPAアーキテクチャよりもシンプルな設計でした。

サンフランシスコはポケモンの記念品で覆われていました――1026匹のポケットモンスターの多くをフィーチャーした大きな広告が、マーケットストリートの地下鉄路線やバス停に貼られていました。SFは今年、ポケモンワールドチャンピオンシップの開催地であり、多くの風変わりで陽気なポケモン使いが、ダウンタウンSFの穏やかな丘やコンクリートの金融街をさまよっていました。おそらく、すべての広告が私を潜在的にコントロールしていたのでしょうが、私たちの世界モデルにとって良い「世界」は、すべてを始めた1996年のゲーム、ポケットモンスター 赤であると決断しました。[2]

ポケモンのメカニクス

ポケットモンスター 赤は、世界を探索し、ポケモンと呼ばれる生き物を集め、それらをバトルで使用するゲームです。

方向ボタンを使ってメニュー内を歩き回ったり移動したりします。Aボタンは、物と対話し、会話を進め、選択を確定します。Bボタンは通常、キャンセルまたは戻る操作を行います。最初のポケモンを選択するには、モンスターボール(ポケモンを保持する容器)に近づき、選択を確定する会話を通過する必要があります。

ゲームの序盤近く、プレイヤーはオーキド博士の研究室にいます。そこで彼は最初のポケモンとして、フシギダネ、ヒトカゲ、ゼニガメのいずれかを提供します。これらは3匹の「最初のポケモン」で、それぞれ研究室のテーブルの上にあるモンスターボールの中に待っています。

上のGIFは、モデルトレーニングの最終結果です。モデルはゼニガメを選択する一連のボタン操作を計画しました。モデルはシンプルなテストでは有望に見えましたが、予想以上に多くの困難と後退がありました。

計画

目標は比較的単純でした:オーキド博士の孫を倒すこと。これを複数のステップに分解し、私は次のように考えました:

  1. オーキド博士の研究室に行く
  2. オーキド博士との会話を終える
  3. 最初のポケモンを選択する
  4. 研究室を出ようとする
  5. オーキド博士の孫と対決し、倒す

これは最初の実験としては野心的すぎるかもしれないとすぐに気づいたので、私はオーキド博士の研究室のセーブ状態から最初のポケモンを選択するという点に絞りました。3匹の最初のポケモンのいずれかを取得できれば、成功とみなされます。

研究室のセーブされた位置から、モデルにAボタンを12回押させるだけで十分です。しかし、モデルはそれを学習できるでしょうか?モデルは無目的にさまようこともあれば、オーキド博士の研究室で永遠に苦しむこともあります。あるいは、モデルはAボタンを数回押した後Bボタンを押して、目標に近づきかけたところで努力をキャンセルすることさえあります。

そもそも世界モデルとは何か?

世界モデルとは、現在の状態または観測から始まり、何らかのアクションが発生してこの状態を変更し、新しい観測を生成するモデルのことです。現実的には、ある状態に対するアクションと、それが生成する新しい状態との間に何らかの相関、あるいはできれば因果関係が存在するはずです。世界モデルの目標は、この相関を学習することです。現在の観測がプレイヤーがモンスターボールの前にいるオーキド博士の研究室のスクリーンショットであり、アクションが左ボタンを押すことで、プレイヤーを1タイル左に移動させ、新しい最終スクリーンショットを生成するとしましょう。世界モデルの目標は、左ボタンを押すとプレイヤーが左に移動するという直感を何らかの形で発達させることです。

$$ o
_{t+1}\approx F(o_t,a_t). $$

ここで (o_t) は現在のスクリーンショット、(a_t) は押されたボタン、(F) は次のスクリーンショット (o
_{t+1}) を予測するために世界モデルが学習する関数です。

しかし、目標は一般化することであるべきです――モデルはオーキド博士の研究室で左ボタンを押すとプレイヤーが左に移動することを学習するのではなく、どこでも**左ボタンを押すとプレイヤーが左に移動することを学習するべきです。[3]

余談ですが、この設定は強化学習に似ているように聞こえるかもしれません。しかし決定的に重要なのは、世界モデルは報酬なし、つまり報酬フリー(後述)で状態のダイナミクスを理解することを学習するということです。

世界モデルはどのように予測を学習するか

スクリーンショットから埋め込みへ

では、私たちが本当に興味を持っているのが環境の状態遷移とダイナミクス[4]であり、私たちが持っているのが観測(この場合はゲームのスクリーンショットの形式)だけであるなら、モデルはスクリーンショットを予測することを学習するのでしょうか?

いいえ、モデルが実際に学習するのは、潜在空間、別名埋め込み空間内での予測です。まず、エンコーダーが必要です。これは、スクリーンショットを受け取ると、埋め込みを生成します。

埋め込みとは何か?

[画像: The player standing in front of the starter Poké Balls in Professor Oak’s lab.] Screenshot

Encoder

0.24−1.070.63⋮0.18

192 numbers

埋め込みとは、入力を数値のベクトルとして学習された表現のことです。エンコーダーは、画像、文、または音声をそのようなベクトルに変換でき、別のモデルが比較、予測、または入力として使用できるものを提供します。

エントリは手作業でラベル付けされた特徴ではありません:1つの座標が「色」や「位置」を意味する必要はありません。情報は多くのエントリに分散される可能性があり、元の入力のいくつかの詳細は完全に失われる可能性があります。埋め込みが有用であるかどうかは、エンコーダーがどの区別を保持することを学習したかに依存します。

現在の観測 (o_t) を表す埋め込みがあれば、次に予測モデルを用意できます。これは、アクション (a_t) を与えられると、将来の埋め込みを予測しようとします。この将来の予測埋め込みを使用して、実際の将来の観測 (o
_{t+1}) によって生成された実際の埋め込みと比較しようとします。これは実際には非常にシンプルです:新しいスクリーンショットを同じエンコーダーに通すだけで、実際の将来の埋め込みが得られます。目標は次のようになります:

$$ \hat z
_{t+1}\approx z
_{t+1}. $$

ここで、(\hat z
_{t+1}) は予測された次の埋め込みであり、(z
_{t+1}) は実際に続いたスクリーンショットの埋め込みです。

次のポケモンのスクリーンショットの埋め込みを予測するスクリーンショットの上から読み取ります。現在のスクリーンショットと次のスクリーンショットは同じエンコーダーを通過します。現在の埋め込みとAボタンが予測子に供給されます。平均二乗誤差は、その予測埋め込みと実際の次のスクリーンショットの埋め込みを比較します。色付きのブロックは模式的にベクトルを表しています。Press APredictorPredicted embeddingMSECurrent embeddingTarget embeddingSame weightsEncoderEncoderCurrent screenshotNext screenshot

これを1ステップについて書き出すと:

$$ z_t = E(x_t), \qquad \hat z
_{t+1} = P(z_t,a_t), \qquad z
_{t+1} = E(x
_{t+1}). $$

ここで、(x_t) は現在のスクリーンショット、(a_t) はアクション、(E) と (P) はエンコーダーと予測子です。重要なのは、予測された埋め込み (\hat z
_{t+1}) はスクリーンショットに変換されず、(z
_{t+1}) と直接比較できることです。

予測損失と崩壊

予測とグラウンドトゥルース埋め込みの違いを学習するために、信頼できる損失関数である平均二乗誤差を使用します。

$$ \mathcal L
_{\mathrm{pred}}=\frac{1}{D}\sum
_{d=1}^{D}(\hat z
_{t+1,d}-z
_{t+1,d})^2,\qquad D=192. $$

これは複雑に見えますが、距離関数として想像できます。基本的に、2つの埋め込みベクトルの間の距離を測定しようとしています。

すべてが十分に単純に見えます:この関数を最小化すれば、ポケモンをプレイできる世界モデルが得られるはずですよね?

しかし、現実はそれほど単純ではなく、実際には危険な退化ケースが発生する可能性があります。エンコーダーと予測子をトレーニングしていることを思い出してください。エンコーダーは各トレーニング例に2回現れます:

  1. エンコーダーは現在のスクリーンショットを (z_t=E(x_t)) に変換します。
  2. 予測子は (z_t) とボタン (a_t) を受け取り、(\hat z
    _{t+1}=P(z_t,a_t)) を推測します。
  3. 同じエンコーダーが実際の次のスクリーンショットを (z
    _{t+1}=E(x
    _{t+1})) に変換します。
  4. トレーニングは、(\hat z
    _{t+1}) と (z
    _{t+1}) の間の距離を減らし、予測子とエンコーダーの両方を更新します。

最悪の場合、エンコーダーはすべてのスクリーンショットを同じ埋め込み (c) として埋め込み始めるようになります。その後、予測子も次の埋め込みが (c) になると予測し始めます。これは潜在空間の崩壊と呼ばれ、モデルが損失関数を減らすための自明な方法を見つけたことを意味します――すべての埋め込みを同じ埋め込みに収束させることによってです。

SIGReg: 埋め込み空間を有用に保つ

したがって、予測損失はすべてのスクリーンショットを同じ点に配置することによって最小化される可能性があります。もし埋め込みが同じ点に収束するのを防ぐことができれば、有用な世界モデルの生成に戻ることができます。これはJEPAの永続的な問題であり、多くの異なるJEPAモデルアーキテクチャが潜在空間の崩壊を防ぐためのさまざまな方法を考案してきました。

可能な修正策の1つは、埋め込みの各数値がスクリーンショット間で変化するようにすることです。しかし、埋め込みがどのように広がるかには注意が必要です。2つの数値しかない埋め込みを想像してください:((1,1))、((2,2))、((3,3))。両方の数値は変化しますが、2番目の数値は常に最初の数値をコピーします。点は線になり、これはデータが2次元領域に広がるのではなく、1次元しか持たないことを意味します。192個の数値があると、同じ種類の冗長性を見つけるのはより困難です。

LeWorldModel論文は、他の多くのJEPAアーキテクチャと比較して比較的シンプルなソリューション、つまりSIGReg(Sketched Isotropic Gaussian Regularization)を選択しています。

SIGRegはより強い形状を要求します。スクリーンショットのバッチ全体にわたって、埋め込みが標準的な等方性ガウス分布に似るように奨励します:

$$ z\sim\mathcal N(\mu,\Sigma),\qquad \mu=\mathbf 0,\quad \Sigma=I_D. $$

等方性ガウス分布は平均が0で、共分散行列が単位行列 (I_D) です。2次元では、それは点や線ではなく、円形の雲になります。等方性ガウス分布がすべての方向で同様に広がる形状を形成していることがわかります:

Isotropic GaussianSame spread in every direction Stretched GaussianMore spread along one direction

Gaussian samples · blue outlines connect points of equal density.

エンコーダーが (z_1,\ldots,z_N\in\mathbb R^D) の埋め込みのバッチを生成し、それが上記の図のような雲を形成すると仮定します。SIGRegはランダムな方向 (u) を単位長で選択し、各埋め込みがその方向に沿ってどこに位置するかを測定します:

$$ h_i=u^\top z_i,\qquad i=1,\ldots,N. $$

(h_i) は (D) 次元ベクトルではなく、通常の数値になります。元の雲が本当に (\mathcal N(0,I_D)) に従っていた場合、任意の単位方向の数値は (\mathcal N(0,1)) に従います。

なぜすべての方向が標準ガウス分布になるのか?

2次元では、ランダムな埋め込みを (X=(X_1,X_2)) とします。ここで (X_1) と (X_2) は独立な標準ガウス分布です。単位方向 (u=(3/5,4/5)) を選択します。その射影は

$$ h=u^\top X=\frac35 X_1+\frac45 X_2. $$

独立なガウス分布の重み付き和は依然としてガウス分布であり、その平均はゼロです。その分散を見つけるには、分散は平均からの二乗偏差を平均することに注意してください。(X_1) を (3/5) で乗算することは、その分散を ((3/5)^2) で乗算することを意味します。(X_2) についても同様です。混合項は、座標が独立でゼロを中心にしているため、その分散寄与が加算されるため、ゼロに平均化されます:

$$ \operatorname{Var}(h)=\left(\frac35\right)^2+\left(\frac45\right)^2 =\frac9{25}+\frac{16}{25}=1. $$

同じ議論が (D) 次元でも当てはまります。任意の単位方向 (u=(u_1,\ldots,u_D)) について、その二乗成分は1に加算されます:(\sum_j u_j^2=1)。射影 (u^\top X=\sum_j u_jX_j) は平均ゼロ、分散 (\sum_j u_j^2=1) のガウス分布であり、(\mathcal N(0,1)) に従います。コンパクトな行列表記では、その分散計算は (u^\top I_Du=|u|^2=1) です。

問題は1次元の質問になりました:これらの射影された数値は、標準ガウス分布のサンプルに見えるでしょうか?

SIGRegはこれに特性関数テストで答えます。

特性関数

特性関数は、確率分布の形状を記述する別の方法です。

ランダムベクトル (X) について、それは次のように定義されます:

$$ \phi_X(t)=\mathbb{E}[e^{i t^\top X}]. $$

(t) を方向と分布を「プローブ」するスケールを選択すると考えることができます。特性関数は、そのプローブの下で分布がどのように見えるかを示します。

等方性ガウス分布の場合、

$$ X\sim\mathcal N(0,\sigma^2 I), $$

特性関数は次のようになります:

$$ \phi_X(t)=e^{-\frac12\sigma^2|t|^2}. $$

これは (t) の長さ (|t|) にのみ依存し、それが指す方向には依存しないことに注意してください。これは等方性ガウス分布の直感と一致しています:すべての方向で同じように見えます。

特性関数の値は、各確率分布に一意であるため、ランダム変数の特性関数がすべての場所で別のランダム変数の特性関数と一致することを示すことができれば、それらは同じ分布を持つことになります。

各方向について、SIGRegは射影されたサンプルから推定された特性関数と (\mathcal N(0,1)) の既知の特性関数を比較します。次に、Epps–Pulleyテストを使用して、不一致をペナルティに変換します。詳細については、元のLeJEPA論文またはLeWorldModelの付録Aを参照してください。

1,024個のランダムな方向でそのペナルティを平均し、その勾配を使用してエンコーダーを更新します。有限の方向セットは、完全な分布のチェックの近似として使用されます。

最終的なトレーニング目的関数は次のようになります:

$$ \mathcal L=\mathcal L
_{\mathrm{pred}}+0.1,\operatorname{SIGReg}(Z). $$

ここで、0.1は、バリエーションの消去を抑制することによって、正則化器がトレーニングに寄与する度合いを制御します。

ポケモンの学習データ

これで、スクリーンショットとアクションのペアからモデルをトレーニングする方法が得られました。これらのペアはどこから来るのでしょうか?私はポケットモンスター 赤エミュレーターから42,382個のグレースケールフレームを記録し、1,009個の短い軌跡にグループ化しました。一部の軌跡は最初のポケモンへのスクリプト化されたルートに従います。他のものは、それらのルートにノイズの多いアクションを追加したり、よりランダムに移動したりします。各ステップについて、記録には現在のフレーム、押されたボタン、およびそれに続くフレームが含まれます。

[画像: Scripted, noisy, and random trajectories recorded from the Pokémon Red emulator.]

実際、乱雑な軌跡があることは重要です。クリーンなルートのみでトレーニングされたモデルは、ダイアログボックスが表示されるたびにAが押されるのを見て、Bがそこで何をするのかを学習しないかもしれません。しかし、プランナーはあらゆる種類のボタンシーケンスを提案するでしょう。それには悪いものも含まれます。そして、それらのシーケンスに対しても予測が必要になります。これはデータセットをポケットモンスター 赤の完全なマップにするものではありませんが、モデルに記憶すべき単一のデモンストレーション以上のものを提供します。

これらの記録のいずれも、世界モデルに軌跡が成功したかどうかを伝えていないことに注意してください。トレーニング損失は、ボタンプレス後に何が起こるかを予測するように求めており、ポケモンを取得したことに対してモデルに報酬を与えることはありません。目標は、トレーニング済みのモデルを計画に使用するときに後で入ってきます。

計画の前に、埋め込みがプレイヤーがポケモンを選んだかどうかを追跡しているかどうかを知りたいと思いました。エンコーダーを固定し、その質問に答えるために小さな分類器をトレーニングしました。エミュレーターのパーティカウントを正解として使用しました。これは線形プローブです:エンコーダーは変更できないため、分類器はモデルが既に保持している情報で作業する必要があります。

分類器のトレーニングに使用されなかったゲームプレイ記録でも、プレイヤーがポケモンを持っているかどうかを判断できました。ダイナミクスもチェックしました:予測子は、現在の埋め込みを単にコピーするベースラインよりも優れており、間違ったボタンを与えると予測が悪化しました。これらのチェックは有望でしたが、モデルがシーケンス全体を計画できるかどうかを確認する必要がありました。

学習済み世界での計画

最初のポケモンを要求するために、成功したフシギダネ、ヒトカゲ、ゼニガメの選択からのスクリーンショットを取得し、それぞれをエンコーダーに通しました。それらの埋め込みは、3つの可能な目標のセット (\mathcal G) を形成します。それらのいずれでも構いません。これにより、プランナーは、研究室を通るルートや各ボタンプレスの報酬を提供することなく、望ましい結果の画像を得ることができます。

次に、実際にボタンを押さずにボタンシーケンスを試すことを想像してください。セーブ状態からの実際のスクリーンショットで開始し、それを一度エンコードし、その埋め込みと最初の提案されたボタンを予測子に供給します。2番目のボタンについては、新しいスクリーンショットはありません:最初の予測をフィードバックする必要があります。以前の単純化された表記法では、候補プランは次のように展開されます:

$$ \hat z_0=E(x_0),\qquad \hat z
_{t+1}=P(\hat z_t,a_t). $$

実際の予測子は状態の短い履歴を使用できますが、重要な特徴は同じです:(\hat z_0) の後、想像された状態はモデル自体から来ます。エミュレーターを1つずつ実行することなく、この方法で多くの提案されたアクションシーケンスをロールアウトできます。

14個のボタンシーケンスごとに1つのスコアが必要です。予測された状態と3つの最初のポケモンの目標から、次のように計算します:

$$ J(a
_{0:H-1})=\min
_{1\leq k\leq H};\min
_{z_g\in\mathcal G}\frac{1}{D}|\hat z_k-z_g|
_2^2,\qquad H=14. $$

これは複雑に見えますが、ボタンごとに1つずつ見ていくことができます。各想像されたボタンプレス後、予測された埋め込みを3つの最初のポケモンの選択からの埋め込みと比較し、最も近いポケモンへの距離を保持します。

14ステップすべてについてそれを実行した後、見た中で最小の距離を保持します。その数値が (J) です。計画は、ステップ12でポケモンに近づくことによって良いスコアを獲得できます。たとえそれがさらに2つのアクションを続けたとしても。もちろん、これはモデルが予測することだけです:プレイヤーが実際にポケモンを手に入れたかどうかを知るためには、予測された計画をエミュレーターで直接実行する必要があります。

14ボタンシーケンスは試すには多すぎるため、クロスエントロピー法(CEM)を使用して検索を絞り込みました。計画を14個の空のスロットとして想像してください。各スロットについて、CEMは各可能なボタンをそこに配置する確率を追跡します。最初は、さまざまな計画をサンプリングします。

各ラウンドは次のように機能します:

  1. 512個の完全な計画をサンプリングし、世界モデルを使用して各計画が何をするかを予測します。
  2. 各計画について、14個の予測されたステップを3つの最初のポケモンの目標と比較します。最も近い埋め込み距離がその (J) スコアです。スコアが最も低い64個の計画を保持します。
  3. それらの64個の計画をスロットごとに調べ、次のラウンドでサンプリングされる可能性が高いボタンにします。

たとえば、64個の計画の多くが4番目のアクションとしてAを押した場合、次のラウンドの4番目のスロットではAがより可能性が高くなります。

このプロセスを数ラウンド繰り返します。徐々にコストが低い計画を優先します。その後、最良の計画をエミュレーターで実行します。

最初の計画が失敗した理由

最初の検索では、モデルが最初のポケモンに近づくと考えた計画が見つかりましたが、エミュレーターでは、同じボタン操作でプレイヤーはポケモンを持たないままでした。想像されたシーケンスと実際のシーケンスの間で、モデルは間違った方向に進んでいました。

1つの可能性のある問題は、練習方法でした。元のトレーニング中、予測子は各ステップを実際のスクリーンショットの埋め込みから開始しました。もしわずかに間違った予測をした場合でも、次の例は実際の次のスクリーンショットから開始しました。計画ではそのようなリセットはありません:2番目の予測は最初の予測から開始し、3番目は2番目から開始し、以下同様です。小さなエラーは、モデルが実際のスクリーンショットの埋め込みとは異なるもので作業するまで累積する可能性があります。

CEMはこれを悪化させる可能性があります。多くのシーケンスを検索し、モデルが目標に最も近いと言うものを優先します。モデルが1つのシーケンスについて特に間違っている場合、その間違いは、検索にとってそのシーケンスが異常に良く見える原因となる可能性があります。失敗した計画だけから正確な間違いを特定することはできませんが、低い予測スコアが信頼するのに十分でないことは明らかでした。

ロールアウトによるファインチューニングと二度目の試み

予測子に自身の誤りでの練習をさせるために、ロールアウトでファインチューニングしました。ロールアウトは実際のスクリーンショットから始まります。予測子は次の埋め込みを推測し、その推測(実際の次のスクリーンショットの埋め込みではなく)を使用して、次のアクションの後に何が起こるかを予測します。これは、いくつかの記録されたアクションにわたって繰り返されます。実際のスクリーンショットはまだ持っているので、それらの埋め込みは各推測をチェックするためのターゲットとして機能します。トレーニングは短いロールアウトから始まり、徐々に長いロールアウトを使用します。画像エンコーダーは固定されているため、ターゲットは移動しません。予測子とアクションエンコーダーのみが更新されます。

12回の将来のステップにわたる測定された予測誤差。

Step 12 MSE: original 0.4224 → fine-tuned 0.3045.

ファインチューニング後、最初の予測は実際には悪化しました。しかし、モデルが自身の推測から予測を続ける必要があった場合、誤差の増加はより遅くなりました。それが私が気にかけていたトレードオフでした:計画は1回のボタンプレス以上で有効でなければなりません。

ファインチューニングされたモデルで再びプランナーを実行しました。それはゼニガメを選択するシーケンスを見つけました。それは12回Aボタンを押すという明白なルートではありませんでしたが。エミュレーターのパーティカウントはゼロから1に変わったので、今回は予測された成功がゲームで起こったことと一致しました。

[画像: Initial state in Oak’s lab]

Starting state

Party count: 0

1つの成功した計画は、これがどれくらいの頻度で機能するかをまだ疑問に思わせました。モデルと開始状態を固定して、100個の新しいランダムシードでプランナーを実行し、結果の各計画をエミュレーターでテストしました。100個の計画のうち52個が最初のポケモンを取得しました。これは、ランダムなボタンシーケンスではゼロ、トレーニングされていない予測子を使用した同じ検索では1でした。学習されたモデルは役立ちましたが、それでもほぼ半分の時間失敗しました。そして、この特定の開始位置からは、Aボタンを繰り返し押すことでもすでに機能します。これらの結果は、ゼニガメの実行が単なる幸運ではなかったという自信を与えてくれますが、モデルがゲームのさらに多くの部分を計画できるようになると信頼する前に、テストすべきことがたくさん残っています。

終わり…?

ブルー(または好みに応じてゲイリー)を倒すことはできませんでしたが、モデルは何かをすることができます。最初から最後までエンドツーエンドでトレーニングされた最終モデルは、約1250万パラメータになりました。これには、まだ試すかもしれない、より興味深いバージョンがあると思います。例えば、オーキド博士の研究室から始まり、オーキド博士のところまで歩いて行き、話しかける――つまり、彼のすべての会話を終えてから、最初のポケモンを選ぶ、といったものです。これは妥当に思えますが、どれくらいのロールアウトになるかはわかりませんし、難易度は計画の長さに指数関数的にスケールすると疑っています。

今のところ、私はゼニガメを持っています。

実装はlePokeRedにあります。

引用

この投稿を参照する場合、引用を検討してください:

Monty Bichouna. Teaching a World Model to Play Pokémon. September 20, 2026.

@misc{bichouna2026pokemonworldmodel,
  author = {Monty Bichouna},
  title = {Teaching a World Model to Play Pokémon},
  year = {2026},
  month = {September},
  url = {https://nostalgia.dev/posts/teaching-a-world-model-to-play-pokemon/}
}

  1. Lucas Maes, Quentin Le Lidec, Damien Scieur, Yann LeCun, and Randall Balestriero. LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels. 2026. arXiv:2603.19312. ↩︎

  2. 私はポケットモンスター 赤(ただし、ポケットモンスター ピカチュウ版はプレイしました)はプレイしませんでしたが、2004年には私の好きなゲームはリメイク版のポケットモンスター リーフグリーンでした。↩︎

  3. ここではかなり単純化しています。例えばメニューで左を押すと現在の選択が左に移動するだけだったり、壁際で移動しようとすると、プレイヤーは実際には左に移動しなかったりします。真に汎用的な世界モデルは、これらの異なるダイナミクスを学習するでしょう。↩︎

  4. 「世界」と「環境」は基本的に同じ意味で使います。↩︎

2026-09-20