LeMario: Super Mario BrosをJEPAワールドモデルで学習させる
LeMario: Training a JEPA World Model on Super Mario Bros (benjamin-bai.com)
要約
この記事では、Super Mario Brosを対象に、ピクセルとアクションから世界のダイナミクスを学習するJoint-Embedding Predictive Architecture (JEPA) のワールドモデル「LeMario」をゼロから構築したプロジェクトについて解説しています。モデルは短期的なゲームの予測には成功しましたが、遠い目標への到達は困難であり、ゲームを予測することと実際にプレイすることは異なるという課題が浮き彫りになりました。
全文翻訳
LeMario: Super Mario Bros.で学習したJEPAモデル
私は、ピクセルとアクションから世界のダイナミクスを学習する小規模なJEPA(Joint-Embedding Predictive Architecture)であるLeWorldModelを再現したいと考えました。元の論文では、これをPush-Tにおける報酬フリーのプランニングに使用していました。しかし、私はビデオゲームが好きで、同時にLeCunのJEPAアーキテクチャについてより深く学びたいと思っていたため、アーキテクチャ全体をゼロから書き、Super Mario Bros.でトレーニングすることにしました。
モデルは、私が当初重要だと考えていたすべてのテストをクリアしました。未学習のエピソードに汎化し、アクションを使用し、強力なベースラインよりも優れた5ステップ先の未来を予測しました。生の報酬フリープランニングは、マリオを近くの画像目標に向かって動かし、ターゲットから2〜5ピクセルの範囲で完了することができました。:D
一瞬、モデルがゲームをプレイできるようになったように見えました。しかし、目標をレベルのさらに奥に移動させると...マリオは最初の大きな障害物を確実に飛び越えることも、単一の遠い目標画像に向かってナビゲートすることもできませんでした。
モデルはゲームを予測することを学んだかもしれませんが、それはゲームを進める方法を学んだことを意味しませんでした。D:
この記事は、技術的な解説と、私が構築したもの、テスト方法、犯した間違い、そして徐々に本当の問題を明らかにした実験についてのポストモーテム(事後分析)の両方です。(ほとんどの教訓は、後から考えると明白です T^T )
アーキテクチャ全体
各方程式を個別に紹介する前に、機械全体を一度に見てみましょう。
[画像: LeMario JEPAアーキテクチャのダイアグラム。ビジョンエンコーダー、アクションエンコーダー、因果予測器、SIGReg目的関数が含まれています]
緑のパスから始めましょう。各トレーニングサンプルには、4つのマリオフレームが含まれています。ビジョンエンコーダーは、各フレームを潜在変数(zz)と呼ばれる192個の数値の表現に圧縮します。
zt=Eθ(xt),zt∈R192
z_t = E heta(x_t), z_t in ext{R}^{192}
潜在変数は、モデルがスクリーンショットをどのようにプライベートに記述しているかと考えることができます。
赤いパスにはコントローラーの入力が含まれています。各観測ペアは5つのエミュレーターフレームで区切られており、各フレームには6つの可能なボタン状態があります。
frames: [batch, 4, 3, 224, 224]
actions: [batch, 4, 5, 6] # Left, Right, Up, Down, A, B
アクションエンコーダーは、各 5 × 6 のボタンシーケンスを別の192個の数値ベクトルに圧縮します。
次に、フレームとアクションの潜在変数が因果予測器に渡されます。そのジョブは、次の質問に答えることです。
前のフレームがどのように見え、どのボタンが押されたかを考えると、次のフレームの潜在変数はどのようになるべきか?
予測器には6つのトランスフォーマーブロックが含まれています。各フレームは前のフレームにアテンションを向けます。しかし、アクションをどのように注入するのでしょうか?
アクションは、Adaptive LayerNorm Zero(AdaLN-Zero)を介してこれらのトランスフォーマーブロックに入力されます。
[画像: AdaLN-Zeroがアクション依存のシフト、スケール、ゲート制御をトランスフォーマーアテンションとMLPブランチに注入する方法を示すダイアグラム]
アクションベクトルをフレームベクトルに単純にアタッチするのではなく、AdaLN-Zeroは各アクションを3種類の制御に変換します。
- シフト: フレーム特徴量にアクション依存のオフセットを追加します。
- スケール: 特定の特徴量を増減させます。
- ゲート: トランスフォーマーが現在の状態をどの程度強く更新するかを制御します。
これらがトランスフォーマーブロックにどのように影響するのでしょうか?通常、通常の注意機構は各フレームに前のコンテキストを与え、それをフィードフォワード(MLP)を通して合成しますが、AdaLNはアクションに応じて両方のステージを変更します。
例えば、ジャンプアクションは、垂直方向の動きに関連する潜在特徴量をスケールアップし、ジャンプの予測にあまり重要でない特徴量をスケールダウンする可能性があります。シフトは、正規化された特徴量を別のアクション依存のベースラインに移動させます。最後に、ゲートは、アテンションまたはMLPの更新が予測状態にどの程度強く影響するかを決定します。
これらの制御は、アテンションブランチとMLPブランチそれぞれに個別に生成されるため、ブロックには合計6つの値(各ブランチにシフト、スケール、ゲート)があります。
「Zero」とは、その重みがゼロから始まることを意味するため、予測器はランダムなアクション効果なしに開始し、トレーニング中にどのゲートを開くかを徐々に学習します。
さて、6つのトランスフォーマーブロックの後、小さなプロジェクションヘッドが3つの予測された未来の潜在変数を生成します。
z^1,z^2,z^3
これらは、3つの実際の次のフレームによって生成された潜在変数と比較されます。
Lpred=MSE(z^1,z^2,z^3,z1,z2,z3)
ここで、この損失を0に下げたいのですが...明らかに、モデルが簡単に不正をする方法があります。すべての潜在変数を同じにすることができます!マリオ、パイプ、新しい世界がすべて同じように見える(表現の崩壊)ため、予測は完璧になります。
そのため、モデルが不正をするのを防ぐために、SIGReg1を使用します!これは、実際のフレームの潜在変数を多様で情報量の多い状態に保つことを奨励することで、この崩壊を防ぎます。したがって、新しい損失関数は次のようになります。
L=Lpred+0.1LSIGReg
これがアーキテクチャ全体です!それでは、実際の結果に移りましょう。
本当に学習したのか?
LeMarioは、32のマリオレベルにわたる280エピソードから737,134フレームでトレーニングされました。モデルが学習したことを確認するために、損失が低いかどうかだけを見ることはできませんでした。損失が低いだけでは、ダイナミクスを学習したことを証明するには十分ではありませんでした。近くのフレームはしばしば非常に似ているため、「何も変化しない」と予測することは強力なベースラインでした。
未学習のエピソードで、LeMarioをそのパーシステンスベースラインおよびシャッフルされたアクションとペアになった実際のフレーム履歴と比較しました。
| Method | One-step error | Five-step error |
|---|---|---|
| LeMario | 0.013773 | 0.077717 |
| Predict no change | 0.014472 | 0.142473 |
| Shuffle the actions | 0.016555 | 0.114648 |
アクションをシャッフルすると、1ステップのエラーが20.2%増加しました。5つの再帰ステップ全体で、LeMarioはパーシステンスを45.5%上回り、シャッフルされたアクションは47.5%悪化しました。予測が遠くなるほど、ボタンが重要になりました。
LeMarioは、プレイヤーのアクションに条件付けられた短期的なマリオのダイナミクスを学習していました!
コントローラーに触れさせる
さて、楽しい部分です。モデルが未来を想像できるようになったら、それらの未来を検索し、マリオに何をするかを選ばせることができます。
想像を通して検索する
アクションごとに1フレーム先を予測するだけのモデルを、複数アクションと未来のステップを予測できるものに変えるために、クロスエントロピー法を使用しました!
現在の画像 xt と目標画像 xg が与えられると、エンコーダーは zt と zg を生成します。CEMは次の手順を実行します。
- 数百のアクションシーケンスをサンプリングします。
- LeMarioを通して各シーケンスを順方向にロールアウトします。
- 予測された最終潜在変数を zg に対してスコアリングします。
- 最良の候補を保持します。
- それらの周りで再サンプリングし、繰り返します。
[画像: クロスエントロピー法がLeMarioの想像上の未来を通して計画する様子を示すダイアグラム]
CEMは、ランダムな候補よりもはるかに低い予測目標距離を持つアクションシーケンスを見つけました。私は想像できるモデル、その想像を検索できるオプティマイザー、そして報酬エンジニアリングを必要としない目標画像を持っていました。それは素晴らしかったです。
それからマリオはほとんど動かなかった
[画像: 生のJEPAとCEMがマリオを近くの目標に向かってほとんど動かさないアニメーションロールアウト]
私は小さな目標から始めました。マリオは x=40 から開始し、目標フレームは彼が x=72 にいることを示していました。生のJEPA+CEMは x=44 で終了しました。
平易な言葉で言えば、それはひどかったです。
この時点で、どの部分が失敗したのか分かりませんでした。予測器が間違っていたのかもしれないし、CEMが壊れていたのかもしれないし、エンコーダーがマリオを完全に無視していたのかもしれません。最も単純な質問から始める必要がありました。その192個の数値にはマリオの位置が含まれていたのでしょうか?
192個の数値の中に何が入っているのか?
潜在変数はわずか192個の数値です。エンコーダーを変更せずに、どのような情報が含まれているかを尋ねる方法が必要でした。
マリオを忘れたのか?
JEPAをフリーズし、マリオのエミュレーター座標を潜在変数から回復するために小さなプローブ2をトレーニングしました。エンコーダーは変更できなかったため、プローブが回復した位置は、JEPAがすでに学習した情報でなければなりませんでした。
horizontal position: MAE = 9.30 px, R² = 0.997
vertical position: MAE = 21.62 px, R² = 0.188
プローブは機能しました!マリオの水平位置はほぼ完璧に回復可能でした。垂直方向の状態ははるかに弱かったですが、エンコーダーは明らかにプレイヤーに関する有用な情報を学習していました。
すべてを「修正」したプローブ
CEMの想像上の未来を、プローブによって予測された水平位置を使用して一時的にスコアリングしました。LeMarioはまだ未来を想像し、CEMはまだアクションを選択していましたが、プローブは未来のランク付け方法を変更しただけでした。
x=72 のターゲットに対して、プローブでスコアリングされたCEMはマリオを x=40 から x=71 に移動させました。ローカルリプランニングにより、後に x=177 の目標に対して x=176 に到達しました。
[動画]
これは機能した最初のロールアウトでした!JEPAモデルは有用な水平方向の動きを想像でき、プローブはその動きを見つけることができました。
これにより、潜在変数プランニングは理論上機能するはずだと確信しました。マリオの位置がすでに表現に含まれており、学習されたダイナミクスがそれを動かすことができたなら、最初の目標は開始フレームに単純に似すぎただけかもしれません。
レベルの半分先の目標を試す
プランナーのジョブは、2つの埋め込みを接続するアクションを見つけることでした。開始フレームと近くの目標がすでに似た埋め込みを持っていた場合、ほとんど何もしないことが成功のように見える可能性があります。そのため、教師ありプローブを削除し、ワールド1-1、2-1、3-1の半分程度に到達可能な目標画像で生の潜在変数プランニングを再度試しました。
レベル3-1の例を取りましょう。今回はマリオははるかに遠くまで移動しました。x=40 から x=44 に行く代わりに、3回の実行で約 x=290–307 に到達しました。彼らはまだ最初の意味のある危険地帯で死にましたが、生の潜在変数プランニングはもはや何もしていませんでした。
| Start | Goal | JEPA + CEM |
|---|---|---|
| [画像: World 3-1プランニング実験の開始フレーム] | [画像: World 3-1プランニング実験の目標フレーム] | [動画] |
CEMは私が求めたことを正確に行いました:2つの埋め込みを接続するアクションを検索しました。より遠い目標は、潜在変数空間に十分な圧力を生み出し、マリオを動かす原因となりました。
しかし、マリオはまだ目標から1,442ワールドピクセル離れていましたが、エンコーダーは最終シーンにわずか 0.164 の潜在変数距離を割り当てました。CEMは 0.153 を予測していたため、予測器はひどく幻覚を見ていたわけではありません。エンコーダー自体は、(上記の開始フレームと目標フレームで見られるように)間違ったシーンをかなり近いと考えていました。
マリオのスクロールカメラがその理由を説明しています。2つの遠い場所は、ゲーム内の2つの異なる場所であるにもかかわらず、非常に似ているように見えることがあります!したがって、モデルは実際にその仕事をしていたのです。それは「目標」への道を見つけたと信じていましたが、実際には目標埋め込みに似た場所に閉じ込められていただけでした。
分かった、目標を小さくする
そこで、小さなチェックポイントに分割すればフレーム間の違いが大きくなるだろうと理論化し、人間の実行を中間画像目標に分割しました。これは役立ちました。生の潜在変数プランニングは x=314 に到達し、プロジェクトで最もプローブフリーの進歩を遂げました。
しかし、それでも短い目標は表現を意味のある形で修正しませんでした。
マリオは最初のターゲットに2ピクセル以内で到達しました。2番目のターゲットでは、彼は x=283 まで行き過ぎ、後方に修正し、参照から5ピクセル離れた x=239 で停止しました。
[動画]
視覚的には、マリオは正しい場所に到達していました。しかし、ベンチマークは最終的な埋め込みが目標埋め込みほど近くなかったため(おそらくHUDやその他の小さな詳細のため)、チェックポイントを失敗とマークしました。
これは、距離が問題の一部に過ぎないことを示しました。より小さな目標はマリオがより遠くまで移動するのを助けましたが、潜在変数距離は彼が到着したかどうかを判断するのに依然として脆い方法でした。
次の目標ではマリオがジャンプする必要があり、プランナーは再び失敗しました。これは以前のプローブの結果と一致しており、水平位置はよく表現されていましたが、垂直位置ははるかに弱かったです。
より小さな目標は、プランニングホライゾンを助けました。それらは潜在変数距離を進歩の信頼できる尺度にはしませんでした。
この時点で、失敗はもはや無関係に見えなくなりました。それらは3つの主な問題を示していました。
予測状態と制御状態は異なる
エンコーダーは、未来の画像を予測するのに役立つものを表現することに報酬を与えられます。カメラ位置、敵のフェーズ、アニメーション、タイマーの状態などが役立つ可能性があります。
コントローラーには異なるもの、つまり距離が制御可能な進歩に対応する状態が必要です。
CEMはモデルの弱点を検索する
CEMは私が求めたことを正確に行いました。LeMarioが目標に到達すると信じているアクションを見つけました。モデルが間違っていることを認識できませんでした。
これにより、モデルの弱点が明らかになりました。視覚的に似た場所を同じ場所として扱い、垂直方向の動きを推論するのに苦労しました。
マリオはPush-Tの背後にある仮定を変更した
Push-Tは、専門家の軌道からの近くの目標、固定カメラ、スムーズな動き、そして視覚的な類似性が進歩と一致するシーンを使用しました。そのモデルは20,000の専門家のエピソードで10エポックトレーニングされました。
LeMarioは、32レベルにわたる280エピソードで1エポックトレーニングされました。近くの目標は半レベル先にありました。固定カメラはスクロールカメラになりました。スムーズな動きは、勢い、ジャンプ、穴、敵、アニメーション、そして死になりました。
アーキテクチャをコピーしましたが、そのプランニングルールを機能させたいくつかの条件を変更しました。それらが方法の成功に不可欠であったことに気づきませんでした。
どこに着地したか
LeMarioはSuper Mario Bros.を完璧にプレイすることを学習しませんでしたが、それでも短期的な、アクション条件付きのダイナミクスを捉えることができました。
振り返ってみると、多くの間違いは後から考えると明白です。私はアーキテクチャ自体を再現することに過度の重点を置き、データセット、環境、評価、そして根本的な仮定が同等に重要であるという事実を見落としていました。
また、予期しない結果は実験の終わりを示すものではないことを学びました。マリオがほとんど動かなかったとき、私はシステムの各コンポーネント(予測器、表現、プランナー、評価指標)を分離し、個別にテストする必要がありました。各失敗とフォローアップ実験は、問題とモデルの両方についての私の理解を深めました。
将来の研究プロジェクトでは、中心的な仮定をより早期に検証し、任意のメトリックを信頼する前に単純なベースラインを確立し、トレーニング損失を最適化するだけでなく、実際に気にかけている動作を中心に評価を設計したいと考えています。
LeMarioは、私が最初に想像したマリオエージェントにはなりませんでした。しかし、それはワールドモデル研究の分野への良い入門となりました。
付録
1 SIGReg
SIGRegは、エンコーダーがすべてのフレームを同じ潜在変数にマッピングするのを防ぎました。実際のフレームの潜在変数が多様で、ほぼガウス分布を維持しているかどうかを確認しました。
192-dimensional JEPA latents
→ project onto 1,024 random directions
→ evaluate each projection at 17 points
→ compare with a standard Gaussian
→ average the errors
SIGRegは、バッチ全体で各タイムステップに独立して適用されました。
2 位置プローブ
プローブはJEPAをファインチューニングしませんでした。エンコーダーをフリーズし、60の世界1-1の軌跡を収集し、完全な軌跡をトレーニングセットと検証セットに分割しました。これにより、3,203のトレーニング潜在変数と859の未学習の潜在変数が生成されました。
MLPは意図的に小さくしました。
192-dimensional JEPA latent
→ Linear(192, 128)
→ GELU
→ Linear(128, 2)
→ predicted (x, y)