HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

600回の実験を経て、JEPAワールドモデルについて発見したこと

After 600 experiments, here's what I discovered about JEPA world models (haddyalchaer.com)

278 pointsby halcdev46 コメント

要約

この記事は、AI分野におけるワールドモデルの議論で注目されているJEPA(Joint-Embedding Predictive Architecture)に焦点を当てています。筆者は、JEPAワールドモデルであるLeWMを用いた600回以上の実験を通じて、予測モデルの精度よりも、計画戦略の改善がタスク成功率に大きく寄与することを発見しました。特に、サブゴール設定やメモリグラフの活用、ゴール定義の柔軟化といった手法が、モデルの再学習なしで性能を大幅に向上させることを示しています。

全文翻訳

600回の実験を経て、JEPAワールドモデルについて発見したこと

ワールドモデル · JEPA · プランニング

Haddy Alchaer 著 · 2026年11月

追加トレーニングなしで長期間のタスクを解決する

0/24目標達成 · ステップ 0

バニラのLeWMは、分布外の目標に対しても長期間の物理タスクを解決するように拡張できます。この手法は、メモリグラフの変換を使用して、追加のトレーニングなしでオンザフライでサブゴールを生成します。ここに示されているのは、それが解決した最も困難なタスクの一部です。

現在、AI分野ではワールドモデルとは何かについて大きな議論があります。ほとんどの注目は、未来を予測、通常はピクセルで生成することによって予測する生成ワールドモデルに集まっています。ヤン・ルカンを含む多くの科学者は、これが無駄な努力だと主張しています。ピクセルのほとんどは、何をするかを決定するために重要ではなく、多くは全く予測できません。[1]

提案されている代替案はJEPA、すなわちjoint-embedding predictive architectureです。これは、エンコーダー、予測器、プランナーの3つの部分からなります。エンコーダーは、観測の各フレームを学習された埋め込み、すなわちシーンを説明するコンパクトなベクトルに変換します。予測器は、その埋め込みとアクションを受け取り、次のフレームの埋め込みを予測します。プランナーは、予測器内で数百のアクションシーケンスをテストし、その予測された終了状態が目標の埋め込みに最も近いものを選びます。ループ全体は埋め込み空間で実行されるため、モデルはアクションの決定に重要なシーンの部分のみを学習すれば済みます。

[画像: 知覚: ブロックの塔が数字の列、その埋め込みに変換される。][画像: 予測: 埋め込みとアクション(ロボットの手が塔を打つ)が、崩壊する塔の埋め込みを与える。][画像: プランニング: 塔から、多くの分岐するアクションシーケンスが未来に広がる。プランナーは、ブロックで作られた家である目標で終わる分岐を選ぶ。]

JEPAワールドモデルの3つの部分。

今年、ルカンを含むチームはLeWM [2] をリリースしました。これは、その主なベンチマークがPush-T [3] であるJEPAワールドモデルです。Push-Tは、ロボットが灰色のT字型ブロックをテーブル上で押して、T字が目標画像に示された緑色の目標位置に収まるシミュレーションです。私は過去数ヶ月間、これについて600回の実験を行ってきました。

Push-Tの目標画像

プランナーはこのような画像を与えられ、シーンをそれに一致させる必要があります。灰色のTはブロック、青い円はロボットのプッシャー、緑のTはテーブルに描かれた目標位置です。この画像の詳細の1つが、予測器をシミュレートされた物理学に置き換えるよりも成功率に大きく影響することが判明しました。

私が最初に知りたかったのは、LeWMが予測によってどれだけ制約されているかということだったので、予測器をシミュレータの完全な物理学に置き換え、他のすべてはそのままにしました。その後、両方のバージョンに長期間のタスク(目標まで75ステップ)と、同じサブゴール(25ステップごとに1フレーム)を与えました。バニラのLeWMは78%の時間で成功しました。真の物理学を使用したバージョンは77%で成功しました。学習されたパスの種類では、LeWMの予測はすでにプランニングにおいて完全な物理学と同等です。

250の長期間タスクでの成功

78%
バニラ LeWM
学習済み予測器
77%
LeWM 真の物理学
シミュレータ自体

つまり、JEPAワールドモデルの次の進歩は、学習されたアーキテクチャの使用方法にあり、私の600回の実験のほとんどはそこに費やされました。

モデルを一度も再学習することなく、4つの新しい計画方法を見つけました。最初の2つを組み合わせることで、長期間タスクでのLeWMの成功率を22%から85%に向上させました。これは、専門家のデモンストレーションから理想的なサブゴールを与えられたプランナーと同等です。他の2つの方法はLeWMをより困難な目標に拡張し、そのうちの1つ(目標のスコアリング方法の単一の変更)は、完全な物理学への置き換えよりも3倍多い60ポイント成功率を向上させました。

1. 25ステップごとのサブゴールによる計画

公開されたとおりにそのまま使用すると、LeWMは長期間タスク(目標まで75ステップ)の22%で成功します。[2] 目標が25ステップ先の場合、90.5%の正確な物理学バージョンとほぼ同等の89.7%の時間で到達します。

したがって、モデルは25ステップでは正確ですが、75ステップでは苦戦します。一般的な説明は、小さな予測誤差が長い計画で累積するというもので、これはより良いモデルを必要とすることになります。私は同じ250の長期間タスクで、これを代替案と比較してテストしました。

250の長期間タスク、目標まで75ステップ

LeWM、全75ステップを一度に実行(公開版)
22%
正確な物理学、全75ステップを一度に実行(シミュレータ自体)
42%+20
LeWMに25ステップごとの新しいサブゴールを与える(同じモデル、短いホップ)
80%+58
0 25 50 75 100%

正確な物理学は20ポイント追加しました。タスクをLeWMがほぼ完璧に処理できる25ステップのセグメントに分割すると、ほぼ60ポイント追加されました。LeWMの有用な計画ホライズンは約25ステップなので、さらに遠くまで行く方法は、その長さのセグメントを連鎖させることであることが明らかでした。

LeWMの計画ホライズンは約25ステップです。

全75ステップを一度に計画… 1回の探索、遠い目標
22%
25ステップごとのサブゴール… 3回の短い探索
80%

サブゴールを通じて25ステップの探索を連鎖させることで、各探索はLeWMが正確な範囲内に保たれます。

これは階層的計画です。高レベルがサブゴールを選択し、低レベルがそれらを達成します。これはワールドモデルにおける主要な未解決問題の1つと広く考えられており、Push-Tでは完全な物理学への置き換えの3倍の価値があります。

追加の探索はそれを代替しません。プランナーを4回実行し、最もコストの低い計画を保持しても、計算量は4倍になり、1ポイント未満しか追加されませんでした。これは、4回の実行がほとんど常に一緒に成功または失敗したためです。

この実験のサブゴールは専門家のデモンストレーションから得られたものであり、展開されたロボットはそれを持っていません。2番目の方法では、その依存関係が除去されます。

2. 各ジャンプにコストがかかる潜在メモリグラフ

LeWMはタスクの専門家デモンストレーションで学習され、そのエンコーダーはそれらの各フレームを埋め込むことができます。これにより、約460,000の埋め込み状態が得られ、それらをグラフに接続しました。各状態は、そのデモンストレーション内の後続の状態と、埋め込み空間で近い他のデモンストレーションの状態にリンクされます。長期間タスクを解決するために、プランナーはこのグラフを現在の状態から目標までのパスを検索し、そのパス上の状態をサブゴールとして使用します。

これは、埋め込み空間の距離が物理的な意味を持つ場合にのみ機能し、それは機能します。25ステップ以内に到達できるサブゴールとできないサブゴールを1つずつ取り上げると、LeWMの埋め込み距離は到達可能な方を87%の時間で近いとランク付けします。したがって、埋め込み空間はロボットが到達できるもののマップとしても機能します。

最初のバージョンには欠陥がありました。2つの異なるデモンストレーションの近くの状態間のジャンプは、実際のステップと同じコストがかかったため、検索はジャンプをブロックが決してたどれないパスに連結しました(試行された1,015の計画のうち318が6つ以上のジャンプを使用しようとしました)。修正は、グラフ内のデモンストレーション間の各ジャンプにコストを追加することでした。過去のデモンストレーションのLeWM自身の埋め込みのみを使用して、同じ250の長期間タスク(目標まで75ステップ)での成功率は62%から85%に向上しました。これは、専門家のサブゴールを使用したプランナーが受け取ったスコアと同じです。これ以上良くなることはないですよね?

デモンストレーションのメモリを通じた計画

開始目標

各細いパスは1つのデモンストレーションです。自由なジャンプでは、最短ルートはデモンストレーション間をホップしてブロックが物理的にたどれないパスになります。ジャンプごとにコストがかかる場合、パスはそれに沿って維持されます。

標準のPush-Tテストは見た目よりも簡単です

注意点として、標準テストではデモンストレーションが提供され、ロボットはその途中で開始され、目標は同じデモンストレーション内の固定ステップ数に設定されます。これは合理的な設計ですが、Push-Tではすべてのデモンストレーションがブロックを同じ場所に終わらせます。したがって、すべてのテスト目標は、デモンストレーションがすべて終わる場所に向かうパス上にあります。標準テストの目標の84%では、メモリグラフはすでに他のデモンストレーションからほぼ同一の状態を保持していました。

デモンストレーション、すべてほぼ同じ場所に終わる標準テストの目標他のデモンストレーションからの目標

通常のサンプルも小さいです。公式の50エピソードでは、LeWMは目標が50ステップ先の場合に68%の時間で成功しました。同じ方法で描かれた250の新しいエピソードでは、成功率はわずか44%でした。プランナーのランダムシードを変更しただけで、250エピソード中38エピソードが成功と失敗の間で切り替わりました。

そこで、私はより困難なテストを作成することにしました。各タスクは1つのデモンストレーションから開始し、別のデモンストレーションから目標を取得するため、ロボットは単一のデモンストレーションで接続されていない状態間を移動する必要があります。ブロックが最後の10ステップターゲットに留まった場合にのみ成功とみなされます。これらのルールでは、メモリグラフプランナーは標準タスクで75%の時間、新しいタスクで45%の時間成功します。私が発見した3番目と4番目の方法は、そのギャップに対処します。

3. 変換されたメモリでメモリのギャップを埋める

メモリグラフは、そのカバレッジと同じくらい優れています。目標の近くのすべての保存された状態を削除すると、成功率は93%から32%に低下しました。

Push-Tはここで有用な対称性を持っています。テーブル全体をシフト、回転、またはミラーリングしても、ブロックを押す物理学は変わりません。したがって、グラフに目標の近くの状態がない場合、他の場所からデモンストレーションセグメントを取得し、ギャップに合わせて変換して、それらを介して計画することができます。これらの変換されたセグメントにより、成功率は85%に戻りました。また、それらは小さなメモリを長く伸ばします(デモンストレーションの1%から構築されたグラフと変換されたコピーは、10%から構築されたグラフとほぼ同等でした)。

メモリのギャップを変換されたデモンストレーションで埋める

他の場所からのデモンストレーションセグメント同じセグメント、シフト、回転、またはミラーリング

ブロックがターゲットに到達した、250の長期間タスク(目標まで75ステップ)

93%完全なメモリ
32%目標の近くの状態を削除
85%回転およびミラーコピーで埋められたギャップ

より困難なテストでは、変換されたセグメントは成功率を45%から56%に向上させ、デモンストレーションが最も薄い場所で最も効果を発揮します。目標がデータの流れの方向にある場合、メモリグラフプランナーはすでに69%の時間で成功します。反対方向にある場合、プレーンメモリは27%、変換メモリは46%になります。

より困難なテスト、目標の位置による

約83タスク/行

目標がデモンストレーションの流れにある場合
69%
目標がその横断にある場合
39%54%
目標がその逆にある場合
27%46%
0 25 50 75 100%
成功率
プレーンメモリ変換セグメント付き

4. コストが「間違っていた」

ブロックをどこにでも配置し、任意の目標を選択できるインタラクティブデモも作成しました。目標は画像である必要があり、シーンの画像はプッシャーがどこかにあることを示す必要があるため、プッシャーを目標のすぐ後ろに配置しました。ある実行では、ロボットはブロックをターゲットから14ピクセル以内に押し、解決とみなすのに十分な近さでした。その後、ブロックを目標から離し、プッシャーを目標画像にあったプッシャーの位置に向かって移動させ続けました。

より困難なテストの目標は専門家のデモンストレーションからのフレームであるため、それぞれがその瞬間の専門家のプッシャーの位置も示しています。予測全体を目標画像全体と比較するプランナーは、プッシャーもそこへ配置しようとしています。

これがどれほど重要かを測定するために、モデルを排除しました。より困難なテストからの同じ50タスクに対して、正確な物理学プランナーを2回実行しました。唯一の違いは、そのコストにブロックの位置だけでなくプッシャーの位置が含まれるかどうかでした。

ブロックがターゲットに留まった、同じ50タスク

正確な物理学プランナー

ブロックとプッシャー
9 / 50
ブロックのみ
39 / 50
どちらかのコストで成功30プッシャーなしでのみ成功0プッシャーを含めてのみ成功

プッシャーを除外したことで、30タスクが失敗から成功に変わりましたが、その逆はありませんでした。このような分割は、偶然に約10億回に2回発生します。ここでの物理学は実際のシミュレータからのものであり、予測されたものではありません。したがって、成功率の4倍の増加は、目標がどのように作成されたかによります。

プッシャーをスコアリングしたプランナーは、まさに求められたことを実行しました。反転した30タスクでは、プッシャーを目標画像が配置した位置から半ピクセル以内に到達させ、その過程でブロックを失いました。ブロックとプッシャーの両方を正確な目標位置に配置することは、はるかに難しい問題です。

プッシャーを含む vs 含まない

コストはブロックとプッシャーを比較します
コストはブロックのみを比較します
ブロックのターゲット目標画像がプッシャーを置いた場所

しかし、LeWMは単純にプッシャーを無視するように指示することはできません。それは、2つの埋め込み間の距離で計画をスコアリングし、目標画像の埋め込みはブロックとプッシャーを一緒に保持し、ラベル付けされた「プッシャー」部分はありません。そこで、テストとして、プランナーがプッシャーを検索することでどれだけ進むかを測定しました。これは、各予測を、ブロックが同じ場所にあり、プッシャーが保存されたデモンストレーションから取られた位置に移動された目標画像の16のバージョンと比較し、最も近い一致を保持します。これにより、モデルの再学習なしで、より困難なテストでのLeWMの成功率が11%から23%に倍増しました。

1つの目標の16のバージョン

予測された終了状態

プッシャーが移動された目標の16のコピー、最も近いものがコストを設定します

これはどのロボットにも適用できます。なぜなら、目標は単一の画像のコピーではなく、単に終了状態のセットであるべきだからです。「カップを棚に置く」は、ロボットのアームがどこに終わっても解決されますが、目標画像は1つのアーム位置を選択し、プランナーにそれを一致させます。良い目標は、タスクを解決するすべての終了状態を受け入れ、それでもロボットからタスクが必要とするもの(終了時の静止など)を含みます。

良いニュースは、大規模なデモンストレーションセットには、同じオブジェクトが同じ場所にある多くの実際のフレームがすでに含まれており、それぞれロボットの位置が異なることです。計画を最も近い目標に対してスコアリングすることで、計画可能な有効な終了状態のより大きなセットが可能になります。

次に来るもの

これらの4つの発見のいずれも、モデルの重みを変更しません。それらは公開されているLeWMに適用され、同じように計画するより大きなJEPAワールドモデルに、追加のトレーニングコストなしで引き継がれるはずです。

残された最大の未解決問題は、完璧なデモンストレーションがないタスクへの一般化です。より困難なPush-Tテストでは、最高のプランナーはブロックを56%の時間ターゲットに保持し、残りの失敗のほとんどはデータの方向と逆行する目標です。そのギャップを埋めるには、デモンストレーションを超えた独自のサブゴールを提案できる高レベルのシステムが必要であり、これまでのところPush-TでフラットなLeWMと同等またはわずかに上回るだけのH-JEPA [4] のような今日の学習済み階層よりも優れている必要があります。

LeWMの上に階層的サブゴールプランナー

メモリ内のデモンストレーションメモリから取られたサブゴールデータ外の目標

当初、LeWMの予測がボトルネックになると想定していましたが、数時間でトレーニングできるほど小さいJEPAは、すでにシミュレータ自体と同等の予測性能を持っており、計画方法を変更するだけでいくつかの利点が得られます。まだできないのは、デモンストレーションがない場所で独自のサブゴールを選択することです。それが現在取り組んでいることであり、さらに見たい場合は、まずX(@haddyalchaer)で投稿します。

参考文献

  1. [1] Y. LeCun, A Path Towards Autonomous Machine Intelligence. OpenReview, 2022.
  2. [2] L. Maes, Q. Le Lidec, D. Scieur, Y. LeCun, and R. Balestriero, LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels. arXiv:2603.19312, 2026.
  3. [3] C. Chi et al., Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS, 2023.
  4. [4] W. Zhang, B. Terver, M. Rabbat, Y. LeCun, and R. Balestriero, H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning. arXiv:2610.06805, 2026.