HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

汎用的な目標条件付きMinecraftモデル

A General Goal-Conditioned Minecraft Model (pantograph.com)

24 pointsby agajews9 コメント

要約

Pantographは、インターネットスケールのビデオデータを用いた事前学習により、目標指向の行動を学習する汎用的なロボティクスモデルを開発しました。この手法は、従来の事後学習に比べて、複雑な目標達成能力を大幅に向上させます。特にMinecraftを対象とした40億パラメータモデル「Pan」は、戦闘、探索、建築などの多様なタスクで高い汎化性能を示し、既存のモデルを凌駕する結果を出しています。

全文翻訳

汎用的な目標条件付きMinecraftモデル

Pantographでは、数時間自律的に行動できる、完全に汎用的なロボティクスモデルのトレーニングに取り組んでいます。特にロボティクス分野では、多様なデータを大規模に取得することが困難です。インターネットの動画データから行動を学習することで、モデルは小さな行動データセットに限定されるのではなく、計算能力に合わせてスケールアップできるようになります。

この研究では、インターネットスケールの動画での事前学習を通じて、目標指向の行動を学習するためのシンプルな手法を開発しました。

通常、目標指向性は事後学習フェーズで教えられますが、これは汎化の範囲を制限します。ここでは、インターネットスケールの動画での事前学習中に目標指向性を学習することで、モデルが複雑な目標を達成する能力を大幅に向上させています。

ビデオゲームはロボティクスの有用なテストグラウンドです。Minecraftから始めるのは、それがオープンエンドであり、多様で長期間の目標を指示できるためです。11このモデルは1つのゲーム内でのみ行動できますが、今後数ヶ月でより広範な視覚環境にわたる大規模なモデルをトレーニングする予定です。↩ Panと呼ぶ私たちの最大のモデルは、4Bパラメータモデルで、モブと戦ったり、特定のオブジェクトを見つけるために探索したり、挑戦的なプラットフォーム環境をクリアしたり、指示された通りに構造物を構築したりできます。これまでに見たことのない非常に多様な環境にも汎化できることがわかりました。

強化学習は、人間を超えるモデルを生み出すことができるため、興味深いものです。もし大規模な強化学習を動画で行うことができれば、多くの分野で同時に人間を超えるモデルを生み出すことができるかもしれません。

強化学習:観測のみのデータから

インターネットスケールの動画を、観測のみの強化学習トラジェクトリーとして捉えます。22この見方は一部のモダリティには適していますが、そうでないものもあります。例えば、ほとんどのテキストデータは、エージェントが環境と対話している様子を書き起こしたトランスクリプトとして見ることはできません。しかし、音声にはおそらく有効でしょう。↩ この種のデータから強化学習を行うのは困難です。なぜなら、報酬と行動が欠けているからです。しかし、両方に対する簡単な解決策があることがわかりました。

目標条件付けは、報酬関数を指定する必要性を回避する簡単な方法です。そのアイデアは、動画の後半で起こることを前半の目標として使用することです。これは、時折hindsight relabelingと呼ばれるトリックです。33Marcin Andrychowiczら、『Hindsight Experience Replay』、NeurIPS 2017。↩ これは、ある目標に対する失敗だったかもしれないものを、実際に起こったことに対する成功として再ラベル付けするためです。原理的には、動画の後半で起こることのどんな記述でも目標として使用できますが、この研究では動画のフレームを目標として使用することに焦点を当てています。

動画には行動が含まれていませんが、状態にのみ依存する関数を動画から学習することは依然として可能です。これには、目標条件付きRLにおいて、目標フレームがエージェントの将来で達成される確率、および目標条件付きポリシーの次のフレーム分布を表す値関数44通常、値関数は特定のポリシーに結び付けられています。この非常に一般的な設定では、任意の数のポリシーが任意の種類の環境で動作するため、特定の動画内のポリシーの傾向とスキルレベルを推測するために、インコンテキスト学習を使用する方が理にかなっています。このように、単一のモデルをトレーニングでき、任意のポリシーの行動を評価できる汎用的な値関数として機能します。↩ および次のフレーム分布55これら両方は、尤度ベースのモデル、エネルギーベースのモデル、対照学習など、さまざまな方法でモデル化できます。これらの異なるアプローチ間のトレードオフを研究する将来の作業に期待しています。↩ が含まれます。

この行動に依存しない事前学習の後、少量の行動を含むデータセットを使用して、環境内で行動できるエージェントを生成できます。66強力な値関数があれば、行動を学習することははるかに簡単な問題になります(Richard S. SuttonとAndrew G. Barto、『Reinforcement Learning: An Introduction』、第2版、MIT Press、2018)。値関数は、強化学習の非常に困難な多段階意思決定問題を、一般的に扱いやすい単一ステップの意思決定問題に効果的に変換します。↩

動画をRLトラジェクトリーとして見るこのレンズは有望であり、まだ探求されていない多くのアイデアがあります。もしこれが興味のある仕事であれば、私たちと一緒に働きませんか!

Pan-4bのさまざまな環境でのロールアウトの選択。上はロールアウト動画、下はモデルに指示された目標画像です。

トレーニング

約50万時間の多様なMinecraftゲームプレイ動画で、目標条件付きモデルファミリーをゼロから事前学習しました。その後、動画と行動シーケンスの両方を含む、約2千時間のコントラクター(作業員)のトラジェクトリーで事後学習しました。事前学習は行動に依存せず、行動空間は事後学習中にのみ導入されます。(詳細は付録を参照。)

評価

104個の評価環境のスイートを作成しました。各環境は、初期のMinecraftセーブワールドと目標のセーブワールドで構成されます。ロールアウトごとに目標セーブワールドを1回ロードし、そこから単一の目標画像をレンダリングしてモデルのプロンプトとします。環境に応じて、プログラムベースと大規模言語モデルベースの評価器を組み合わせてモデルのパフォーマンスを評価します。

比較

Minecraft用のオープンソースの目標条件付きポリシーであるSTEVE-1と比較しました。STEVE-1の目標条件付けは、OpenAIがインターネット動画に推定行動をラベル付けするために使用した逆動力学モデルで事前学習されたVPTの上に、コントラクターデータセットでの事後学習から来ています。88Shalev Lifshitzら、『STEVE-1: A Generative Model for Text-to-Behavior in Minecraft』、2023年。およびBowen Bakerら、『Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos』、2022年。↩

また、Panに使用したのと同じコントラクター軌跡の事後学習データセットでVLAベースラインをトレーニングしました。このVLAモデルは、動画入力に対応した最も強力なオープンソース言語モデルの1つであるGemma 4から初期化されました。77Google DeepMind、『Gemma 4 model card』、2026年。↩ 合計すると、Gemma 4には私たちがトレーニングしたモデルよりもはるかに多くの計算量が投入されましたが、私たちのモデルは事前学習を通じてより多くのMinecraftデータを目にしている可能性が高いです。

結果

カテゴリ別のパフォーマンス

Pan-4B
STEVE-1
VLA

各カテゴリの環境全体での平均スコア。すべての環境を均等に重み付けしています。エラーバーは95パーセンタイルブートストラップ信頼区間です。

目標条件付き事前学習でトレーニングされたモデルは、多様で分布外の目標も含め、評価ワールドで目標を達成する能力が向上しています。モデルサイズは、メカニズムのような複雑で意味的なものや、構築のような器用なタスクにおいて最も重要であることがわかりました。私たちのモデルは一部のメカニズム(バケツ、火打石と火打石、作物、釣り)を学習しましたが、他のメカニズム(レバー、エンダーパール、動物の調教)は学習しませんでした。さらなるスケールアップからどのような能力が現れるかを見るのが楽しみです。

基本

まず単純なことから始めます。モデルの少し前にある目標を指示した場合、モデルは目標フレームを全く気にするでしょうか?そこに留まるでしょうか?Panモデルは目標位置まで歩き、ロールアウトの残りの間そこで振動し、目標フレームに完全に合わせようとしているように見えます。これを「ゴールダンス」と呼び、モデルが目標を達成したと考えていることを示す有用な指標です。STEVEとVLAは、これらの単純なタスクでは一貫性が低く、目標から離れてさまよう傾向がありますが、時々目標を達成することもあります。

村まで前進

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
85.7%

STEVE-1
16.5%

VLA
18.7%

環境

Minecraftでは、自分の下に塔を建てることは、前進することとほぼ同じくらい基本的であり、すべてのモデルがそれを実行できます。私たちのモデルは、より忠実な目標追従を示しています。STEVEとVLAは指示された画像よりもはるかに高く塔を建てますが、Panモデルは指示された高さで頻繁に停止します。

小さな塔

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
70.8%

STEVE-1
6.7%

VLA
14.9%

環境

ウールでできたターゲットを見たり、金色のパネルに向かってプールを泳いだりするような、シンプルだが珍しい目標はどうでしょうか?これは実行しやすいですが、トレーニング分布ではあまり一般的ではありません。ここでは、モデルファミリー間の違いが大きくなります。Panモデルはより目標指向性が高いです。

ウールターゲット

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
99.4%

STEVE-1
1.0%

VLA
3.2%

環境

構築

目標フレームに表示される最終構造の量、使用される材料、および評価開始時に構築されている量を変えて、さまざまな設定で構築能力をテストします。この難易度レベルでは、STEVEとVLAはほとんど意味のある行動を実行できません。私たちのモデルファミリー内では、スケールによって大きな違いが見られます。Pan-4Bは 34.7% 95% CI [32.0%, 37.4%]、Pan-2Bは 26.9% 95% CI [24.4%, 29.4%]、Pan-200Mは 13.9% 95% CI [12.1%, 15.8%] のスコアでした。

木材の床を追加

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
38.3%

STEVE-1
5.0%

VLA
4.1%

環境

モデルは間違いから回復するのに苦労することがわかりました。時々、素手で木や石を壊しますが、30秒ではそれほど多くはできません(これらのモデルはホットバーの切り替えにアクセスできません)。別の失敗モードは、モデルが時々さまよい、世界中のどこかに既に構築されている構造を探しているように見えることです。より長いコンテキストウィンドウを持つ大規模なモデルをトレーニングして、最終的に探し回るのをやめて自分で構造を構築し始めるかどうかを見るのは興味深いでしょう。

メカニズム

Minecraftを competently にプレイするには、数十の複雑で特定のメカニズムについて知っている必要があります。ここでは、スケールによる大きなリターンが見られます。さまざまなメカニズムをテストする30個の多様な環境のセットで、Pan-4Bは 24.4% 95% CI [22.3%, 26.5%] のスコアを記録しました。これに対し、次に良いモデルであるPan-2Bは 15.1% 95% CI [13.5%, 16.9%] でした。これは 9.3% 95% CI [6.5%, 12.1%] の差です。Pan-4Bはテストされた他のすべてのモデルを大幅に上回っていることがわかりました。

いくつかの注目すべき成功例:

3ブロックを耕す

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
85.4%

STEVE-1
8.3%

VLA
8.3%

環境

そして失敗例:

オオカミを調教する

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
12.5%

STEVE-1
8.3%

VLA
0.0%

環境

戦闘

狭い通路にモンスターを1〜2体配置し、その先に金色のパネルを置いて、Panに戦闘を指示します。Pan-2BとPan-4Bは、モンスターと戦うための効果的な汎用戦略を学習しました。まず攻撃し、後退して待機し、次に前進して再度攻撃します。これにより、Panはタイトな場所でもクリーパーやゾンビを効果的に倒すことができます。Panは盾をうまく使えず、スケルトンを倒せないことがよくあります。

クリーパーの通路

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
45.3%

STEVE-1
44.9%

VLA
21.0%

環境

困難な環境

実質的な手作りの構造物を含む、分布外の環境をいくつか構築しました。

以下の環境は「ガントレット」と呼ばれます。Panはこの構造を初めて見ましたが、効果的に移動し、最大のモデルは時々それを完了します(これらの環境の評価は連続的であり、Panのみが完了しました):

ガントレット

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
51.2%

STEVE-1
21.4%

VLA
6.4%

環境

報酬ハッキング

モデルが意図しない方法で目標画像を再現する方法を見つける、いくつかの興味深い報酬ハッキングの事例が見つかりました。1つは、馬に乗ってフェンスを越えて金色のパネルに到達する代わりに、フェンスの周りをこっそり進み、馬に乗っていた場合よりも高い視点を得るためにジャンプします。別の例では、橋の一方から他方へ道を作る代わりに、隙間から落下しますが、その後、渓谷の反対側まで登って目標に到達します。

オンラインRL手法で発生する報酬ハッキングとは異なり、このモデルは完全にオフラインデータでトレーニングされており、これらの環境を初めて見たことを注意してください。

困難な水の上の橋

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
8.3%

環境

将来の作業

インターネットスケールデータでうまく機能するトレーニング目的を見つけることのポイントは、モデルを少しだけでなく、何桁もスケールアップできることです。目標条件付き事前学習の利点がより大きなスケールでも持続する場合、デジタルまたは現実のあらゆる種類の視覚環境で目標を達成することにおいて、人間を超えるモデルを生み出す可能性があります。

今後数ヶ月で、これらのモデルを急速にスケールアップし、より広範なデータ分布でトレーニングする予定です。これには、さらに多くのビデオゲーム、コンピューターの使用、一般的な現実世界のデータ、およびロボティクスが含まれます。

これらのモデルをオンライン強化学習の初期化として使用することにも期待しています。言語モデルと同様に、ある程度多くのことを実行できる初期化から始めることができれば、オンラインRLを通じてパフォーマンスを大幅に向上させることができると予想しています。(現実世界でのRLに特に適したハードウェアも設計しています。)

物理世界でほぼ何でも実行でき、数時間自律的に動作できる、完全に汎用的なロボティクスモデルをトレーニングしています。シンプルでスケーラブルな方法が、そこへ私たちを導くと考えています。

もしこれが興味のある仕事であれば、私たちと一緒に働きませんか!

付録

さらに読む

目標条件付きRLと従来の報酬関数を結びつける美しい数学があります。本質的に、各目標は異なる報酬関数に対応し、値関数はエージェントの軌跡の将来からサンプリングされた状態が目標状態である確率に置き換えられます。99目標条件付きRLでは、ポリシーのサクセッサー測定値に興味があります:σt(s,g) = ∑δt=1∞P(st+δt=g) 目標ggに対して、状態sts_tはポリシーの分布ππと環境の任意のランダム性のもとでサンプリングされ、δtδtは割引率γγの指数関数的減衰に従って分布します。確率σt(s,g)σt(s, g)は、状態ggで1、それ以外で0となる指示報酬を持つ通常の強化学習における状態ssの値と同じであることがわかります。σ(s,g)σ(s, g)をモデル化する方法はたくさんあります。ggの尤度ベースの生成モデルを学習する場合、そのモデル下の尤度が関心のある値を与えます。ggのエネルギーベースモデルを学習する場合、これは尤度を定数でスケーリングし、少なくとも異なる状態の正しい順序を生成します。一部の方法、例えばCRLは、目標分布を明示的にモデル化せずにエネルギーを学習するために、対照学習を使用します。↩ 目標条件付きRLについてさらに学ぶための良い出発点をいくつか紹介します:

  • Benjamin Eysenbachら、『Contrastive Learning as Goal-Conditioned Reinforcement Learning』、NeurIPS、2022年。
  • Michael Janner、Igor Mordatch、Sergey Levine、『Generative Temporal Difference Learning for Infinite-Horizon Prediction』、NeurIPS、2020年。
  • Benjamin Eysenbach、Amy Zhang、『Generative AI Meets Reinforcement Learning』、ICMLチュートリアル講義ノート、2025年。
  • Andrea Tirinzoniら、『Meta Motivo: Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models』、ICLR、2025年。
  • Marcin Andrychowiczら、『Hindsight Experience Replay』、NeurIPS、2017年。
ビデオゲームエージェントに取り組む理由

ビデオゲームはロボティクスの有用なテストグラウンドです。再現可能で、オープンエンドで、内部で任意のモデルを実行しても安全で、非常に長期間の目標(例えば、大きな構造物を構築するために材料を集める)をサポートできます。また、ロボティクスよりも簡単です。もしある手法がビデオゲームを解決できないなら、汎用ロボティクスモデルを生み出す可能性は低いと考えています。

モデル仕様
仕様値
事前学習データ約50万時間の多様なMinecraftゲームプレイ動画
事後学習データ約2千時間の動画と行動シーケンスを含むコントラクター軌跡
動画入力128x128、10 FPS
コンテキストウィンドウ300フレーム、約30秒
目標サンプリング300フレームのコンテキストウィンドウ内からサンプリングされた目標フレーム
行動頻度20 Hz

約50万時間の多様なMinecraftゲームプレイ動画で、目標条件付きモデルファミリーをゼロから事前学習しました。その後、動画と行動シーケンスの両方を含む、約2千時間のコントラクター軌跡で事後学習しました。

計算効率のため、これらのモデルは128x128ピクセル、10 FPSの動画でトレーニングされました。低解像度はクラフトなどの一部のアクティビティに制限をもたらしますが、それでも非常に複雑な行動が出現することを可能にします。

これらのモデルは300フレーム、つまり約30秒のゲームプレイのコンテキストウィンドウでトレーニングされました。単純化のため、300フレームのコンテキストウィンドウ内に発生した目標のみを考慮しましたが、より遠い目標を考慮する将来の作業に期待しています。効率的なフレーム表現スキームを使用しており、1Mトークンのコンテキストウィンドウを持つより大きなモデルをトレーニングすることは約7時間のコンテキストに相当すると推定していますが、長いコンテキストはこのプロジェクトの焦点ではありませんでした。

行動空間として、モデルは9つのキー(WASD、スペース、左シフト、右シフト、左クリック、右クリック)にアクセスできます。一部の実験(下記参照)では、ホットバー内のアイテムを切り替えられるように、数字キー1〜9とスクロールホイール(+1、-1、または0)の離散表現にもモデルにアクセスさせました。最後に、行動空間にはマウスのX軸とY軸の動きを表す2つの連続次元があります。

比較の詳細

VLA:

このモデルでは、9つの離散キーそれぞれに個別のシーケンス位置を使用し、2つの連続マウス軸に256個のquantileトークンを使用して行動空間をトークン化しました。事前学習済みモデルと同じ目標分布と行動データセットで事後学習され、初期化に使用される事前学習済み重みのセット(Gemma 4または目標条件付き事前学習済みモデル)のみが異なります。

STEVE-1:

このモデルは、単一の目標画像ではなく16フレームの目標動画でプロンプトされます。そのため、各評価環境で目標ワールドをロードし、16フレームのタイムステップを実行し、結果の目標動画を保存してモデルに指示します。

探索結果

探索はRL環境で行動する上で重要な部分です。特定の木、花のアレンジメント、または溶岩のプールを求めて世界を探索するPanの能力をテストします。このタスクには現実世界での応用があります。未知の環境でレンチを探しているロボットがいる場合、文脈の手がかりをどのように読んで探索を導くのでしょうか?

PanモデルはSTEVEとVLAを大幅に上回っています(Pan-4BとSTEVEの差は 20.8% 95% CI [15.4%, 26.8%]、Pan-4BとVLAの差は 20.3% 95% CI [14.1%, 26.4%])。そして、これらの環境の一部では驚くほど一貫性があり、探索を導く微妙な手がかりを捉えていることを示唆しています。

雪から脱出

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B
40.9%

STEVE-1
2.3%

VLA
9.3%

環境

ホットバー切り替え結果

数字キーとスクロールホイールにアクセスでき、ホットバーのアイテムを切り替えられるモデルセットをトレーニングしました。必要なツールのタスクへの切り替えを学習することは確認できましたが、構築に使用するブロックと、配置ミスしたブロックを破壊するために必要なツールの間を行き来する切り替えには、依然として苦労しています。

ホットバーで2x2を破壊

モデル
スコア
エラーバーは95% CIを示しています

Pan-4B-Hotbar
87.5%

環境

なぜ目標条件付けなのか

目標条件付き事前学習は、大規模で多様な動画またはその他の観測のみのデータセットからエージェント的な行動を学習するための自己教師あり学習手法です。これは、人間によるアノテーションを必要とせず、数学的に原理的であり、完全に汎用的であるという点で、次のトークン予測に似ています。推論時に再トレーニングなしで任意のタスクを達成できます。世界モデル学習と比較して、目標条件付けは同様に大量のラベルなしデータから学習できますが、エージェントに実行させたい各タスクに対して個別のポリシーを学習する追加ステップを必要としません。1111両方のアイデアを組み合わせることができます。世界モデルの安価なシミュレーションを活用しながら、タスクに依存しないポリシーを生成する、世界モデル内で目標条件付きエージェントをトレーニングすることが可能かもしれません。将来の研究でこの方向を探求する可能性があります。↩12122つの事前学習の種類の違いを理解するのに役立つ例:ルービックキューブの世界モデルを学習しても、キューブを回転させた後の見た目を予測するのは簡単なので、あまり多くを学ぶことはできません。目標条件付きトレーニングでは、モデルはより賢くなる必要があります。なぜなら、キューブの任意の状態から別の状態へ移動するためにどの動きをする必要があるかを知る必要があるからです。↩

目標条件付きモデルは、数値スコアを最大化するようにトレーニングされたモデルよりも一般的であることがよくあります。例えば、Dreamer 41010Danijar Hafner、Wilson Yan、Timothy Lillicrap、『Training Agents Inside of Scalable World Models』、2025年。↩ は、手動で指定された報酬関数を持つ20個の異なるタスクでトレーニングされています。これにより、エージェントの適用範囲はそれらの20個のタスクに限定され、新しいタスクを追加するには新しい報酬関数での再トレーニングが必要になります。一方、私たちの目標条件付きエージェントは一度トレーニングされ、トレーニングなしで、推論時に私たちが思いつく新しい目標を達成できます。1313目標条件付けのアイデアをさらに拡張する方法があります。例えば、言語モデルは動画のこれまでの内容のテキスト説明を生成でき、このテキストを目標として使用できます。より一般的には、観測のプレフィックスの任意の関数を使用できます。重要なのは、目標記述が手動でアノテーションする必要なく、動画からのみ推論可能であることです。一部のGCRLアルゴリズムはさらに汎用的で、例えばCRLのように、目標の線形結合を達成できます。↩