汎用的な目標条件付きMinecraftモデル

Pantographでは、数時間にわたって自律的に行動できる汎用的なロボティクスモデルのトレーニングに取り組んでいます。特にロボティクスでは、多様なデータを大規模に取得することが困難です。インターネットビデオデータから行動を学習することで、モデルは小さな行動データセットに限定されるのではなく、コンピューティング能力に応じてスケールアップできるようになります。 この研究では、インターネットスケールのビデオでの事前学習を通じて、目標指向の行動を学習するためのシンプルな方法を開発しました。通常、目標指向性は事後学習フェーズで教えられますが、これは汎化の範囲を制限します。ここでは、インターネットスケールのビデオでの事前学習中に目標指向性を学習することで、モデルが複雑な目標を達成する能力を大幅に向上させます。 ビデオゲームはロボティクスのテストグラウンドとして役立ちます。私たちはMinecraftから始めています。なぜなら、それはオープンエンドであり、多様で長期間にわたる目標のコマンドをサポートするからです。 このモデルは、1つのゲーム内でのみ行動できますが、今後数ヶ月で、より広範な視覚環境にわたるより大きなモデルをトレーニングする予定です。 私たちの最大のモデルであるPan（40億パラメータモデル）は、コマンドに応じて、モンスターと戦い、特定のオブジェクトを見つけるために探索し、挑戦的なプラットフォーム環境を完了し、構造物を構築できます。私たちは、それがこれまで見たことのない非常に多様な環境に汎化できることを見出しました。 強化学習は、人間を超えるモデルを生み出す可能性があるため、興味深いものです。もし私たちがビデオで大規模な強化学習を行うことができれば、多くの分野で人間を超えるモデルを同時に生み出すことができるかもしれません。 観測のみのデータからの強化学習 私たちは、インターネットスケールのビデオを、観測のみを含む強化学習の軌跡と見なします。 このレンズは、一部のモダリティには適していますが、そうでないものもあります。例えば、ほとんどのテキストデータは、エージェントが環境と対話する様子を書き起こしたものではありません。しかし、音声にはうまく機能する可能性があります。 この種のデータから強化学習を行うのは困難です。なぜなら、報酬と行動が欠けているからです。しかし、両方に対するシンプルな解決策があることがわかりました。 目標条件付けは、報酬関数を指定する必要性を回避するためのシンプルな方法です。そのアイデアは、ビデオの後で起こることを、前の部分の目標として使用することです。これは、時折ハインドサイトリラベリングと呼ばれるトリックであり、ある目標にとっては失敗だったかもしれないものを、実際に起こったことに対して成功としてラベル付けし直します。原理的には、ビデオの後で起こることをどのような記述でも目標として使用できますが、この研究ではビデオのフレームを目標として使用することに焦点を当てています。 ビデオには行動が含まれていませんが、状態のみに依存する関数をビデオから学習することは依然として可能です。これには、価値関数が含まれます。これは、目標条件付きRLでは、目標が将来達成される確率、および目標条件付きポリシーの次のフレーム分布を大まかに表します。 これらの両方は、尤度ベースのモデル、エネルギーベースのモデル、コントラスト学習など、さまざまな方法でモデル化できます。私たちは、これらの異なるアプローチ間のトレードオフを研究する将来の研究に興奮しています。 この行動に依存しない事前学習の後、より小さな行動を含むデータセットを使用して、環境で行動できるエージェントを生成できます。 強力な価値関数があれば、行動を学習することははるかに簡単な問題です（Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, 2nd ed., MIT Press, 2018）。価値関数は、強化学習の非常に難しい多段階意思決定問題を、一般的に扱いやすい単段階意思決定問題に効果的に変換します。 私たちは、ビデオをRL軌跡として見るこのレンズが有益であり、まだ探求されていない多くのアイデアがあると考えています。もしこれがあなたが興味を持っている仕事の種類であれば、私たちに参加してください！ ビデオ: 目標: Pan-4bのさまざまな環境での選択されたロールアウト。上部にはロールアウトビデオがあり、下部にはモデルにコマンドとして与えられる目標画像があります。 トレーニング 約50万時間の多様なMinecraftゲームプレイビデオで、目標条件付きモデルのファミリーをゼロから事前学習しました。その後、ビデオとアクションシーケンスの両方を含む約2千時間のコントラクター軌跡で事後学習しました。事前学習は行動に依存しませんが、アクション空間は事後学習中にのみ登場します。（詳細は付録を参照してください。） 評価 104個の評価環境のスイートを作成しました。各環境は、初期のMinecraftセーブワールドと目標のセーブワールドで構成されます。ロールアウトごとに目標セーブワールドを1回ロードし、そこから単一の目標画像をレンダリングしてモデルのプロンプトとします。環境に応じて、プログラム的および言語モデルベースの評価者を使用してモデルのパフォーマンスを評価します。 比較 Minecraft用のオープンソースの目標条件付きポリシーであるSTEVE-1と比較しました。STEVE-1の目標条件付けは、OpenAIがインターネットビデオに推定アクションをラベル付けするために逆ダイナミクスモデルを使用して事前学習したVPTの上に、コントラクターデータセットで事後学習することから来ています。 また、Panに使用したのと同じコントラクター軌跡の事後学習データセットでVLAベースラインもトレーニングしました。このVLAモデルは、ビデオ入力をサポートする最も強力なオープンソース言語モデルの1つであるGemma 4から初期化されました。 合計で、Gemma 4には私たちがトレーニングしたモデルよりもはるかに多くのコンピューティングが費やされましたが、私たちのモデルは事前学習を通じてより多くのMinecraftデータを目にした可能性が高いです。 結果 カテゴリ別のパフォーマンス Pan-4B STEVE-1 VLA 100% 75% 50% 25% 0% 基本 11 envs 構築 16 envs 問題解決 17 envs 探索 10 envs メカニズム 30 envs 戦闘 6 envs 汎化 8 envs 各カテゴリの環境全体での平均スコア。各環境を均等に重み付けしています。エラーバーは95パーセンタイルブートストラップ信頼区間です。 目標条件付き事前学習でトレーニングされたモデルは、多様で分布外の目標を含む、評価ワールドでの目標達成能力が向上しています。モデルサイズは、メカニズムのような複雑で意味のあるものや、建築のような器用なタスクにおいて最も重要であることがわかりました。私たちのモデルは、一部のメカニズム（バケツ、火打石と鋼、作物、釣り）を学習しましたが、他のメカニズム（レバー、エンダーパール、動物の調教）は学習しませんでした。さらなるスケールアップからどのような能力が現れるかを見るのが楽しみです。 基本 私たちはシンプルに始めます。モデルの少し前にある目標をコマンドした場合、モデルは目標フレームを全く気にするでしょうか？そこに留まるでしょうか？Panモデルはターゲット位置まで歩き、ロールアウトの残りの間その周りで振動し、目標フレームに完全に合わせようとしているように見えます。私たちはこれを「ゴールダンス」と呼び、モデルが目標を達成したと考えていることを示す有用な指標です。STEVEとVLAは、これらのシンプルなタスクでは一貫性が低く、目標を達成することもありますが、目標から離れてさまよう傾向があります。 村に向かって歩く モデル Pan-4B STEVE-1 VLA 成功 失敗 目標画像 スコア エラーバーは95% CIを示しています 0% 25% 50% 75% 100% Pan-4B Pan-4B 85.7% 95% CI 67.4–99.0% · 16 rollouts 85.7% STEVE-1 STEVE-1 16.5% 95% CI 6.3–28.4% · 16 rollouts 16.5% VLA VLA 18.7% 95% CI 4.1–37.0% · 16 rollouts 18.7% 環境 村に向かって歩く スケルトンペイント Minecraftでは、自分の下に塔を建てることは、歩くことと同様に基本的なことです。