Transformer Transformer: モーション条件付きロボット共同設計のための統一モデル
要約
本研究では、特定のタスクに最適化されたロボットを設計する「Transformer Transformer」という統一モデルを提案しています。このモデルは、操作デモンストレーションを入力として受け取り、リンク、ジョイント、モーター、慣性特性を含む完全なロボットを生成します。この設計により、特定のタスクにおける追従誤差を大幅に削減することが実証されました。
全文翻訳
モーション条件付きロボット共同設計のための統一モデル
Transformer Transformer
Conference on Robot Learning 2026
すべてのロボットが平等に作られているわけではない
[動画: ロボット設計のデモンストレーション]
すべてのロボットが平等に作られているわけではありません。しかし、特定のタスクのためにロボットを設計できるとしたらどうでしょうか? 私たちは、まさにこれを実現する統一モデル「Transformer Transformer」を提案します。操作デモンストレーションを与えれば、その動きに最適化された完全なロボット(すべてのリンク、ジョイント、モーター、慣性特性)を生成します。私たちは、ALOHA2双腕プラットフォームで布を投げるタスクのためにそのような設計を試作しました。その結果、元のロボットと比較して追跡誤差が73%、最大ジョイント速度が30%削減されました。
その結果の背景には、ロボットの具現化、状態、アクションの統一トークン化であるRoboTokensで訓練された拡散トランスフォーマーがあります。同じアーキテクチャが、具現化空間(車輪付き双腕、四足歩行、ヒューマノイド)とユースケース(具現化生成、クロス具現化制御)にまたがります。単一の報酬関数に過学習するのではなく、これはダイナミクスモデルであり、その報酬非依存の予測は推論時に報酬依存の値予測に変換され、Dynamics Self-Guidanceと呼ぶ手順を通じて具現化拡散を誘導するために使用されます。3つの設計空間にわたる実験では、進化ベースラインを上回る性能と実行時間で、未知の報酬と軌道に対するゼロショット最適化を示しました。
技術概要ビデオ
17分間の解説 — または、図とキャプションのバージョンをご覧ください。
特定の操作タスクに最適なロボットとは?
ロボットの具現化(embodiment)は、どのようなタスクをうまくこなせるかを決定します。私たちは、ロボットをより賢くするために、より大きなデータセット、より優れたアルゴリズム、より有能なポリシーアーキテクチャに労力を注いでいますが、悪い具現化は優れたポリシーさえも妨げることがあります。いくらでもボール投げのデータを収集できても、ロボットの形状が最適からかけ離れていれば、ボールではなくロボット自身が投げ出してしまうかもしれません。
そこで、問題を具体的に定式化しましょう。目標のエンドエフェクタの動きと報酬関数を入力として、タスクのための完全なロボットの具現化を生成したいのです。完全とは、すべてのリンク、ジョイント、モーター、慣性特性、そしてそれを駆動するコントローラーを意味します。これをモーション条件付きロボット共同設計と呼びます。
ランダムに手続き的に生成されたロボットが目標の動きを試みていますが、完了する前に倒れてしまいます 🙃
デモンストレーション、生成、検証
私たちのフレームワークは、ロボットの共同設計を3段階のプロセスとして再構築します。まず、望ましいエンドエフェクタの動きをデモンストレーション(例: UMI3による人間のデモンストレーション)します。次に、モデルが最適化された具現化を生成します。そして、同じモデルがそれを直接制御することで設計を検証します。同じネットワークが、ロボットの統一トークン化で共同訓練することにより、ジェネレーター、クリティック、クロス具現化コントローラーの3つの役割を果たします。
[画像: 3段階のパイプライン:デモンストレーション、生成、検証]
3つのステップ、1つのモデル。 目標のエンドエフェクタの動き(例: 人間のデモから)とユーザー定義の報酬を与えると、Transformer Transformerは完全なロボット(ジオメトリ、キネマティクス、慣性、モーター)を生成し、次にそのロボットを制御して動きを追跡します。個別のオプティマイザー、クリティック、コントローラーパイプラインは不要です。
この論文は3つの部分からなります。統一されたロボット表現(RoboTokens)、統一されたアーキテクチャ(Transformer Transformer)、そして統一された訓練目的(Dynamics Self-Guidance)です。アーキテクチャのセクションまでには、この言葉遊びを理解できるはずです 🥸
PART 1
RoboTokens
統一ロボット表現
[画像: RoboTokensトークン化スキーム]
すべてのロボットが型付きトークンシーケンスになります。 青いトークンは具現化(リンク、ジョイント、モーター)をエンコードし、オレンジ色のトークンはダイナミクス(状態とアクション)をエンコードします。同じトークナイザーが、四足歩行、ヒューマノイド、または器用な手を処理します — ロボットごとのアダプターは不要です — そのため、単一のモデルがそれらすべてから学習できます。
もし、あらゆるロボットを共同設計できる単一のモデルが欲しいなら、ネットワークはすべての具現化にまたがる共通の語彙を必要とします。RoboTokensはその語彙です。すべてのリンク、ジョイント、モーター、状態、アクションの型付きトークン — ロボットの具現化(時間不変)とダイナミクス(時間可変)の両方を単一のシーケンスが記述するように整理されています。
RoboTokensには以下の主要な設計目標があります。
- 完全性。 RoboTokenシーケンスは、剛性関節ロボットに関するすべてを捉えます。5つの具現化トークンタイプ(リンク、固定ジョイント、回転/スライドジョイント、ボールジョイント、モーター)に加えて、状態とアクションのトークンがあります。
- 柔軟性。 トークンはIDで互いに参照します — ジョイントトークンは、それが接続する2つのリンクトークンを知っています — そのため、同じ形式で6自由度の腕や35自由度の二足歩行ロボットを処理できます。
- 一貫性。 トークナイザーは冗長な空間オフセットを正規化し、慣性/変換データを単一のフレームに格納して、モデルが学習する必要のある分散を減らします。
- 拡張性。 新しいトークンタイプは、アーキテクチャを変更せずにスロットインできます — ターゲットエンドエフェクタとタイムステップIDに関連付けられたターゲットエンドエフェクタポーズトークンを追加して、軌道追跡を行います。ロボットの残りの部分の再トークン化は不要です。
- 最適化可能性。 MJCFのような自己回帰テキスト形式とは異なり、連続値RoboTokensの拡散は、グローバルな制御可能性(後続のトークンが前のトークンにデノイズステップ全体で影響を与える)と微分可能性の両方を提供します — これらは推論時に勾配ベースの報酬最適化に必要な2つの要素です。
MuJoCo Menagerie10から11個のロボットをトークン化しました。質量は2桁(0.65 kgの器用な手から67.5 kgの四足歩行ロボット)にわたり、アクティブジョイント数は6から35までです。それぞれが28〜101個のRoboTokensのシーケンスになり、エンドツーエンドで拡散するのに十分な小ささです。
[画像: MJCFテキストトークンに対するRoboTokensのコンパクトさ]
RoboTokensはMJCFテキストよりも27〜110倍コンパクトです。 ロボットの完全な記述は、言語トークナイザーが数千(グレーのカウント)を必要とするのに対し、数十字の型付きトークン(青のカウント)に収まります — トランスフォーマーがXMLを自己回帰的に書くのではなく、直接拡散できるほど小さいです。
PART 2
Transformer Transformer
統一アーキテクチャ
このモデルは、DDIM4ノイズスケジュールでRoboTokens上で訓練された拡散トランスフォーマー(DiT1)です。ノイズは、条件付けするトークンを除くすべての入力トークンに追加されます — そして、どのトークンがマスクされるかを変更することで、同じネットワークが異なる役割を担います。すべてをマスクすると、条件なしのロボットジェネレーターが得られます。アクションをマスクすると、クロス具現化コントローラー5,6が得られます。具現化をマスクすると、モーション条件付きロボットデザイナーが得られます。同じ重みで、ダイナミクス上で共同訓練されます。
(そして、言葉遊びについて:最初の「Transformer」は、具現化が変化できるロボットを指します。2番目は自己アテンションアーキテクチャを指します 🥸)
[画像: Transformer Transformerアーキテクチャ]
1つのアーキテクチャ、2つのユースケース。 (a) モーションからロボットへの最適化は、具現化トークンとダイナミクストークンを共同で拡散します。(b) クロス具現化制御は、具現化と目標の動きを条件としてアクションを拡散します。推論時に、モデル自身の予測は報酬予測に変換され、その勾配が生成をより高報酬のデザインへと誘導します。
具現化を認識するコントローラー
コントローラーは完全な具現化を入力として見るため、駆動するロボットに合わせて制御戦略を調整できます。リンクの慣性、ジョイントの範囲、またはモーターゲインを変更しても、同じポリシーが再訓練なしで追跡を続けます。私たちは、手続き的な四足歩行ロボット空間で1デザインにつき1つのRLエキスパート7,8,9から行動クローンされた全身コントローラーを使用しました。
1つのポリシー、多くの四足歩行ロボット。 同じコントローラーが、連続的な変化(リンク寸法)と離散的な変化(DoF、膝の向き、バネ付き対直列脚)を持つ四足歩行ロボット間で同じ軌道を追跡します。
多様なロボットクラスのジェネレーター
条件付けなしでモデルを実行すると、ガウスノイズから完全なロボットを拡散します。Menagerie10の多様なロボットで訓練された単一のTransformer Transformerは、固定ベースアーム、四足歩行ロボット、ヒューマノイド、および器用な手を生成します。拡散は確率的であるため、実行ごとに異なるロボットが生成されます。
ロボット、拡散される。 単一のモデルが、同じノイズスケジュールから固定ベースアーム、四足歩行ロボット、ヒューマノイド、および器用な手を生成します。
PART 3
Dynamics Self-Guidance
報酬のゼロショット化
さて、実際の共同設計問題です。モデルが訓練中に一度も見たことのない報酬関数に対して、高報酬のロボットをどのように生成するのでしょうか?
ここにトリックがあります。同じモデルが具現化とそのダイナミクスを予測するため、それらの予測をユーザーの報酬関数にフィードして予測報酬を得ることができます。予測報酬が得られたら、モデルを多数並列実行し、各候補の報酬を予測し、最良のものを返します。これはベストオブNサンプリングですが、GPU速度で実行されます。
さらに改善できます。予測報酬は具現化トークンの微分可能な関数であるため、その勾配を取得し、拡散プロセスに逆注入して、各デノイズステップでサンプルを高報酬に向かって押し出すことができます。これは、分類器誘導DDIM11に従います。モデルは実質的に、自身に「報酬を増やすためにこのロボットはどう変わるべきか?」と問いかけています。これをDynamics Self-Guidanceと呼びます。
「自己誘導」の理由: 拡散誘導にダイナミクスを組み込む関連研究は、個別のダイナミクスモデル12を訓練するか、微分可能なシミュレーター13に依存します。ここでは、モデルは自身のダイナミクス予測を使用して自身を誘導します。
[画像: ランドスケープを登る]
1つの勾配、エピソード全体。 Transformer Transformerは、エピソードのホライズン全体にわたって状態とアクションのトークンを並列に予測します。報酬勾配は、それらすべてを通じて具現化トークンに逆流します。ハードウェアは、一度に1タイムステップではなく、長期間のダイナミクス全体で最適化されます。
報酬を入力、ロボットを出力
動的な投げ上げ中に倒れるランダムに生成された四足歩行ロボットを考えます。追跡報酬のみを与えて、同じ軌道のためのロボットを生成するようにモデルに依頼すると、重心が下がり、支持多角形が広がり、追跡報酬を最大化しようとする副産物として発見された安定した設計選択が行われます。これは、モデルがこれまで見たことのない報酬です。
トルクペナルティ項を追加すると、最適化ランドスケープがシフトします。モデルは、より小さく、より軽いロボットを返します — 動きは追跡しますが、平均トルクは30%少なくなります。サイズペナルティを追加すると、ランドスケープは再びシフトします。これは、人々が報酬のゼロショット化と呼ぶものかもしれません。ダイナミクスモデリングで訓練し、推論時に記述できるあらゆる報酬に対して最適化します。
[画像: さまざまな条件付けのための多様な生成デザイン]
同じモデル、異なる条件付け、異なるロボット。 目標軌道(床掃除 → 動的な投げ上げ)を切り替えたり、サイズペナルティを追加したりすると、最適化ランドスケープが変化し、生成された具現化もそれに応じてシフトします — 再訓練なしで。離散的な選択(脚のデザイン、DoF)と連続的な選択(リンク長、取り付けポイント)の両方が、それに応じて変化します。
データセット全体のための拡散モデルの合成
操作は単一の動きではなく、動きの分布です。単一の軌道ではなく、皿洗いのようなタスク全体のためにロボットを最適化したいのです。拡散合成14,15は、まさにこれを可能にします。異なる軌道を条件としてモデルを並列実行し、各拡散ステップでの予測ノイズを平均化すると、それらすべてに対して同時に最適化されたジェネレーターが得られます。
公開されているUMI双腕皿洗いデータセット3でこれをテストし、26個の検証軌道を保持しました。Transformer Transformerは、保持された分布全体で最適化されたロボットを生成しました — 離散空間(背骨のデザイン:固定、スライド、曲げ)と連続空間(アーム寸法、取り付けオフセット)の両方をナビゲートします — そして同じモデルが、生成された各デザインを検証するためのクロス具現化コントローラーとして機能しました。
1つのロボット、タスク全体。 26個のUMI皿洗い軌道の分布全体で合成されたモデルは、分布全体で最適化された単一の具現化を返します — そして同じネットワークが各動きを通じてそれを駆動します。
より良い設計、より速く
2つのベースラインと比較します。ランダム(手続き的な設計空間からロボットをサンプリング)とCMA-ES16(共同設計で広く使用されているブラックボックスオプティマイザー)です。CMA-ESは、設計空間のコントローラー(固定ベース/双腕の場合はMink18;脚付きロボットの場合はRLエキスパート7)を使用してMuJoCo17で候補ロボットを展開し、次の世代をより高報酬のサンプルに偏らせます。
すべての手法に同じタスクを与えます。目標軌道と報酬のためにロボットを生成し、それを制御し、達成された報酬を報告します。
テスト時の計算量が結果をスケーリングする
長い思考でより良くなる大規模言語モデル19のように、Transformer Transformerは、より多くの推論シードを与えられると、より良い設計が得られます。パフォーマンスは、約1分後にプラトーに達しますが、LLMが得る終わりのないような改善とは異なります。これは制限事項で議論します。
[画像: 3つの設計空間にわたるテスト時スケーリング結果]
より高い報酬、桁違いに速い。 3つの設計空間といくつかの報酬関数にわたって、Zeroth OrderおよびDynamics Self-Guidanceのバリアントは、より多くの並列サンプルを許可すると、より高報酬のデザインを生成します — そして両方とも、数時間ではなく数秒でCMA-ESレベルの品質に達します。多軌道双腕最適化(右端)では、CMA-ESは3時間以上かかりましたが、私たちのモデルは1分未満で完了しました。
なぜこれほど速いのか? 2つの理由が掛け合わされています。(1) 候補デザインに対するGPU並列処理。(2) 非自己回帰拡散は、一度に1タイムステップではなく、エピソード全体を並列に評価します。典型的な学習済みダイナミクスモデルは一度に1ステップを予測しますが、私たちはエピソード全体を一度に予測します。
実世界:ALOHAでの布投げ
元のALOHA対Transformer Transformer最適化ALOHA。 同じタスク、同じ目標軌道、2つのロボット。最適化された設計は、元の設計ではできない布の展開を行います。
ハードウェアでシステム全体をストレステストするために、ALOHA2での動的な布の展開を選択しました。投げ20は、キネマティクス(腕が高速で布の上を伸ばす必要がある)とモデル化されていないダイナミクス(空気抵抗、布の重さ、摩擦)の両方を通じて、具現化の誤りを罰します。元のALOHA設計は、軌道を追跡することさえ困難でした。
モデルに「追跡速度」報酬のためにALOHA設計を最適化するように依頼し、結果の設計を試作しました。元の設計と比較して2つの点が変更されました。
- より長いリンク長。 投げ軌道にキネマティクス的に届くのに十分ですが、Dynamixelモーターのトルク範囲内に収まるほど軽量です。
- 逆さまの取り付け。 腕はワークスペースの後ろで逆さまにぶら下がっており、頭上からの投げではなく、エネルギー効率の良いアンダーアームスイングを可能にします。
[画像: ジョイント速度比較]
より滑らかなジョイント軌道。 投げ動き中のジョイント速度。最適化された設計は、元の設計よりもピークが少なく、最大値も低いです — キネマティクスとダイナミクスの利点がハードウェアに転送されます。
制限事項と今後の作業
ジオメトリとシーン。 RoboTokensは現在、プリミティブベースのジオメトリをカバーしており、任意のメッシュや変形可能なオブジェクトはカバーしていません。また、周囲のシーンや接触ターゲットもエンコードしていません。複雑なジオメトリとシーンコンテキストへの拡張は、完全なタスク条件付き共同設計に向けた明確な次のステップです。
コントローラー転送。 私たちのクロス具現化コントローラーは、拡散された具現化に対してPearson r = 0.53でRLオラクルと相関しています — 有望ですが、改善の余地があります。一部のアウトライヤー具現化は、コントローラーが一般化に失敗する箇所を露呈します。
テスト時のスケーリングプラトー。 他の誘導拡散手法と同様に、テスト時の計算量による利点は約1分後にプラトーに達します。LLM19とは異なり、推論時間を長くしても、ある点を超えると役立たなくなります。報酬予測精度の向上と代替推論スキームは、今後の方向性です。
データ生成コスト。 RLベースの全身コントローラーデータ生成は高価です(離散設計選択ごとに1つのRLエキスパート、ポリシーごとに16時間のA100)。新しい設計空間へのTransformer Transformerのスケーリングは、このコストの削減にかかっています。
参考文献
- Peebles, W., & Xie, S. Scalable diffusion models with transformers. ICCV, 2023.
- Zhao, T. Z., Kumar, V., Levine, S., & Finn, C. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv:2304.13705, 2023.
- Chi, C., Xu, Z., Pan, C., Cousineau, E., Burchfiel, B., Feng, S., Tedrake, R., & Song, S. Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots. Proceedings of Robotics: Science and Systems (RSS), 2024.
- Song, J., Meng, C., & Ermon, S. Denoising Diffusion Implicit Models. ICLR, 2021.
- Furuta, H., Iwasawa, Y., Matsuo, Y., & Gu, S. S. A system for morphology-task generalization via unified representation and behavior distillation. arXiv:2211.14296, 2022.
- Gupta, A., Fan, L., Ganguli, S., & Fei-Fei, L. MetaMorph: Learning universal controllers with transformers. arXiv:2203.11931, 2022.
- Ha, H., Gao, Y., Fu, Z., Tan, J., & Song, S. UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers. Conference on Robot Learning (CoRL), 2024.
- Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. Proximal policy optimization algorithms. arXiv:1707.06347, 2017.
- Rudin, N., Hoeller, D., Reist, P., & Hutter, M. Learning to walk in minutes using massively parallel deep reinforcement learning. CoRL, 2022.
- Zakka, K., Tassa, Y., & MuJoCo Menagerie Contributors. MuJoCo Menagerie: A collection of high-quality simulation models for MuJoCo. 2022. github.com/google-deepmind/mujoco_menagerie
- Dhariwal, P., & Nichol, A. Diffusion models beat GANs on image synthesis. NeurIPS, 2021.
- Xu, X., Ha, H., & Song, S. Dynamics-Guided Diffusion Model for Sensor-less Robot Manipulator Design. arXiv:2402.15038, 2024.
- Wang, T.-H. J., Zheng, J., Ma, P., Du, Y., Kim, B., Spielberg, A., Tenenbaum, J., Gan, C., & Rus, D. DiffuseBot: Breeding soft robots with physics-augmented generative diffusion models. NeurIPS, 2023.
- Liu, N., Li, S., Du, Y., Torralba, A., & Tenenbaum, J. B. Compositional visual generation with composable diffusion models. ECCV, 2022.
- Du, Y., Durkan, C., Strudel, R., Tenenbaum, J. B., Dieleman, S., Fergus, R., Sohl-Dickstein, J., Doucet, A., & Grathwohl, W. S. Reduce, reuse, recycle: Compositional generation with energy-based diffusion models and MCMC. ICML, 2023.
- Hansen, N., & Ostermeier, A. Completely derandomized self-adaptation in evolution strategies. Evolutionary Computation 9(2): 159–195, 2001.
- Todorov, E., Erez, T., & Tassa, Y. MuJoCo: A physics engine for model-based control. IROS, 2012.
- Zakka, K. Mink: Python inverse kinematics based on MuJoCo. 2025. github.com/kevinzakka/mink
- Brown, B., Juravsky, J., Ehrlich, R., Clark, R., Le, Q. V., Ré, C., & Mirhoseini, A. Large language monkeys: Scaling inference compute with repeated sampling. arXiv:2407.21787, 2024.
- Ha, H., & Song, S. FlingBot: The unreasonable effectiveness of dynamic manipulation for cloth unfolding. CoRL, 2021.
完全な参考文献リストは論文で入手可能です。上記の選択は、このページで使用されている引用をカバーしています。