HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

HomeBody: 探索、記憶、そして自律的な行動が可能なヒューマノイド

HomeBody: A humanoid that explores, remembers, and acts on its own (tml.stanford.edu)

39 pointsby famouswaffles4 コメント

要約

スタンフォード大学の研究チームが開発したヒューマノイドロボット「HomeBody」は、キッチンを片付けたり、薬を取りに行ったりするなど、家庭内タスクを自律的に実行できます。このロボットは、ナビゲーション、操作、複数オブジェクトの片付け、タスクシーケンス、記憶の活用、左右両手の協調動作といった高度な能力を備えています。

全文翻訳

HomeBody: 自律的に探索、記憶、行動するヒューマノイド

01

長期ホライズンのヒューマノイド loco-manipulation

長期ホライズンの loco-manipulation は、ヒューマノイドを自身の視界(ego view)で捉えられる範囲を超えて活動させます。部屋全体で行動するには、可視オブジェクトと記憶された場所を結びつけ、曖昧な要求を解決するのに役立つ内部空間モデルが必要です。このコンテキストが、どこへ行き、何に作用し、歩行と操作をどのように順序付けるかを導きます。HomeBodyは、その空間記憶とコンポーザブルなスキルを組み合わせ、実行フィードバックによって、アクションや遷移が失敗した場合にVLM(Visual Language Model)が次の決定を修正できるようにします。

近日公開予定!

1 / 2

キッチンの整理

コーヒーの袋をすべて片付けて中央に置き、期限切れの牛乳とオレンジジュースのカートンはすべて捨ててください。

[動画: キッチンを整理するHomeBody]

キッチンの整理とは、何を残し、何を捨て、各オブジェクトを正しい場所にどのように移動させるかを決定することです。HomeBodyは、コーヒーの袋をアイランドに集め、指定されたカートンを廃棄し、部屋全体での繰り返し移動、掴み取り、配置を調整します。その視点は移動ごとに変化するため、記憶と行動フィードバックが、何が完了し、何がまだ注意を必要とするかを追跡するのに役立ちます。

薬の回収

薬を忘れてしまいました、取ってきてくれますか?ついでに期限切れのカートンも捨ててください。

[動画: 薬を回収するHomeBody]

薬は当初、視界の外にあります。HomeBodyは保存されたキーフレームを使用して引き出しの位置を特定し、薬を取り出して人に渡し、その後カートンを廃棄します。部屋の反対側では、右腕を使用して引き出しの取っ手を掴んで引き出しを開け、次に左腕を使用してカートンを廃棄します。両腕の使い分けにより、体の両側にあるターゲットにアクセスできます。

デプロイ方法

02

ステップ1. 探索

まず、ヒューマノイドに役割についてのコンテキストを与え、未知の環境を探索させます。HomeBodyは、0.5倍速のiPhoneビデオ、D435iカメラの観測、SLAMによるLiDARスキャン、関節ポーズ、Astraによって選択されたウェイポイントを収集します。探索は、ヒューマノイド自身の視点から部屋をキャプチャし、空間と対話しながら移動する際に、その空間コンテキストを接地します。HomeBodyは、オブジェクトが自身の視界から外れても、このコンテキストを保持します。

探索指示

あなたはキッチンロボットです。空間を探索してください!

[動画: キッチンを探索するHomeBody]

HomeBodyはキッチンの探索をガイドし、有用な視点を選択して、後でタスクに使用する観測を保存します。

ステップ2. Real2Sim

HomeBodyは、AstraをReal2Simエージェントとして使用し、ヒューマノイド自身が収集したデータからIsaac Sim [2]内にデジタルツインを構築します。これにより、観測が世界の空間モデルに接地され、高レベルのVLMが自身の視界を超えた場所について推論するのに役立ちます。正確なReal2Sim再構築に必要なものと、再構築の比較をご覧ください。

探索からデジタルツインへ

SLAMジオメトリ、自身の視点、関節状態、ウェイポイントを含む自身の探索データにHomeBodyのReal2Simエージェントを接地することで、デプロイ時の推論のために、幾何学的、意味的、視覚的に正確なデジタルツインを構築できます。

ステップ3. ヒューマノイドに日常的なタスクを与える

「キッチンを片付けて」のような指示をロボットに与えます。HomeBodyは、空間コンテキストを使用して、アクションレベルのスクリプトなしでアクションとターゲットを選択します。以下の指示を送信して、デジタルツインで示唆的なクリーンアップをリプレイしてください。

再構築されたキッチン 示唆的なロールアウト

[画像: 再構築されたキッチン]

部屋をクリックするか、「送信」をクリックして3Dで探索

HomeBody

指示

キッチンを片付けてください。コーヒーの袋をアイランドに置き、傷んだカートンを捨ててください。

実装

03

[画像: 共有された部屋のビューから示された探索、空間データ、再構築、続いて記録された観測と決定フレーズを持つ5つのキッチンアクション]

拡張可能なスキルライブラリ

ヒューマノイドが移動、掴み取り、配置、引き出しを開ける様子をご覧ください。

スキルを見る

ライブラリを閉じる

ナビゲーション、ピッキング、プレース、引き出し開けがHomeBodyのアクション語彙を構成します。スキルはターゲットと実行結果のインターフェースを共有するため、VLMはデプロイ時にそれらを組み合わせることができます。ローカルリトライと視覚フィードバックが実行エラーを修正します。

SKILL 01

実機ロボット · 1.25倍速

[動画: オブジェクトを掴むスキル]

ピック

自身の画像で選択されたオブジェクトを掴んで持ち上げます。

SKILL 02

実機ロボット · 1.25倍速

[動画: オブジェクトを配置するスキル]

プレース

保持しているオブジェクトを指定された3Dリリースポイントに移動させます。

SKILL 03

実機ロボット · 1.25倍速 · リトライ

[動画: 引き出しを開けるスキル]

引き出しを開ける

取っ手を視覚的に合わせ、引っ掛け、後ろに歩いて引き出しを開けます。

SKILL 04

実機ロボット · 14倍速 → 4倍速

[動画: 引き出しから物を取り出すスキル]

引き出しからピック

開いた引き出しに手を伸ばし、選択したオブジェクトを引き出しの縁から持ち上げます。

SKILL 05

実機ロボット · 1.25倍速

[動画: 移動するスキル]

ナビゲート

Real2Simマップ内の場所への計画されたルートに従います。

独自のスキルを追加する

学習済みポリシー、古典的なアルゴリズム、または別のコントローラーを共有インターフェースを通じて接続します。HomeBodyのVLMは、新しいタスクを実行するために既存のスキルとそれをチェーンすることができます。

ほとんどのスキルプレビューは、約7〜10秒にスピードアップされています。引き出しの開閉と掴み取りには、記録されたリトライが含まれます。引き出しからのピックプレビューは、引き出しが開いた状態から始まり、リトライを連続させ、最終的な成功した掴み取りのために速度を落とします。

アーキテクチャ

[画像: 中央のタスクパネルが、高レベルの指示、ホットスワップ可能なVLM(Astraが記録モデルとして特定されている)、サブタスクの進捗、現在のピックアクションを分離しています。シミュレーションコンテキストと現在のRGBが決定をサポートします。拡張可能なスキルバンクが物理的実行につながります。]

FAQ

正確なReal2Sim再構築には何が必要ですか?

人間が記録したビデオ
SLAM参照
HomeBody(我々の手法)

[画像: 手持ちビデオからのオーバーヘッド再構築、キッチンレイアウトとアイランドを示す] [画像: G1再構築と同じ向きとスケールでのトップダウン測定SLAM点群。色は高さを表す。] [画像: G1探索とSLAMに接地されたオーバーヘッド再構築、キッチンレイアウトとアイランドを示す。]

人間が記録したビデオは、再構築を部屋の外観に合わせるための豊富な視覚的詳細を提供します。HomeBodyは、部屋をナビゲートし、ヒューマノイドを配置し、オブジェクトに到達するために正確なジオメトリも必要とします。HomeBodyは、カメラ観測、測定されたSLAMジオメトリ、関節ポーズ、選択されたウェイポイントを含む、ヒューマノイド自身の探索データをReal2Simエージェントの接地に使用します。この接地は、空間の意味的理解とともに、幾何学的に正確な空間推論をサポートします。

ビデオのみの場合、Real2Simエージェントは外観から部屋の寸法を推定します。HomeBodyは、SLAMからの測定ジオメトリも提供して、それらの寸法を制約します。中央と右のパネルは、レイアウトを直接比較できるように、同じ視野角とスケールを使用しています。SLAMマップの色は、異なる高さの点を区別します。

既知の環境でHomeBodyはどのようにローカライズしますか?

タスク完了の計画を立てるために、HomeBodyは関連オブジェクトの場所と、それらに対するG1の位置の両方を知る必要があります。この空間コンテキストは、プランナーがどこへ移動し、部屋全体でアクションをどのように順序付けるかを選択するのに役立ちます。これらの決定を共有座標フレームに接地するために、Super Odometry [1]を使用してG1をローカライズし、反復最近傍点(ICP)レジストレーションを使用して再構築されたシミュレーションにSLAMマップを合わせます。HomeBodyは、この共有フレーム内に記述的なコンテンツとともに、自身のカメラ観測を保存します。HomeBodyはこの空間情報を使用して、記録された位置に戻ることができます。

HomeBodyはVLMの決定を物理的なアクションにどのように変換しますか?

HomeBodyは、空間ターゲットを使用してタスク推論を物理的実行に接続します。VLMは、現在の自身の視点、マップコンテキスト、グリッパーの状態、想起された観測、および前の結果からスキルとそのターゲットを選択します。この選択を構造化されたツール呼び出しを通じて渡し、スキルがモーションを計画および実行します。したがって、VLMはスキルの低レベルの実装を知る必要はありません。

ピッキングの場合、呼び出しは0〜1000に正規化された画像ポイントと使用する手を示します。ポイントはセグメンテーション [3]をトリガーし、Fast-FoundationStereo [4]はD435iステレオ画像から深度を推定します。カメラキャリブレーションは、マスクされたジオメトリを3Dに投影し、そこで掴み取りを解析的に予測します。そのポーズに到達するために、アームプランナーは最小ジャークタイミングでスプライン参照を構築し、パスに沿って逆運動学を解き、スイープモーションの衝突クリアランスを確認します。

他のスキルは、アクションに適したターゲットを使用します。ナビゲーションは、マップ座標(メートル単位)で2Dゴールと向きを示すポイントを取ります。プレース呼び出しは、使用する手、胴体フレームでの3Dリリースターゲット、およびリリース距離を指定します。スキルは保持しているオブジェクトをターゲットに移動させ、手を離します。引き出しの開閉は、取っ手の位置合わせ、引っ掛け姿勢、後ろ歩きを1つのスキルに組み合わせ、リーチからプルへの移行を調整します。

HomeBodyはどのように間違いを修正し、リトライしますか?

ヒューマノイドが近づくにつれて、ターゲットはカメラビュー内でシフトする可能性があります。セグメンテーションはオブジェクトを識別し、SAM 2.1トラッキングとSAMURAIメモリ選択 [5]は、後続のフレームでそれを追跡します。視覚サーボを統合して、これらのトラッキング更新を使用してアプローチ中の位置合わせを修正します。これにより、各調整のために新しいVLM決定を必要としなくなります。

掴み取りが接触なしで閉じられた場合、ピックスキルは別の掴み取り候補を試すか、スタンスを調整して再計画することができます。これらのローカルリトライには制限があります。回復が尽きた場合、または失敗が異なるアクションを必要とする場合、スキルはその理由をVLMに返します。VLMは、位置を変更したり、新しいターゲットを選択したり、計画を変更したりできます。

[動画: 引き出しからピルボトルを掴み直すHomeBodyのリトライ]

HomeBodyは、引き出しからピルボトルを掴み直すリトライを行います。

HomeBodyは、歩行と操作をどのように調整しますか?

長期ホライズンの loco-manipulation では、上半身がオブジェクトに手を伸ばし操作している間、バランスを維持する必要があります。HomeBodyは、腕のターゲットを考慮した下半身制御のために、事前学習済みのAMO [6]を使用しており、下半身を調整します。腕と手のコマンドは250 Hzで実行され、AMOポリシーは5制御ティックごとに50 Hzで更新されます。

どのコンピューターでHomeBodyを実行しますか?

HomeBody用に構築された現在のスキルは、単一のRazer Bladeラップトップ(RTX 4090 GPU搭載)上で、知覚とモーションプランニングとともに実行されます。GPT Astraはリモートで実行され、スキル要求とターゲットをラップトップに送信し、実行結果を受信します。これにより、ローカルスキル実行と最先端モデルへのネットワークアクセスを備えた、実地でのHomeBody実行のための軽量なセットアップが提供されます。

スコープと制限事項

Real2Sim再構築には、セットアップ時間とAPIコストが追加されます。タスクの長さは、ヒューマノイドのリーチ、操作能力、およびハードウェアの耐久性(長時間の操作中の指サーボの過熱を含む)によっても制限されます。GPT Astraの推論レイテンシは、スキルの間に一時停止を導入します。現在のローカルスタックにはRTX 4090ラップトップGPUが必要です。より重い知覚モデルやスキルを追加するには、より多くのコンピューティングが必要になる場合があります。

謝辞

Gio Huhは、スタンフォード大学のMovement Labでの長期ホライズンヒューマノイド loco-manipulation に関する研究のため、CaltechからMark Reinecke SURF Fellowとして支援を受けています。彼はスタンフォードのUndergraduate Visiting Research Intern (UGVI)プログラムに参加しました。

スタンフォードロボティクスセンター(SRC)にはキッチン空間の提供、スタンフォード大学のMovement Lab(TML)にはAPIクレジットの提供に感謝します。Alan Yu氏とSarthak Kamat氏には、有益な議論に感謝します。

参考文献

  1. Super Odometry: IMU-centric LiDAR-Visual-Inertial Estimator for Challenging Environments
  2. NVIDIA Isaac Sim
  3. SAM 2: Segment Anything in Images and Videos
  4. Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching
  5. SAMURAI: Adapting Segment Anything Model for Zero-Shot Visual Tracking with Motion-Aware Memory
  6. AMO: Adaptive Motion Optimization for Hyper-Dexterous Humanoid Whole-Body Control

この研究を引用する

Gio Huh, Cayden Gu, Takara E. Truong, C. Karen Liu, and Guy Tevet. “HomeBody: A Humanoid That Explores, Remembers, and Acts on Its Own.” 2026.

BibTeX

@misc{huh2026homebody,
  author = {Huh, Gio and Gu, Cayden and Truong, Takara E. and Liu, C. Karen and Tevet, Guy},
  title = {{HomeBody}: A Humanoid That Explores, Remembers, and Acts on Its Own},
  year = {2026},
  url = {https://tml.stanford.edu/homebody/}
}