HomeBody: 探索、記憶、そして自律的な行動が可能なヒューマノイド

キッチンを片付ける コーヒーバッグをすべて片付けて中央に置き、傷んだ牛乳とオレンジジュースのカートンをすべて捨ててください。 キッチンの片付けとは、何を保管し、何を捨て、各オブジェクトを正しい場所に移動させるかを決定することです。HomeBodyはコーヒーバッグをアイランドに集め、指定されたカートンを廃棄し、部屋全体での繰り返し移動、把握、配置を調整します。移動ごとに視界が変わるため、記憶とアクションのフィードバックが、完了したこととまだ注意が必要なことを追跡するのに役立ちます。 複数オブジェクトの片付け タスクシーケンス ナビゲーション + マニピュレーション 薬を取りに行く 薬を忘れたんだけど、取ってきてくれる？あと、傷んだカートンも捨てておいて。 薬は最初は視界の外にあります。HomeBodyは保存されたキーフレームを使用して引き出しの位置を特定し、薬を取り出して人に渡し、その後カートンを廃棄します。部屋の反対側では、右手を引き出しの取っ手に使って引き出しを開け、左手でカートンを廃棄します。両腕を使い分けることで、体の両側にあるターゲットにアクセスできます。 隠れたオブジェクト 記憶の検索 右手での引き出し開け 左手でのカートン廃棄 左手・右手のスキル シミュレーション G1探索 iPhoneビュー ‹ › 冷蔵庫の壁 シミュレーション G1探索 iPhoneビュー ‹ › ガラスコーナーシンク シミュレーション G1探索 iPhoneビュー ‹ › アイランドとキッチン シミュレーション G1探索 iPhoneビュー ‹ › 部屋の概要 シミュレーション G1探索 iPhoneビュー ‹ › 2番目のアイランド SKILL 01 REAL ROBOT · 1.25× 掴む エゴ画像で選択されたオブジェクトを掴んで持ち上げます。 SKILL 02 REAL ROBOT · 1.25× 置く 掴んだオブジェクトを選択された3Dリリースポイントに移動させます。 SKILL 03 REAL ROBOT · 1.25× · retry 引き出しを開ける\n取っ手に視覚的に合わせ、引っ掛け、後ろに歩いて引き出しを開けます。 SKILL 04 REAL ROBOT · 14× → 4× 引き出しから取る\n開いた引き出しに手を伸ばし、選択したオブジェクトを端から持ち上げます。 SKILL 05 REAL ROBOT · 1.25× ナビゲート Real2Simマップ内の場所に計画されたルートをたどります。 独自のスキルを追加する 学習済みポリシー、古典的なアルゴリズム、または共有インターフェースを介した別のコントローラーを接続します。HomeBodyのVLMは、既存のスキルと連携させて新しいタスクを実行できます。