ロボティクス向けGemini 4 Argon

ロボティクス向けGemini 4 Argon 2026年10月13日 Kanishka Rao プリンシパルソフトウェアエンジニア 共有 Facebook Twitter LinkedIn メール Gemini 4 Argonは、物理的理解、コード生成、視覚的意味論的推論における段階的な進化を示し、ロボティクススタック全体にわたる新しいワークフローを解き放ち、物理的AGIへの進歩を加速させます。 この能力の飛躍は、3D環境における物理的、空間的問題を理解し解決するモデルの能力をテストするEmbodied Reasoning (ERQA) ベンチマークで見ることができます。純粋な推論のみを使用した場合、Argonは87%を記録し、他のすべての最先端モデルを上回っています。汎用的な物理推論モデルとして、Argonはロボティクスライフサイクルの全体に適用できます。この記事では、Argonの4つの主要分野にわたる代表的なプロンプトを紹介します。 ロボット制御 → MuJoCoでの練習、ゼロショットロボット制御、ビデオ世界モデルの閉ループステアリングによるモバイル操作。 Real2Sim → ロボットカメラフィード、自己中心的な人間のビデオ、または手描きのスケッチから物理的にキャリブレーションされたシミュレーションツインを再構築。 物理的理解 → 器用さ、密な価値関数、進捗推定の詳細な理解を含む、エージェント的なマルチモーダル後知恵ラベリング。 研究と自己改善 → シミュレーションによるアクション改善と、ハードウェアでの反復的な自己改善。 Argonによるロボット制御の解禁 1. Spotモバイル操作：MuJoCoでの練習によるゴミ箱への投入 Argonは、Boston Dynamics Spot®四足歩行ロボット（12自由度の脚 + 6自由度のアーム）を制御して、新しいスキルを学習させます。それは、足踏み式ゴミ箱に乗り、ソーダ缶を捨てることです。Argonは、足踏み式ゴミ箱の関節式MuJoCoデジタルツインを作成し、物理的なペダルを踏んでソーダ缶を開いたゴミ箱に落とす前に、その動きを練習します。 Sorry, your browser doesn't support playback for this video Spot Mobile Manipulation — Real-to-Sim-to-Real foot-pedal trash bin disposal: Spot picking up the soda can, checking its wrist camera, practicing 3-leg tripod balance in MuJoCo, stepping on the foot pedal, verifying hand centering in the open bin, and dropping the can inside. プロンプト：あなたの後ろにダイエットコークの缶が1本、左の黒いテーブルの上に1本あります。Spot-mobile-manipulationスキルを使用してそれらを拾い上げ、黒い足踏み式ゴミ箱に捨ててください。ペダルを踏む前に、前面カメラで前右足のターゲットがペダルの中央にあることを確認し、2エージェント検証スワーム（フット検証者とハンド検証者）を使用して、足踏みペダルのステップと3Dハンド・イン・ビン・アライメントの両方を検証してからリリースしてください。 Plain text Copied 2. ゼロショット制御 Argonは、シンプルなロボットアームを制御して、倒れたマグカップを直立させ、丸められたナプキンを中に入れます。Argonは、視覚座標ハーネスとアクションプリミティブを使用して、数ターンの間このタスクを実行します。 Sorry, your browser doesn't support playback for this video 左：3人称のロボットビュー；右：投影された2cmの世界座標と顎閉じレティクルを備えたキャリブレーションされたリストカメラ。 プロンプト：[添付：wrist_cam.png, obs.json] タスク：ロボットアームにマグカップを直立させ、ナプキンをマグカップの中に入れるように指示してください。 ## Execution Discipline - 最初のターンでは、1文の観測の直後に`curl`コマンドを出力してください（ターン1では`# Plan:`、それ以降のターンでは`# Thought:`を使用）。必要なものはすべて`obs.json`と、`wrist_cam.png`に描かれたキャリブレーションされたレティクル/グリッドにあります。 ## Visual Coordinate Reference (Annotated on wrist_cam.png) - `+X` (画像の上方向): ロボットベースから離れる方向 | `-X` (下方向): ロボットベースに向かう方向 - `+Y` (画像左方向): 世界の左方向 | `-Y` (画像右方向): 世界の右方向 - `+Z`: テーブルからの高さ - `黄色の数字`: 世界の(X, Y)座標（センチメートル単位、`grid_z`での2cmグリッド） - `シアンの十字線`: 現在の3Dピンチ中心 - `シアンの[+]ブラケット`: 現在の顎の開閉ライン - `緑色の線`: 現在のオブジェクトの長軸方向（`yaw_deg`: 0° = +X方向に垂直、90° = +Y方向に水平） - `pitch_deg = 90°`: 真下（-Z）を向いたトップダウンでの把持/配置；`pitch_deg < 60°`: 指軸に沿った傾斜したアプローチ ## Closed-Loop Turn Workflow 1. 現在の状態を確認し、`wrist_cam.png`を表示：`curl -s http://127.0.0.1:8081/obs`（`ee_pos`、`holding`、`status`、`workspace`、`wrist_cam_path`を返します）。 2. 最初のターンでVLM呼び出しの粒度を事前に選択します： - 大まか（2〜4回呼び出し）：`look_at` → `grasp` → `place` → `done` - 把持前ホバー検証（4〜7回呼び出し）：`look_at` → `goto(z=0.04)`（シアンの`[+]`ブラケットがターゲットを跨いでいることを確認） → `grasp` → `place_until_contact` → `done` - 細かい視覚サーボ（8〜20回呼び出し）：`look_at` → `grasp` → 事前姿勢`goto` → クローズドループ`move_by` / `move_until_contact` → `done` 3. モーションプリミティブ（`POST /plan`）を送信し、更新された`wrist_cam.png`で各ターン後に視覚的に検証します。`status == "grasp_failed"`の場合、`robot.look_at(...)`を呼び出して再観測し、クローズドループを回復します。 ## Code-as-Policies Primitives (`POST http://127.0.0.1:8081/plan`) robot.look_at(x=0.35, y=0.13, z=0.14, grid_z=0.015) x, y = robot.deproject(u=0.52, v=0.48, z_plane=0.015) robot.grasp(x=x, y=y, z=0.015, yaw_deg=-35, pitch_deg=90) robot.place(x=0.24, y=0.06, z=0.075) robot.place_until_contact(x=0.24, y=0.06, z=0.015, max_lag=0.012, relief=0.002) robot.goto(x=0.28, y=0.05, z=0.04, arc_z=0.14, pitch_deg=25, azimuth_deg=90, roll_deg=0, speed=0.10) robot.move_by(forward=0.025, dz=-0.002, dpitch_deg=-3, droll_deg=5, speed=0.04) robot.move_until_contact(dz=-0.06, speed=0.03, max_lag=0.012, relief=0.002) robot.open_gripper() / robot.close_gripper() / robot.home() / robot.done() Plain text Copied 3. オムニ制御 Argonは、Gemini Omni World Model内のロボットを操作して、散らばった5つのスクラブルタイル（G、R、A、N、O）をきれいに並べてARGONという単語を綴らせます。静的な単一のプロンプトを指定する代わりに、Argonは閉ループの視覚ループで操作します。タイムスタンプ付きのアクションプロンプトを書き込み、中間的なロールアウトキーフレームを検査し、プロンプトを洗練させます。 Sorry, your browser doesn't support playback for this video Iterative Video World Model Steering Dexterous Hands: 33-Step Steered Video Rollout Spelling A-R-G-O-N. プロンプト：目標：{task_goal} あなたはビデオ世界モデル（Gemini Omni）を反復的な視覚フィードバックループで操作しています。最新のロールアウトから添付されたフレームを検査し、ビデオ世界モデルの次のタイムスタンプ付きアクションプロンプトを記述してください。 - 複雑な動きを一度に1つの単純で単一方向のアクションに分解してください。 - 非アクティブな手は引っ込めておき、ワークスペース内のオブジェクトのカメラビューをブロックしないようにしてください。 - オブジェクトが移動した後にワークスペースのどの領域が空になるかを明示してください。 - 各アクションビートに[MM:SS.mmm]のタイムスタンプを使用し、出力を`<omni_prompt>`タグで囲んでください。 例のフォーマット（サンプルタイムスタンプのみ、完全なプロンプトではありません）： <omni_prompt> [00:00.000] キャラクターAの左手は横に置かれ、右手はターゲットオブジェクトに向かって伸びています。 [00:02.500] キャラクターAの右手はオブジェクトをテーブルの中央にスムーズに押し込み、その開始領域を空にします。 [00:05.000] キャラクターAの右手は開き、横に引っ込められ、配置されたすべてのオブジェクトがカメラから見えるようにします。 </omni_prompt> Plain text Copied Real2Simの解禁とArgon 1. ロボットビューからシミュレーションへ Argonは、実際のロボット遠隔操作エピソードを観察し、デジタルツインを開発します。それは、器用な手との接触時に実際のオブジェクトのように見え、振る舞うシミュレーションアセットを取得または作成します。Argonは、実際の記録データとの視覚と接触イベントを一致させるために、アセットとシーンを調整します。これは反復的な視覚推論ループで行われます。 Sorry, your browser doesn't support playback for this video 左（リアルビュー）：同期された実際のロボットカメラフィード；右（シミュレート）：Argonによって再構築およびキャリブレーションされた3D MuJoCoシーン。 プロンプト：[添付：robot_rollout_episode] ロボットと再構築されたタスクオブジェクトのMuJoCoシーンを構築してください。各エピソードがフレームごとにリプレイされるとき、ロボットジョイントを`observation.state`のログに従ってジョイントスペースPDで駆動します。2つの検証目標を使用して反復します：（1）視覚