Genie 4: 世界シミュレーションの新世代

Genie 4: 世界シミュレーションの新世代

2026年10月27日 モデル

Raia Hadsell, Diego Rivas, Hang Qi

本日、私たちは新しい世界モデルであるGenie 4を発表します。これは、前例のないリアリズムを解き放ち、リアルタイムのインタラクティブシミュレーションを向上させます。Genie 4はネイティブにマルチモーダルであり、オーディオライクな音楽、環境音、インタラクティブな対話を、世界と同時に生成することを可能にします。

Genie 4モデルは、Geminiファミリーの能力を取り込み、それを拡張しています。Gemini Omniは、シミュレーションを現実世界の見た目と振る舞いに根ざしたものにし、他のGeminiモデルは、シミュレーションの一貫性と連続性を維持するために必要な複雑な推論を提供します。

この基盤により、イベントを開始すると、Genie 4は次に何が起こるかをシミュレートします。世界がどのように反応するか、どのように聞こえるか、そしてそこにいる人々がどのように動き、反応し、話すかです。

世界を理解しシミュレートすることは、AGI（汎用人工知能）を構築する上で極めて重要な側面です。Genie 4は、ロボットやエージェントのトレーニング環境の開発から、新しいインタラクティブ体験の創出まで、あらゆるものを支援できる、安全で無限に変化するシミュレーションを作成する能力を進歩させます。

私たちは、信頼できるテスター向けのプレビューとしてGenie 4の展開を開始しました。消費者や開発者へのリリースに先立ち、フィードバックを収集しています。まずはProject GenieのGoogle AI Ultra加入者、およびGemini APIとGoogle AI Studioの早期アクセスパートナーから提供を開始します。Project GenieでのGenie 4の待機リストにこちらからご参加ください。

Genie 4は、強化されたフォトリアリズム、流暢な動き、ネイティブオーディオを提供します。上記のすべての付随するサウンドは、Genie 4によって直接生成されています。

Genie 4は4つの主要な能力を進歩させます

以下は、Genie 4からのリアルタイムインタラクションの録音です。ユーザーは標準的なキーボードコントロールを使用してナビゲーションとカメラコントロールを行い、テキストプロンプトを使用して進化するシーンを誘導します。

世界シミュレーションをリアルタイムで形成する

Genie 4を使用すると、自然言語を使用してシミュレーションをリアルタイムで変更できます。例えば、天候を変更したり、カメラを移動させたり、新しい人物やオブジェクトを導入したりすると、Geminiはプロンプトを文脈に合わせて周囲のシーンに適合させます。ユーザーの入力の間、Geminiはシーンを監視し、世界が一貫して進行するように誘導します。

物理学と人間の行動におけるリアリズムのフロンティアを押し広げる

Genie 4は、リアルタイムインタラクティブシミュレーションに新しい基準のリアリズムをもたらします。世界の高度な物理的理解に基づいて構築されたGenie 4は、空気力学、衝突など、現実世界の物理シナリオをシミュレートします。

最も劇的な飛躍は、Genie 4が人間をシミュレートする方法です。自然に動き、環境に有機的に反応し、リアルタイムでインタラクティブに操作できるキャラクターを作成します。

世界の音をモデル化する

Genie 4は、オーディオをネイティブに生成する最初のリアルタイム世界モデルです。すべての世界は、木々の風の音からビーチの波の音まで、その設定固有の環境音を運びます。

しかし、真のフロンティアは人間のスピーチです。Genie 4は、その場で適応するインタラクティブな対話を紹介します。キャラクターは、リアルタイムで会話したり、ユーザーの入力や世界のイベントに反応したりします。

Geminiモデルによる複雑なイベントのシミュレーション

GeminiとGenie 4を組み合わせることで、世界シミュレーションに新しいレベルの推論が追加され、複雑な多段階イベントをモデル化し、AIシステムが現実世界に持ち込む前にさまざまな環境をどのようにナビゲートするかをテストできるようになります。

これをリアルタイムで達成するために、Gemini 3.8 Flashはループ内のガイドエージェントとして機能します。Genie 4がリアルタイムで世界を生成するにつれて、Geminiはシーンを継続的に観察し、目標をステップのシーケンスに分解し、受信フレームをレビューして進捗を追跡し、各ステップが成功したことを確認します。世界が変化したり、ユーザーが介入したりすると、Geminiはその場で計画を適応させ、信頼できる因果関係、手続き的な動作、および多段階推論を備えた世界を解き放ちます。

この能力を探求する一環として、私たちはGemini 4 ArgonとGenie 4を実験し、最先端の研究をGemini Roboticsと統合しています。

以下の例では、Argonはユーザーが指示したタスクをステップに分解してGenieにレンダリングさせます。これらのステップは、シミュレーションがレンダリングされている間、Genie 4へのテキストキャプションとしてインターリーブされます。Genie 4はGeminiを使用してテキストキャプションでリアルタイムに操作できるため、タスク完了に向けてシミュレーションが進むにつれて、シミュレーションを適応させる道が開かれます。この機能は、Gemini 4 ArgonとGenie 4を使用して、想像上の世界でさまざまなシナリオをシミュレートするための道となります。

Gemini 4 ArgonとGenie 4は協力して、ApptronikのヒューマノイドApolloがチェッカーゲームをプレイする様子をシミュレートし、タスクをリアルタイムのステップに分解します。

信頼できるテスターからの学び

Genie 4は主要な研究マイルストーンですが、まだ初期の実験的なモデルです。インタラクティブな世界モデルが現実世界のワークフローをどのようにサポートできるか、そしてまだどこで成長する必要があるかを理解するために、私たちはクリエイティブ産業、ジャーナリズム、教育、ゲーム、エンジニアリングの信頼できるテスターのグループと協力してきました。

テスターは、フォトリアリズム、ネイティブオーディオ、リアルタイム操作の飛躍が、アイデアやコンセプトを現実的なシミュレーションに変え、さまざまな分野で新しい能力を解き放つことを強調しました。

• クリエイティブディレクション: クリエイティブ担当者や技術者は、Genie 4をプリビジュアライゼーションやアイデア出しのための迅速な「ドラフトモード」としてテストしています。例えば、映画製作者は、シーンのライブシミュレーションに入り、カメラアングル、照明、セリフ、アクションをその場で調整しながら、リアルタイムで複数の「テイク」を実行できます。
• 歴史的シナリオと没入型写真: フォトジャーナリストは、単一の2Dアーカイブ写真が数秒でその環境の現実的なシミュレーションにどのように変わるかを調査しています。チームは、人口が多く動的な世界が、歴史的な空間を体験したり、鉄砲水や山火事のような短期的な環境イベントがどのように展開するかを視覚化するのにどのように役立つかをテストしています。
• インタラクティブ体験コンセプトデザイン: ゲーム開発者やクリエイティブテクノロジストは、Genie 4を初期のアイデアから数秒で探索可能なプロトタイプに移行させるためにテストしており、コードを一行も書く前に、自然言語プロンプトを通じてビジュアルスタイル、素材の美学、インタラクティブなメカニズムをテストしています。
• シミュレーション: ロボット工学の研究とは別に、さまざまな業界のエンタープライズパートナーは、Genie 4を迅速な「ゼロからイチ」のシナリオ生成ツールとして評価し、そのシミュレーションニーズを最大限に満たすためにGenieをさらに改善すべきギャップを特定しています。

将来の作業: ハイブリッド世界モデルに向けて

将来の進歩のための有望な道は、コードと言語モデルの論理的で構造化された推論と、ピクセルレベルのシミュレーションの豊かで感覚的な表現を組み合わせたハイブリッド世界モデルにあります。

GenieとGeminiモデルをより近づけることは、この方向への初期のステップです。Geminiは舞台裏で構造をマッピングし、物語のタイムラインを計画する一方、Genieは即時の物理的現実を生成し、世界がどのように見え、聞こえ、反応するかをピクセルごとにレンダリングします。これらの補完的な強みが組み合わさることで、どちらかのアプローチだけでは達成できない、はるかに一貫性があり、制御可能で、根拠のある新しいクラスの世界モデルを解き放つことができます。

世界モデルを責任を持って構築する

Genie 4は、リアルタイム生成とフォトリアリズムを融合させた最先端研究の新しい領域を示しており、私たちが責任ある方法で展開し探求したい新しい範囲の機能と次元を導入しています。Genie 4には、他のモデルの安全ポリシーと一致する厳格な安全ガードレールが含まれています。このプレビューをリリースする前に、有害または悪意のあるコンテンツの生成を防ぐために、厳格な社内安全評価を通じてGenie 4を評価しました。また、モデルをより広くリリースする前に、早期のフィードバックを得るために、意図的に信頼できるテスターパートナーに最初に展開しました。

透明性を維持するために、Genie 4によって生成されたすべてのビデオおよびオーディオには、視覚およびオーディオモダリティ全体でAI生成コンテンツを識別するのに役立つ、知覚できないデジタルウォーターマーキング技術であるSynthIDが含まれます。

現在の制限を理解する

Genie 4は、依然として初期の進化する研究分野です。

短いセッションで一貫した環境を維持できますが、特にシミュレーションが長時間実行された後、複数の複雑なプロンプト編集の後、またはシーン全体をナビゲートする際に、視覚的な詳細とオブジェクトの永続性がシフトまたはドリフトする可能性があります。複雑な物理的相互作用、リアルタイムオーディオ精度、判読可能なテキストのレンダリング、空間精度、および長期的な一貫性は、進行中のアクティブな研究分野です。私たちは、コミュニティと共に学び、インタラクティブシミュレーションのフロンティアを安全に進歩させるために、Genie 4をプレビューとして共有しています。

Genie 4の次のステップ

Genie 4は信頼できるテスター向けのプレビューとしてリリースされており、まもなくProject GenieのGoogle AI Ultra加入者、およびGemini APIとGoogle AI Studioの早期アクセスパートナーに提供されます。Project GenieでのGenie 4の待機リストにこちらからご参加ください。

ユーザーが内部に入り、実験し、独自のインタラクティブな世界をすぐに構築できることを楽しみにしています。

謝辞

Genie 4は、Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem、Carol Zhengによるコアな貢献により実現しました。

Genie 4は、パートナーチーム間の緊密な協力も必要としました。このローンチを可能にしてくれたすべての部門横断的なパートナーに感謝します。Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、Inês Ayer、Luke Talbot、Han-Yun Tsao、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh、Chambers。

Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu、Demis Hassabisには、研究プロセス全体を通じて貴重なガイダンスとサポートを提供していただき、感謝いたします。

最後に、私たちの研究を前進させるためのフィードバックを提供してくれた信頼できるテスターおよび早期アクセスユーザーに感謝します。

---