HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

ある程度、あらゆるものをシミュレーションする:ワールドモデルの可能性と限界

Simulating everything, sort of: The promise and limits of world models (arstechnica.com)

27 pointsby LorenDB1 コメント

要約

近年、AI分野では大規模言語モデル(LLM)に加えて、「ワールドモデル」と呼ばれる、物理世界またはその近似をシミュレーションすることを目指す新しいAIシステムが注目を集めています。LLMが言語処理に特化しているのに対し、ワールドモデルはロボット工学、研究、資産生成などの具体的な応用から出発し、物理的な相互作用や空間的理解を伴うリアルタイムなシミュレーションを可能にすることを目指しています。この新しい技術は、LLMの限界を克服し、AIの次のフロンティアとして期待されていますが、その定義やインターフェースについてはまだ発展途上です。

全文翻訳

あらゆるものをシミュレートする、ある意味で:ワールドモデルの可能性と限界

ベット

専門家がその仕組み、できること、そしてまだ未解決な点を解説します。

[画像]

Credit: Aurich Lawson | Getty Images

Credit: Aurich Lawson | Getty Images

過去数年間、多くの人々が、現在「人工知能」と呼んでいるものについて集中的に学んできました。しかし、それは主に大規模言語モデル(LLM)に関するものでした。しかし近年、LLMだけが大きな期待、巨額の資金調達、そして多大な研究開発の対象となっているAIのカテゴリではなくなりつつあります。

過去1年間で、「ワールドモデル」と呼ばれるカテゴリで数多くの新しい発表が見られ、今後数ヶ月から数年にかけて、この分野でさらに多くの動きが見られるでしょう。

ワールドモデルは、言語を扱うLLMとは異なり、あるいはそれに加えて、物理世界、あるいは少なくともその有用な近似をシミュレートできるAIシステムの基盤を築くことを目指しています。

このアイデアの何が異なり、重要なのかを検証するために、Arsはワールドモデルおよび関連技術に取り組んでいる3人の専門家に話を聞きました。MITのVincent Sitzmann氏、RunwayのAnastasis Germanidis氏、そしてWorld LabsのBen Mildenhall氏です。

これらの会話から、LLMベースの製品がインターフェース(チャット)から始まり、ユースケースを模索したのに対し、現在のワールドモデルの主要プレイヤーは逆の方向で作業していると言えます。彼らはロボット工学、研究、アセット生成といった特定のユースケースから始めていますが、最終的にインターフェース、システム、ツールがどのような形になるかはまだ明確ではありません。

目次

LLMへの幻滅からの脱却

これからわかるように、ワールドモデルとLLMの間には、アーキテクチャや時間の経過とともにどのように改善されるかという点で多くの類似点があります。しかし、一部の人々にとっては、ワールドモデルはLLMの限界に対する潜在的な答えと見なされています。ただし、その研究は現代の物語よりも前から存在していました。

「LLMの能力を人間の知能レベルまで拡張するという考えは、全くのナンセンスだ」と、元MetaのチーフAIサイエンティストであるYann LeCun氏は今年の初めにWiredに語りました。LeCun氏はAIやLLM分野で働く一部の人々からは異論を唱えられるような意見で波紋を呼んでいますが、実際にはこの分野の相当数の意見を代弁しています。

ワールドモデルに取り組む新しい企業の1つであるWorld Labsの共同設立者であり、コンピュータビジョンのパイオニアであるFei-Fei Li氏も同様です。昨年末のSubstackの投稿で、彼女は次のように書いています:

今日、大規模言語モデル(LLM)のような最先端のAI技術は、抽象的な知識へのアクセス方法や作業方法を変革し始めています。しかし、それらは暗闇の中の言葉遣い屋のままであり、雄弁ではあるが経験がなく、知識は豊富だが根拠がありません。空間知能は、現実世界と仮想世界を創造し、相互作用する方法を変革し、物語、創造性、ロボット工学、科学的発見などを革命化するでしょう。これがAIの次のフロンティアです。

LeCun氏とLi氏のベンチャーはこれらのアイデアに基づいて構築されているため、彼らがこのような発言をするのは驚くことではありません。しかし、LLMを中心に活動している著名な人物からも同様の意見が見られます。

「私たちはLLMのバブルの中にいると思います。そして、そのLLMのバブルは来年破裂するかもしれません」と、あらゆる種類のLLMのリポジトリをホストするプラットフォームであるHugging FaceのCEO、Clem Delangue氏は述べています。

「しかし、『LLM』は、AIを生物学、化学、画像、音声、[そして]ビデオに応用するという点では、AIのサブセットにすぎません」とDelangue氏はカンファレンスで付け加えました。「私は、私たちがその始まりにいると考えており、今後数年間でさらに多くのものが見られるでしょう。」

金融の激流

ここ数ヶ月だけでも、ワールドモデルは研究トピック(もちろん、現在もそうですが)から、新しい商業プロジェクトや巨額の資金調達の基盤へと進化しました。いくつかの主要な例を挙げます。

  • 8月、Google DeepMindは、ビデオ生成モデルの基盤の上にリアルタイムのインタラクティブ性を構築するモデルであるGenie 3を発表しました。
  • 11月、World Labsは、テキスト、画像、ビデオ、またはその他のアセットの入力を基に、没入型環境を生成し、3DアセットとしてエクスポートできるモデルおよびツールセットであるMarbleを発表しました。
  • そのわずか1ヶ月後、ビデオ生成および映画制作AI企業であるRunwayが、Runwayの過去のビデオモデルの作業を基に構築された3つの特殊なワールドモデルのファミリーであるGWM-1を発表しました。
  • さらに最近では、Yann LeCun氏が、AIシステムの真の未来は、言語だけでなく物理世界と相互作用する(あるいは少なくともそれをシミュレートする)モデルにあるという考えに賭ける会社、Advanced Machine Intelligence (AMI) を設立しました。

これらの取り組みや類似の取り組みは、相当な資金を調達しています。World LabsとAMIは、それぞれ2月と3月に約10億ドルを調達したと報じられており(2月) (3月)、Runwayも2月に3億1500万ドルを調達しました。

ワールドモデルに関する活動の一部は、少なくとも表向きはAGI(汎用人工知能)や超知能の基盤を構築することを目指していますが、それに取り組んでいる人々のほとんどは、ロボットのトレーニング、テスト、駆動、ゲーム開発や映画制作のための3Dアセット生成、科学シミュレーションやモデリングなど、実用的なアプリケーションについて話しています。

「ワールドモデル」は、明確な定義なしにしばしば使われる包括的な用語であることに注意することが重要です。

「ワールドモデル」の定義

「それは間違いなく過負荷な用語です」とVincent Sitzmann氏は、ワールドモデルの背後にある研究と概念について、私との長い会話の中で語りました。

Sitzmann氏はMITの准教授であり、ニューラルレンダリング、ビジュアルコンピューティング、ロボット工学に関する研究を発表しています。彼はMITのコンピュータサイエンス・人工知能研究所(CSAIL)内のシーン表現グループを率いています。

[画像]

Vincent Sitzmann氏はMIT CSAILのシーン表現グループを率いています。

Vincent Sitzmann氏はMIT CSAILのシーン表現グループを率いています。Credit: MIT

定義を求められた際、彼はワールドモデルを「ある環境で次に何が起こるかをシミュレートすることを可能にする、相互作用を入力として受け取るモデル」と単純に説明しました。

Runwayは12月にGWM-1モデルファミリーを発表した際、ワールドモデルを「環境の内部表現を構築し、それを使用してその環境内での将来のイベントをシミュレートするAIシステム」と定義しました。さらに、「一般的なワールドモデルの目標は、現実世界で遭遇するもののような、幅広い状況や相互作用を表現し、シミュレートすることです」とRunwayは付け加えました。

私はまた、World Labsの共同設立者であり、元Googleのコンピュータビジョンおよび物理学研究者、そしてニューラルラディアンスフィールド(NeRF)の共同作成者であるBen Mildenhall氏にも話を聞きました。NeRFは、2D画像からナビゲート可能な3Dシーンを、微分可能で機械学習のコンテキストで有用な形式で構築する方法です。

[画像: フードをかぶった人々のグループが一緒に写真を撮っている]

World Labsチームの集合写真。黒いフードをかぶっている左側と中央がBen Mildenhall氏。その左隣、こちらも黒いフードをかぶっているのは共同設立者のFei-Fei Li氏です。

A group shot of the World Labs team. Left and center in the black hoodie is Ben Mildenhall; to his left, also in a black hoodie, is co-founder Fei-Fei Li. Credit: World Labs

「LLMからそれを区別する重要な点は、空間的で、より良い言葉が見つからないかもしれませんが、連続的な理解の度合いを示すことです」と彼は言いました。「LLMと対話する上で非常に特徴的な側面は、それらがターンベースであることです。」つまり、ユーザーがテキストを入力し、一時停止があり、その後テキストのブロックが返ってきます。対照的に、彼はワールドモデルを同期したリアルタイムシステムと見なしています。

「ワールドモデルを定義するものは、空間世界と相互作用する際の自由度であり、A、B、A、B、A、Bという媒介された線形な旅をしないことです」と彼は言いました。ユーザーまたはエージェントがワールドモデルを使用している場合、彼らは「それが一種の世界であるかのように実際に相互作用しており、連続的なアクションを取っている」と彼は述べ、「同時に並行して物事が起こっている」と付け加えました。

Mildenhall氏の共同設立者であるFei-Fei Li氏は、ワールドモデルを定義する3つの基準があると書いています:ワールドモデルは「知覚的、幾何学的、物理的に一貫性のある世界を生成できる」、「設計上マルチモーダルである」、「入力アクションに基づいて次の状態を出力できる」ことです。

このフレーズ自体は新しくありません。環境ダイナミクスを予測するモデルを説明するために、強化学習やロボット工学で長い間使われてきました。新しいのは、そのアイデアを汎用的な生成システムにスケールアップし、膨大な視覚およびマルチモーダルデータでトレーニングしようとする試みです。巨額の資金調達も比較的最近のことです。

真実は、アプローチや定義が多数存在することです。「Runwayに尋ねて、私たちに尋ねて、誰にでも尋ねてみてください。それぞれ少しずつ違う言葉で説明するでしょう」とMildenhall氏は言いました。

さらに、「ワールドモデル」が技術的な用語であると同時にブランディング用語にもなりつつあることに注意することが重要です。それは、アクション条件付きビデオ生成から3Dアセット作成、ロボットポリシー評価まで、あらゆるものをカバーできるマーケティングラベルとして使用されています。1つの基盤モデルがこれらの問題の多くを解決できるという確信がありますが、企業は異なる技術的問題をさまざまなアプローチで解決しながらこの用語を使用しています。

ビデオの基盤

「今日、ほとんどの人が『ワールドモデル』と言うとき、それはピクセルを生成すること、つまり、アクションの条件付きでリアルなビデオを生成することを意味します」とSitzmann氏は言いました。

過去数年間で、ビデオ生成モデルは勢いを増してきました。例えば、Runwayは、映画制作者、広告主、その他のクリエイティブ分野で使用されているビデオモデルおよび関連ツールを作成する企業としての評判を築きました。今やその焦点は、同社がGWM-1のようなワールドモデルに焦点を当てるために、これらの分野を超えて拡大する意向を明確にしたように、来年に向けてロボット工学などの応用を目指しています。

それは急な横方向のピボットのように見えるかもしれませんが、これらのワールドモデルがどのように開発されているかを考えると、それは自然な次のステップです。多くの場合、それらは以前に行われたビデオモデルの作業の直接的な拡張です。

「短編ビデオ生成タスクを超えた何かがあることに気づき始めた瞬間の1つは、カメラコントロールをリリースしたときでした。シーン内のカメラの動きを指示できるようになりました」と、RunwayのCTOであるAnastasis Germanidis氏は、12月にGWM-1について話したときに語りました。「それは、ビデオゲームのように、この世界を探索していて、移動しているような感覚になり始めました。単にビデオを作成しているというより、モデルによって継続的にレンダリングされている環境を探索しているような感覚でした。」

[画像: 黒いフードをかぶった男性がステージ上で話しながらジェスチャーをしている]

Runway CTOのAnastasis Germanidis氏がCerebral Valley Voice Summitで講演。

Runway CTOのAnastasis Germanidis氏がCerebral Valley Voice Summitで講演。Credit: Newcomer AI Summits

ほとんどのビデオ拡散モデルは、多くのフレームを同時に生成し、一度にシーケンスをノイズ除去します。

(ノイズ除去は、多くのAI画像およびビデオジェネレーターの背後にあるコアメカニズムです。モデルは、静止画のようなランダムノイズの画像またはフレームから始まり、ノイズ除去プロセスは、トレーニング中に学習したパターンによってガイドされ、画像が完成した出力に解決されるまで、クリーナーバージョンを反復的に予測します。)

このアプローチは、過去のフレームだけでなく、将来のフレームがどうあるべきかという文脈だけでなく、すべてのフレームが生成されるため、一貫性と品質に利点があります。これは固定長のビデオ生成には適していますが、ワールドモデルが必要とするオープンエンドなシミュレーションとインタラクティビティには適していません。ユーザーが入力で意味のある介入を行い、即座の結果を見る方法はありません。

ビデオベースのワールドモデルで広く採用されている答えは、自己回帰拡散です。これは依然としてノイズ除去プロセスですが、フレームは逐次的にノイズ除去されます。

Germanidis氏は、GWM-1がどのように機能するかを説明する際に、次のように述べています。

すべてのフレームを一度に生成することで…未来が過去に影響を与えることができます。作成するものに因果関係はありません。したがって、私たちがGWMで採用しているアプローチである自己回帰拡散との違いは、基本的に一度に1つまたは少数のフレームをノイズ除去していることです。そのため、これらのフレームをノイズ除去し、ユーザーに提示し、ユーザーは次のフレームに影響を与えるアクションを提供できます。

このアプローチにはいくつかの欠点もあります。各フレームバッチは完全なノイズ除去プロセスを必要とし、各フレームはユーザーが入力に対してタイムリーな応答を体験できるように十分に速く解決する必要があるため、計算コストが非常に高くなります。

さらに、シミュレーションは時間とともにドリフトし、初期フレームの情報を忘れてしまいます。「部屋にいて、部屋を出て、部屋に戻るとき、部屋のすべての詳細がモデルのコンテキストとメモリ内に保持されていることを確認する必要があります」とGermanidis氏は述べています。

これらは、最大かつ最先端のフロンティアモデルでさえ、まだ解決されているしわです。

ビターレッスン

「私たちの全体的なアプローチは、3Dの一貫性とステートフルネスは、スケールと単に2Dピクセルを予測することから生じるべきだということです」とGermanidis氏は述べています。「そのため、可能な限り、このモデルをガイドするために3D表現が必要であることをモデルに明示的に伝える特定のテクニックを導入しないように努めるべきです。」

これは、コンピュータサイエンティストで強化学習のパイオニアであるRichard Sutton氏による短くも影響力のあるエッセイに由来する、この分野で広く受け入れられている考え方である「ビターレッスン」を反映しています。

[画像]

コンピュータサイエンティストで強化学習のパイオニアであるRichard Sutton氏が2025年にサンディエゴで講演。

コンピュータサイエンティストで強化学習のパイオニアであるRichard Sutton氏が2025年にサンディエゴで講演。Credit: "SD 2025 – Richard Sutton 01" by Xuthoria is licensed under CC BY-SA 4.0.

複数の歴史的例を引用して、Sutton氏は、研究者の直感はしばしば、AIシステムを設計する際に、世界や私たち自身の心に関する人間の事前知識を明示的に組み込もうとしますが、それは「ムーアの法則により、大規模な計算が可能になり、それを有効活用する方法が見つかったとき、最終的には逆効果であり、研究者の時間を膨大に浪費することが証明された」と主張しました。

「検索と学習によって計算をスケーリングする反対のアプローチによって、最終的な進歩が到着するとき…その最終的な成功は苦味を帯びており、しばしば完全に消化されていません。なぜなら、それは好まれた人間中心のアプローチに対する成功だからです」と彼は書きました。

それは、明示的なジオメトリや物理学が製品やハイブリッドシステムで役に立たないという意味ではありません。多くの研究者は、よりスケーラブルな目的がデータから有用な構造を学習できる場合、手作業で指定された人間の抽象化を中心にコア学習問題を構築することを警戒しているということです。

これは、現在のAIスプリングの多くを支える重要な考え方です。例えば、LLMには、文法に関する堅牢で明示的な処方箋や、データセット内のすべての知識ポイントについて何が重要でなぜ重要なのかを解釈するための過度に構造化されたマップは与えられていません。代わりに、それらは、増大するスケールの膨大な計算能力によって促進される、それ自体でそれを解決するための方法論を与えられています。

Sitzmann氏は、これが、明示的な3Dデータや物理法則の定式化をワールドモデルのトレーニングの基盤とすることに反対する議論の礎でもあると信じていると語りました。彼は次のように主張しました。

多くの、多くの、実際にはこの場合、文字通り数千年にわたる研究を通じて、私たちは世界が3次元であることを理解し、光がどのように跳ね返ってカメラに小さな画像を生成するかを理解したことを非常に誇りに思ってきました。それが、これらのアルゴリズムにそのような3D表現を持たせ、私たちのすべてのノウハウを活用したい理由です。しかし、結局のところ、ビターレッスンは、それが誤謬である可能性を示唆しています。なぜなら、結局のところ、あなたが気にかけているのは入力と出力の振る舞いだからです。そして、特定の入力と出力の振る舞いに対して、私たちが心の中で作り出したものが実際には正しい方法ではないことが判明します。

この理由やその他の理由から、今日ワールドモデルに取り組んでいる多くの研究グループや企業は、Germanidis氏が説明したプロセスと非常に似たプロセスを使用しています。しかし、すべてのワールドモデルがユーザーにビデオを出力することを目的としているわけではありません。

ビデオを超えて

「ピクセルを生成することが、ある程度は最も重要なことではないかもしれないので、それを理解する他の方法もあります」とSitzmann氏は言いました。それは意図されたユースケースに依存する可能性があります。

例えば、一部のモデルは、人間オペレーターが見るビデオを生成することなく、ロボット工学や研究のためのシミュレーションを目的としています。他のモデルは依然としてビデオをかなりの程度含んでいますが、位置情報、メッシュなどの関連データなど、プロセスの一部にさらに明示的な3D情報を取り入れています。

Yann LeCun氏のJEPAのような他のワールドモデルのアプローチは、すべての将来のピクセルを生成するのではなく、シーンの抽象的な状態を予測しようとします。その考えは、無関係な視覚的詳細をモデル化するのに膨大な計算を費やすことなく、予測と計画にとって重要な構造を学習することです。これは、生成ビデオモデルアプローチのより著名な代替案の1つであり、後でさらに詳しく検討する可能性のあるものです。

一部のビデオベースのモデルは、メッシュ、ガウシアン スプラットなどの形式で2Dビデオに加えて、実際の3Dアセットまたはデータを生成するように構築されています。これは、現時点ではWorld Labsの主な製品焦点ですが、同社の将来の野心はより広範です。

共同設立者のFei-Fei Li氏は、このトピックについて次のように書いています。

ワールドモデルの研究は、モデルアーキテクチャと学習アルゴリズムの進歩を必然的に推進するでしょう。特に現在のMLLMとビデオ拡散パラダイムを超えて。これらはいずれも通常、データを1Dまたは2Dシーケンスにトークン化するため、短いビデオでユニークな椅子を数える、または1時間前の部屋がどのように見えたかを記憶するなど、単純な空間タスクが不必要に困難になります。トークン化、コンテキスト、メモリのための3Dまたは4D対応の方法など、代替アーキテクチャが役立つ可能性があります。例えば、World Labsでは、リアルタイム生成フレームベースモデルであるRTFMに関する最近の研究がこのシフトを示しており、これは空間的に接地されたフレームを空間メモリの一形態として使用して、生成された世界での永続性を維持しながら効率的なリアルタイム生成を実現しています。

Arsとの会話で、Li氏の共同設立者であるMildenhall氏は、同社の現在のツールと製品の明示的な3D側面を、現時点では単にユーザーにエクスポート形式へのオフランプを提供する問題だと説明しました。「私たちは3Dに焼き出すことを選択しました。これにより、現在ワークロードを持っており、共有、編集、統合、レンダリングできる永続的なものを作成できる多くの人々と話すことができます」と彼は説明しました。

World Labsの一般公開されているシステムは、ビデオおよび画像データを使用して3D構造を推測し、ニューラルラディアンスフィールド(NeRF)やガウシアン スプラットなどの技術を使用して明示的なシーン表現を出力します。これにより、ユーザーは従来の3Dワークフローで機能するアセットを得ることができます。

World Labsの現在利用可能な製品であるMarbleは、画像またはビデオとオプションのテキストプロンプトを入力として受け取り、典型的なアメリカの郊外の裏庭程度の大きさの空間を作成します。その後、キーボードとマウスでその中を飛行したり、他の場所で使用するために3Dアセットとしてエクスポートしたりできます。

World Labsが従来のメッシュではなくNeRFやガウシアン スプラットのような表現を使用している理由について、Mildenhall氏は次のように述べています。

NeRFとスプラッティングのポイントは、プリミティブメッシュがMLワークフローに統合するのが非常に面倒であるということです。なぜなら、それらは明示的な離散トポロジーを持っているからです。均一な表現ではありません…NeRFとスプラットの点は、ここが部分的に不透明で、ここがほとんど透明であるという、より連続的な概念を持っているということです。そして、その種のボリュームベースのシステムでレンダリングするときは、勾配を通過させてバックプロパゲーションし、モデルをトレーニングすることがはるかに簡単です—または可能です。

現在のワークフローに組み込めるアセットを生成することは、World Labsの製品に、ゲーム開発者、VFXアーティスト、およびその他のクリエイティブおよび技術分野の専門家による即時の応用可能性を与えます。

[画像: 夜の街の歩道の描写、両側に茶色の建物がある]

これは、テキストプロンプトと2D参照画像からWorld LabsのMarbleで作成された3Dシーンです。環境はガウシアン スプラットで構成されており、ユーザーは追加の角度のためにその中を自由に移動できますが、ダイナミクスはありません。

Credit: Samuel Axon

This is a 3D scene created in World Labs’ Marble from a text prompt and a 2D reference image. The environment is made up of Gaussian splats, and the user can freely move around within it for additional angles—but it has no dynamics. Credit: Samuel Axon

しかし、「3D表現を持つことの1つの欠点は、これらのシーンで動くものを持たせることが難しいことであることは明らかです」とSitzmann氏は私に語りました。

環境が焼き出されると、基本的にその中の何も物理学やその他のメカニズムの観点から真にインタラクティブではありません。それらのダイナミクスは、後で別のツールで追加される必要があります(もしあれば)。

出現とダイナミズム

Runwayのアプローチは、一般ユーザーにとってそれほど明白なユースケースを持っていません。まだ一般公開されていない同社のモデルは、ライブストリームのように機能します。ストリーミング中にアクションを入力すると、結果が即座に表示されます。

しかし、Runwayのアプローチは現在、ダイナミックシミュレーションにおいて利点を持っています。

「今日の多くのワールドモデルは、静的で生命のない世界をナビゲートすることに焦点を当ててきました。そして、私たちは実際に世界をうまくシミュレートし、優れたワールドモデルを構築することは、物事が起こるダイナミックな世界を生成できること、アクションを実行してその結果を見ることができることを意味すると考えています」とGermanidis氏は述べています。「それが、私たちの発表が他のいくつかのワールドモデルの発表と比較して最も差別化される点です。」

[画像: 倉庫の床に矢印ボタンのオーバーレイが表示されている]

同社の最初の発表からのRunway GWM-1デモでは、生成された倉庫のシーンの上にナビゲーションコントロールが表示されています。

In this Runway GWM-1 demo from the company’s initial announcement, navigational controls are shown over a generated scene of a warehouse. Credit: Runway

Marbleで探索するために生成された環境が完全に静的であったことをMildenhall氏に伝えたところ、彼はうなずきました。

「現時点では非常に真実です。私たちはこれらの静的なガウシアン スプラットを出力します。最終的な成果物自体は静的です」と彼は認めました。「私たちは、4次元をそこに入れる方法を積極的に模索しています。」

それは両端にトレードオフがあるスペクトラムです。Mildenhall氏は次のように説明しました。

より明示的な表現は、ダイナミクスを柔軟にエンコードする点ではそれほど強力ではありませんが、リアルタイムで自由にナビゲートでき、コストも非常に低いですが、純粋なフレームベースに行くと、これらのものが現れ始めますが、潜在的により壊れやすく、転送可能な方法では一般的に有用性が低くなります。それは、ランタイムエクスペリエンス全体であり、その後消えてしまうようなものです。

また、純粋なフレームベースのアプローチは、計算量が膨大であるという事実もあります(計算コスト)。それが一部のアプリケーションで経済的に実行可能になるかどうかは、Marbleのベイク&フォーゲットアプローチやLeCun氏の競合するJEPAアーキテクチャと比較して、まだわかりません。

「3Dシーンを持つことの主な利点は、一度だけ生成すればよいということです」とSitzmann氏は述べています。「そして、一度生成すれば、レンダリングは非常に高速です…もはやニューラルネットワークは必要ありません。」

その時点で、コンシューマー3Dハードウェアでローカルにレンダリングできます。これは、クラウドコンピューティングが需要の急増の中で絶対的なプレミアムである時期であり、テクノロジーを現在意味のある方法でユーザーの手に入れるという点で実用的な利点です。

一方で、ロボット工学のシミュレーション用のモデルを構築している場合、多くの人は、これらの明示的な3D表現は、コンテンツ作成やアセット生成の場合よりもはるかに重要ではないと主張します。

「さまざまな操作タスクを実行するシミュレーションを行うためには、ロボットにアクションを実行させ、さまざまなオブジェクトとの相互作用がうまくシミュレートされる必要があります。そして、失敗も非常によくシミュレートできる必要があります」とGermanidis氏は述べています。

しかし、はっきりさせておきましょう。明示的な3D構造がトレーニングプロセスに含まれているか、出力アーティファクトとして含まれているか(あるいは全く含まれていないか)に関わらず、ビデオは、RunwayとWorld Labsの両方を含む、現在商業志向のチームの多くが行っていることの基盤であり続けています。

「ほとんどのアプローチに共通する根本的な技術的バックボーンは、多くの共通点があります…それは単なる拡散ベースのものです」とMildenhall氏は私に語りました。「それは根元からの分岐ではありません。それは本当にアプリケーション側の分岐のようなものです。」

ロボットのトレーニングデータ問題

World LabsとRunway、そしてそれらの多くの競合他社は、複数のモデルに取り組んでおり、ロボット工学への潜在的な応用に関心を寄せています。

それは、誇大広告が示唆しているようにロボット工学が大きな拡大の準備ができているように見えるかもしれませんが、進歩のいくつかの道は、複雑なタスクのためにロボットをトレーニングするための有用なデータの不足によってボトルネックになっています。

自動運転車と比較してください。この分野で見られる最近の進歩は、車が遭遇するほとんどの状況が明確なガードレール内に収まり、たとえ予期しないイベントに遭遇した場合でも、潜在的な応答は比較的限られており、ほとんどすべての状況で従うべき特定のガイドラインがあるため可能です。ダッシュカムビデオやその他のセンサーからのソース、または自動運転車が最終的に走行する正確な道路での人間の監督下での運転など、有用なトレーニングデータは豊富にあります。

次に、家庭や職場で作動する人型ロボットを対照的な例として考えてみてください。それははるかに複雑な機械であり、潜在的にさらに多様な状況や環境に直面して、より洗練された範囲の動きとアクションを持っています。この目的に合わせた有用なトレーニングデータは比較的小さいです。AIおよびロボット工学企業が、家事をしている間にカメラを装着した人々にインセンティブを提供したり、支払ったりしているというニュース記事を読んだことがあるかもしれません。これらの企業はトレーニングデータを取得しようとしています。しかし、そのアプローチだけでは十分なデータを生成できない可能性が高いです。

[画像: テープを剥がすロボット]

Sitzmann氏らは、ビデオワールドモデルを使用して、テープを剥がすような、単純に見えても複雑なタスクを実行するように自律ロボットをトレーニングするのに役立てています。

Sitzmann氏らは、ビデオワールドモデルを使用して、テープを剥がすような、単純に見えても複雑なタスクを実行するように自律ロボットをトレーニングするのに役立てています。Credit: MIT

Sitzmann氏は、会話の直後に公開したブログ投稿で、この問題について詳しく説明しました。

身体性知能の核心的な課題は、大規模な知覚・行動データのペアリングの欠如です。世界中で多数のロボットを展開することは非常に高価であり、たとえそれができたとしても、ロボットに何をさせるべきかは依然として不明です。価値のあるデータを収集するには、エージェントが意味のある多様な行動を実行する必要があります。現在、これは主に遠隔操作によって達成されています。これは自動運転車には非常にうまく機能します—人間はすでに車を運転しています—しかし、器用な手を持つ人型ロボットには、それほど自然にはスケールしません。

ビデオでトレーニングされたワールドモデルは、そのシミュレーションがロボットが遭遇する現実世界のシナリオを十分に代表していることが証明できる限り、トレーニングデータの潜在的な源泉であるという点で、解決策の一部となる可能性があります。

「ロボットがさまざまな種類のタスクを実行する大量の合成データを生成するためにビデオモデルを使用したい場合があります」とGermanidis氏は述べています。「それは現実世界で収集するのが非常に難しいです。時間がかかります。安全ではないかもしれません。」

ワールドモデルが、既知の代替アプローチよりもはるかに早く必要なデータを安全に生成できることが期待されています。

ラテント空間にあり

物理学はロボット工学や物理AIの他の分野にとって重要です。自律的な物理ユニットは、少なくとも物理世界の法則の理解に類似した何かを示す必要があります。直感的には、主にビデオデータから構築されたものが物理的な理解に似たものを開発できると言うのは奇妙に思えるかもしれませんが、多くの研究者やその研究の上に製品を構築している企業は、ビデオモデルが、少なくとも入力と出力を見た場合、現実世界の物理学を反映または予測する真に有用な能力を示していると信じています。

「ビデオの次のフレームを非常によく予測するという問題を解決するためには、物理世界の多くの側面、オブジェクトの動き方、環境での人々の動き方、物理学など、非常に多くの側面を予測する必要があります」とGermanidis氏は私に語りました。

これらのモデルは通常、明示的な物理法則、データ、またはシミュレーションでトレーニングされたり制約されたりしていません—ビターレッスンを思い出してください。むしろ、このアプローチの支持者は、潜在空間には十分に有用な近似があると言っています。

AIの世界の外の人々のためにこの用語を定義するように求められたとき、Sitzmann氏は次のように述べました。

あなた自身の脳の中を覗いてみたと想像してください。もしできたなら—私たちはできませんが、もしできたなら—あなたは自分の脳の中に環境のメッシュを見つけることはないでしょう。あなたは、ある種の奇妙なものを見つけるでしょう。それはまだ何らかの形で3Dシーンに関する特定の情報を含んでいますが、それは人間が読める、人間がアクセスできる方法ではありません。それは明示的な3Dシーンのような形式で保存されていません。そして、人々が潜在空間と言うとき、それは彼らが意味することのようなものです。

モデルにその3D表現がどのように見えるべきかを指示しません。代わりに、あなた自身の脳のように、モデルに特定の入力/出力の振る舞いを強制します—次のビデオフレームを常に予測するようにモデルに強制し、モデルを十分に大きくして自分で理解させるなら、モデルは3Dシーンをどのように表現したいかを自分で見つけるでしょう。

「ラテント」とは、入力または出力で直接見えないことを単純に意味します。この文脈では、それは通常、隠された内部表現—アクティベーション、埋め込み、または圧縮された状態—を指します。これは、モデルが明示的な人間またはロボットが読み取れる出力ではなく、将来のフレームまたはアクションを予測するように学習する際に開発するものです。

奇妙なことに、モデルが物理的な振る舞いを正確にシミュレートできる方法が人間の観察者には明確ではありませんが、このアプローチの支持者は、出力が有用であることが証明できる限り、モデルの内部動作を完全に理解できないことは、失格となる問題ではないと主張しています。

実証

Germanidis氏は、GWM-1のようなモデルをテストして、シミュレーションの有用性やロボットを制御するポリシーのトレーニングを実証するための方法論を説明しました。

まず、モデルを使用して現実世界で特定のタスクを実行し、GWM-1のようなモデル内で同じことを試すことができると彼は言いました。現実世界のシナリオでのモデルの成功と失敗の間に、シミュレーション内の同じモデルと比較して相関関係がある場合、モデルを使用してポリシーをテストできるという自信が得られます。「合成データの場合も同様に行うことができます」と彼は付け加えました。

彼は次のように付け加えました。

もう1つのアプローチは、モデルの物理学を直接テストしたいということです。そのため、固体力学または熱力学のいずれかで、いくつかの物理的なシナリオを構築します。天井からぶら下がっているボールのような最初のフレームがあり、それをモデルに最初のフレームとして与え、「次に何が起こるかを生成してください」と基本的に尋ねます。そして、同じビデオを実際の実際の映像で撮影しました。ボールの軌道があり、ボールの合成軌道があります。そして、それら2つを相関させることができます。

Sitzmann氏は同様のシナリオを説明しました。「これが有用であることが証明される方法は、人々がさまざまな方法でロボットタスクを実行するためにこれらのモデルを使用するシステムをますます実装することです。その後、ベンチマークがあり、ベンチマークを実行します。これで終わりです」と彼は言いました。「これは、ちなみに、自動運転車でも起こったことです。自動運転車の場合、最終的に起こることは、それが機能することを示すだけです。」

この分野はまだ初期段階にありますが、増え続ける研究の一連のは、ビデオおよびワールドモデルがすでに合成データ生成、ポリシー評価、および一部のロボット計画タスクに役立つことを示唆しています。これらのモデルについて慎重な楽観主義を正当化するには十分ですが、汎用物理シミュレーターとしての信頼性はまだ証明されていないことに注意する価値はあります。

合成データは、接触力、表面摩擦、またはその他の多数のものを誤って表現している場合、依然として間違った教訓を教える可能性があります。小さな不一致はポリシーを壊す可能性があり、広範囲のシナリオでそのギャップを埋めることはまだ完全に解決されていません。さらに、現実世界の状況は必然的に予期しないバリエーションをもたらします。

これは、ロボット企業による印象的なマーケティングビデオが、以前は不可能だと思われていたタスクを実行するロボット(人型またはそれ以外)を示している理由の1つです。環境からタスク、操作されている特定のオブジェクトまで、すべてが慎重に選択されており、これらすべてが十分に一般化できれば何が可能かを示すことができます—しかし、その一般化はまだ証明されていません。

ロボット工学のための有用なワールドモデルは、保持されたタスク、調整されなかった環境、失敗ケースが編集されずに含まれた状態でのポリシー学習またはポリシー評価を改善するはずです。また、従来のシミュレーターのような単純なベースラインと比較する必要もあります。

それなしでは、デモはモデルが説得力のある構造を十分に学習したことを示すことができますが、それが物理的知能を構築するための最も信頼性が高くスケーラブルな方法であることを示すわけではありません。

断片化と表現

多くの研究者や投資家はワールドモデルの潜在的な実用的な応用について楽観的ですが、表現に関する未解決の質問もあります—ユーザーにとってインターフェースとアプリケーションが実際にどのように見えるかです。

「基盤となるアーキテクチャ—それにはトランスフォーマーが含まれていますよね?拡散ベースのものです。それはほとんど問題ではないと思います」とMildenhall氏は、テクノロジーの未知数について尋ねられたときに語りました。「それは本当に、どのように制御するか、どのようにトレーニングするか、そしてあなたのモデルにとって本当に重要なものの入力/出力構造を考案するかです。」

Sitzmann氏は会話の中で同じ点を指摘しました。「LLMと対話する方法を誰かに説明する必要はありません」と彼は言いました。「彼らに質問をすると、彼らは何かを教えてくれます。彼らにコードを書いてほしいと頼むと、彼らは何かをします。ワールドモデルについては、おそらくそれほどではありません。」

Mildenhall氏は、この表現の問題を本当の「決め手」と呼んでいます。ワールドモデルのさまざまな将来の応用に対して、万能のインターフェースはおそらく存在しないでしょう。人間向けのインターフェースに関しては、一部の人々は、ビデオゲームコントローラーと仮想アバター、またはPCで3Dゲームをプレイするのと同じコントロールスキームを介して、生成されたものと対話するかもしれません。他の人々は、BlenderまたはUnrealのようなシーンビューを望むでしょう。そして、インターフェースが人間ではなく、ロボット、ソフトウェア、または他のAIモデル用であるアプリケーションもあります。これらのうち、ほとんど解決されていません。

[画像: Blenderの新しいプロジェクトの新鮮な画面]

無関係なBlender風のシーンビューは、ワールドモデルの可能なインターフェースの1つにすぎません。そして、人間向けのインターフェースを持たないものもあります。

Credit: Samuel Axon

A disembodied, Blender-like scene view is only one possible interface for world models—and some won’t have human interfaces at all. Credit: Samuel Axon

また、幅広いドメインに適用される高度に汎用化された水平モデルに重点が置かれるのか、それとも企業や研究者がそれらを専門モデルに分割することを決定するのかという未解決の問題もあります。

Runwayは、単一のモデルではなく、GWM-1という名前で3つのモデルのトリオを発表しました。1つは、ユーザーにはビデオストリームとして表示されるものの中で、リアルタイムで人間のユーザーインタラクションとナビゲーションを処理し、もう1つは、ビデオおよび音声合成を組み合わせるためのリアルな人間のようなキャラクターの生成に完全に焦点を当て、もう1つはロボットのポリシー実行と評価のためにトレーニングされています。

「私たちは、多くのタスクを解決する1つの大きなモデルを持つことと、多くの専門モデルを持つことの間に大きな信念を持っています」とGermanidis氏はGWM-1の分割について議論したときに私に語りました。「その理由は、まず、ユーザーに特定の目的のために異なるモデルを使用する必要があることを教育する代わりに、1つのモデルを展開する方が簡単だからです。しかし、私たちは、あるドメインからのモデルの学習が他のドメインに翻訳されることから多くの利点があることを経験しました。」

しかし、Runwayにとって、実用性と市場投入までの速度が優先され、即時の顧客ニーズを満たすことに焦点が当てられました。Germanidis氏は、同社は後に3つのモデルを1つの汎用モデルに統合する計画だと述べています。

Mildenhall氏も、統一モデルを追求することの価値について同様の考えを持っています。「非常に合理的に、すべてのピクセルストリームを通過させ、何らかの基礎知識またはインフラストラクチャを取得して、その上にレイヤーを構築できる1つのモデルがあります」と彼は言いました。「私にとって、多くの断片化と、それらの異なるユースケースに適応するために微調整する必要があるものが多すぎると感じるのは、何かをやりすぎているように感じるでしょう。」

実際、Mildenhall氏は、これらのAIツールが3Dアセットやシミュレーションを扱う既存の業界内の断片化を減らすのに役立つとさえ予測しました。

例を挙げましょう。ディズニーのような会社はスターウォーズの映画やテレビ番組を作成していますが、スターウォーズのビデオゲームを作成するためにゲームスタジオやパブリッシャーと協力することにもある程度関与しています。理論的には、映画で使用された一部の3Dアセットをゲームで使用できるように適応させることができると想像するかもしれません。

しかし、それはいくつかの理由でうまくいきません。歴史的に、両者は異なるフォーマットとソフトウェアを使用しており、どのタイプのマシンがレンダリングしているか、そしてレンダリングがプリベイクされているかリアルタイムで行われているかに応じて、詳細レベルが異なります。これらのアセットの作成には莫大なコストがかかるため、違いを橋渡しできれば大きな意味があります。

「問題となっている多くのことは、AIによってもたらされるより自動化されたツールによって解決されると思います」とMildenhall氏は主張しましたが、Unreal Engineと関連ツールを作成しているEpic社がすでにこの多くを統合しようと取り組んでいることにも言及しました。

ベット

これらすべてが言えることは、まだ多くのことが未解決であるということです。「そこにあるかどうか」を確認する唯一の方法は、投資が流れ込んでいるということです、と格言は言います。そして、研究者や商業団体に楽観的な理由を与える有望な兆候があります。

Sitzmann氏と、明示的な3Dまたは物理データを使用するトレーニングと、ビデオモデルのラテントに依存することとのような、業界や分野内の競合するアプローチについて話したとき、彼は後者が研究者として現在最も楽観視しているものだが、まだ初期段階であると述べました。

「私はそれをベットだと言っています。これは決まったことではありません」と彼は明確にしました。

企業や研究者がベットをしているという考え—一部は他のものよりも比喩的ですが—は、トレーニングデータにおける明示的な3Dまたは物理学の問題に限定されません。それはまた、人間ユーザーがモデルが生成するものをどのように見て対話するかを理解することにも適用されます。それは、ゲーム開発のような分野でこれらのツールが現在の3Dワークフローにどのように適合するかについての製品決定に適用されます。それは、特定のアプリケーションの望ましい出力が実際にビデオであるか、あるいは他の種類のデータであるか、あるいは自己回帰拡散とビデオモデルが物理AIの世界で動作する製品を構築するための鍵であるかどうかにさえ適用されます。

Sitzmann氏は、会話後に公開したブログ投稿でこのトピックについてさらに説明し、次のように書いています。

私は、ビデオ生成モデルが身体性知能を解決するとは信じていません。それらは最終的な解決策の必要不可欠な要素でさえはないかもしれません。むしろ、それらは知覚・行動学習のためのスケーラブルな事前トレーニング目的を特定するためのいくつかの初期の試みの1つとして見られるべきです…しかし、それでも、状況は変化しました。私は、これらの問題に正面から取り組むことが可能な時代になったと信じています。

人々がこれらのベットをしているのは、それを正しく行うことの潜在的なアップサイドが、商業的成功と問題解決の両方の観点から巨大だからです。科学モデリングやヘルスケアのような、より投機的なワールドモデルの応用を脇に置いても、ロボット工学、製造業、および物理AIアンブレラ下の他の分野での応用があることを期待する理由があります。たとえそれらが全体または最終的な解決策でなくてもです。

AI研究者はしばしば「AIスプリング」と「AIウィンター」について話します—分野の進歩が活況を о stagnation のどちらかである期間です。過去数年間はAIスプリングであり、ほとんどの人はそれを大規模言語モデルに見ますが、現在行われているベットは、このAIスプリングがLLMで終わらないと多くの人が信じていることを明確にしています。

[画像: Samuel Axonの写真]

Samuel AxonはArs Technicaのテクノロジーおよびゲームカバレッジの編集責任者です。彼は物理および生成AI、大規模言語モデル、ソフトウェア開発、ゲーム、エンターテイメント、および複合現実をカバーしています。彼はEngadget、PC World、Mashable、Vice、Polygon、Wiredなどで約20年間ゲームとテクノロジーについて執筆してきました。以前はゲーム業界でマーケティングおよびPRエージェンシーを運営し、テレビネットワークCBSの編集を主導し、クリエイティブエージェンシーSPCSHPでSamsung Mobileのソーシャルメディアマーケティング戦略に取り組みました。また、iOS、Windows、その他のプラットフォーム向けの独立系ソフトウェアおよびゲーム開発者でもあり、DePaul大学を卒業し、そこでインタラクティブメディアとソフトウェア開発を学びました。

114件のコメント