Atlas: 空間的知能のための世界モデル

Atlas: 空間知能のためのワールドモデル

ワールドモデルは、あらゆる可能な世界を生成、再構築、シミュレーションします。それらは、世界がどのように見え、振る舞い、進化するかを理解するため、私たちはクリエイティブなユーザーのために想像上の世界をレンダリングし、現実世界を高忠実度でシミュレーションし、ロボットが行動を計画するのを助けることができます。World Labsでは、空間知能の追求において、これらの汎用ワールドモデルを構築しています。

本日、私たちは次世代ワールドモデルであるAtlasを発表します。Atlasは、テキスト、画像、ビデオ、3Dをネイティブに扱えるようにゼロから事前学習されたオムニモデルです。これはマルチモーダル自己回帰拡散トランスフォーマーであり、すべての入力は共有の空間コンテキストに結合されます。Atlasはそのコンテキストを使用して次に何が来るかを生成し、見たものすべてに対して3Dで一貫性を保ち、それを超えるものを想像します。Atlasはスケーラブルに構築されており、そのパフォーマンスはトレーニング計算量の増加とともに向上し、この傾向はスケーリングを続けるにつれて維持されると予想されます。

Atlasは、ワールド生成、再構築、シミュレーションにまたがる幅広いタスクを実行できます。

• カメラ制御による生成: Atlasは、1つ以上の画像からピクセルパーフェクトなカメラ制御で画像とビデオを生成し、最大1分間のビデオを1440pで出力します。
• 空間再構築: Atlasは、1つから数十個の入力画像から現実世界のシーンを再構築します。新しい視点からの画像フレームと明示的な3D出力を生成し、3D再構築に特化した最先端モデルを上回ります。
• 時空間シミュレーション: Atlasは入力ビデオから空間と時間をモデル化し、ドラマチックな視覚効果のためにビデオをリフレームし、ロボティクスのためのReal-to-Simワークフローを可能にします。
• 画像生成: Atlasはテキストから画像と360パノラマを生成します。複雑なプロンプトに従い、テキストをレンダリングし、さまざまなビジュアルスタイルを生成できます。

Atlasは、Marbleの将来のバージョンやWorld Labsの他の製品を強化します。

カメラ制御による生成

Atlasは、1つ以上の参照画像を受け取り、指定された任意のカメラ位置と角度で新しいビューを生成します。生成されたビューは、入力画像のコンテンツとジオメトリに一致し、それらをスムーズに外挿して、入力では見えなかったシーンの部分を想像します。

Atlasは、幅広い種類のシーン、ビジュアルスタイル、カメラモーションを扱います。

ビデオは、1つから6つの入力画像と手動で設計されたカメラパスから生成されます。

ピクセルパーフェクトなカメラ制御

Atlasは、カメラ制御のための粗いテキストベースの指示を超えて、正確なカメラジオメトリをネイティブな入力タイプとして使用します。これにより、すべてのショットをフレーミングし、すべてのモーションを制御できます。

ここでの例では、Atlasは単一の入力画像から完全なシーンを生成します。入力画像のコンテンツと広範なワールド知識を使用して、新しい角度からシーンがどのように見えるべきかを想像します。たとえば、ロボットの後ろ側を生成し、プールサイドに芝生の庭があるはずだと推測します。

単一の画像から、Atlasは任意の角度からのビューを生成します。ドラッグしてビューを変更します。

空間コンテキストを使用した生成

LLMと同様に、Atlasはまず入力をコンテキストにエンコードし、次にコンテキストに基づいて出力を生成します。しかし、Atlasがユニークなのは、各画像が空間内の3D位置にグラウンドされているため、空間コンテキストが形成されることです。

この空間コンテキストの管理は、まったく新しい種類のクリエイティブな制御を可能にします。たとえば、関連性のない2つの参照画像をコンテキストに配置し、それらを3D空間に配置できます。Atlasは、それらの間をスムーズに補間する世界を生成します。

これらの例は、モデルのワールド知識と創造性を示しています。それらは、無関係な画像ペア間にドア、廊下、ニッチ、その他の遷移を想像します。

空間コンテキストを生成するために、左と右のフレームを選択し、Atlasがそれらを結合します。

制御可能な長尺ビデオ

Atlasを使用すると、カメラの動きと空間コンテキスト管理を組み合わせて、正確な制御で長尺ビデオを生成できます。すべてのシーンとすべてのカメラアングルを設計します。これにより、あなたは監督席に座ることになります。あなたはスロットマシンのレバーを引くのではなく、シーンを演出しています。

以下の例では、少数の参照画像を使用して、1440p解像度で1分間のビデオを生成します。シーン内のカメラパスを手動で設計し、Atlasが一貫した世界を生成します。このページにある他のビデオは、ページパフォーマンスを最適化するために圧縮されています。

空間再構築

Atlasは、1つ以上の入力画像から現実世界の空間を再構築します。オブジェクトとシーンを忠実に再構築するために、特別なキャプチャ機器や数百もの密なビューを必要としません。Atlasは、スパースな入力画像からの新しいビュー合成という、3Dコンピュータビジョンにおける数十年来の基本的な問題を解決するための大きな一歩であると信じています。

複数画像からの再構築

Atlasは、シーンの可変数の入力ビューを受け取ることができます。世界の С части が入力ビューで見えない場合、Atlasは豊富なワールド知識から引き出して、ギャップを埋めるもっともらしい方法を想像します。

しかし、時には想像ではなく、実際の場所の正確な再構築を望む場合があります。より多くの入力画像を渡すと、Atlasはより多くのコンテキストを得ます。見るほど、想像するほど少なくなります。Atlasは通常、わずか2つまたは3つの画像で忠実な再構築を提供し、3D再構築のみに特化してトレーニングされたモデルの最先端の結果を上回ります。しかし、Atlasは空間コンテキストで100を超える入力画像を使用することもでき、現実世界の環境の忠実な再現を可能にします。

最初の例では、Atlasは地上レベルの写真1枚からシーンの空撮ビューを生成します。単一の入力写真に見える庭は、モデルの出力で正確に再現されていますが、シーンの残りは想像されています。庭の隣にあるコテージの2番目の実世界の入力画像を追加すると、モデルの出力には庭とコテージの両方が表示されますが、左側の家はまだ想像されています。メインハウスの3番目の入力画像を使用すると、シーン全体が正確に描写されます。

2番目の例では、スタンフォード大学のメインクワッドを段階的に構築します。芝生のメインエントランスから始まり、メモリアル教会のファサードを飾るカラフルなモザイクで終わります。Atlasは2〜25枚の地上レベルの入力画像しか受け取りませんが、キャンパスの上空を飛行する空撮ビューからのパスを生成できます。

多様なパスの再構築

Atlasは、同じシーンを通過する多くの異なる軌跡を生成でき、同じ入力画像に新しい視点を提供します。カメラパスを何度変更しても、シーンは一貫性を保ちます。

以下の例では、少数の入力画像セットから、Atlasが同じシーンを通過する複数のカメラパスを生成できることを示しています。異なるカメラパスは、速度、長さ、複雑さを変えることで、シーンのさまざまな部分を強調したり、ムードを変えたりできます。

Atlasは、少数の入力画像セットを使用して、同じシーンを通過する多くの異なるパスを生成できます。

明示的な3D出力

上記の出力では、Atlasが2D画像とビデオを出力しているのを見てきましたが、これは一部のアプリケーションには十分です。しかし、ロボティクス、ゲーム、デザイン、VFXなどのワークフローでは、明示的な3D出力がしばしば必要になります。Atlasは、2D画像フレームと3D深度マップの両方をネイティブに処理し、ポイントクラウドまたは3Dガウシアン スプラットとして世界を出力できるようにします。

1つの画像から、Atlasは新しいビューと3Dジオメトリを生成し、次に3Dガウシアン スプラットに変換します。

単一の入力画像から、Atlasは新しいビューとそれらのジオメトリの推定を共同で生成することにより、完全な3D世界を生成します。現実世界の空間のビデオから、各フレームの深度を予測し、それらを3D再構築に結合します。どちらの場合も、Atlasはカメラが一度も見たことのない領域を埋めます。

Atlasは、入力ビデオから3Dポイントクラウドを再構築できます。

ポイントクラウドはシーンのジオメトリを推定しますが、3Dガウシアン スプラットはそれを使用可能にします。Atlasは残りのギャップを埋め、ポイントクラウドを、高解像度とフレームレートでオンデバイスでレンダリングできる完全なスプラットシーンに変換します。これはMarbleで使用されているのと同じ表現であり、Atlasが他の製品と自然に統合できるようになります。

時空間シミュレーション

Atlasはワールドシミュレーターとして機能します。世界の空間構造と、世界が時間とともにどのように進化するかを理解しています。その空間的および時間的能力を組み合わせることで、VFX、ロボティクスなどのための新しいアプリケーションにつながります。

ビデオのリフレーム

Atlasは、数台の通常のカメラを「バレットタイム」マルチビューキャプチャスタジオに変えます。わずか3台のカメラからの映像で、Atlasは時間をフリーズし、ショットをリフレームして、ありえない角度からイベントを表示できます。

実世界のビデオは、高価なキャプチャスタジオなしで新しいカメラアングルからリフレームできます。

注目すべきは、これらのショットはプロの写真家や特殊な機器を必要としなかったことです。それらのそれぞれは、数人のエンジニアと研究者が、バックパックに収まる三脚とクランプを備えた通常の携帯電話で撮影したものです。Atlasは3〜5台のカメラビューからシーンを再構築し、その後、必要に応じてショットをリフレームできます。

舞台裏: 上記のクリップは、わずか数台の携帯電話とアクションカメラを使用してキャプチャされました。

ロボットシミュレーション

Atlasは、ナビゲーションと操作の両方でReal-to-Simをスケーリングするための新しい方法を開きます。

すでに、Atlasが数枚の画像から明示的な3Dで空間を再構築するのを見てきました。ロボティクスにとって、再構築は仕事の半分にすぎません。シミュレートされたロボットが空間を移動するにつれて、Atlasはセンサーがその経路で観測するRGBおよび深度データも生成します。世界とロボットの視点は同じモデルから来ています。

これらの例では、24フレームずつ使用して、2つの大規模な環境を携帯電話ビデオでキャプチャして再構築しました。このような空間のスキャンは、従来は複雑で高価な機器を必要とします。その後、さまざまな種類のロボットがさまざまなパスをナビゲートすることをシミュレートし、Atlasを使用してロボットのボディマウントカメラの視点から画像を生成します。

Atlasは空間を再構築し、ロボットナビゲーションのシミュレーションを支援します。

ロボット操作はさらに一歩進んでいます。数回のカジュアルな録画から、Atlasはオブジェクトの移動と相互作用をキャプチャするシミュレーションの構築を支援します。タスクがシミュレートされたら、それを簡単に変更できます。オブジェクト、それらの位置、ロボットの動き、照明、背景を変更します。結果は、ロボット向けの多様なトレーニングデータとテスト環境をスケーラブルに提供します。

Atlasは、数回の実世界の録画からReal-to-Simを可能にし、剛体、関節、変形可能なオブジェクトの物理的な相互作用を再現しながら、制御可能なバリエーションをサポートします。

画像生成

Atlasの主な焦点はワールドモデリングであり、すべての画像は可能な世界への窓です。画像生成は主な焦点ではありませんが、Atlasは有能な画像ジェネレーターです。複雑なプロンプトに従い、テキストをレンダリングし、さまざまなビジュアルスタイルを生成します。

Atlasは、テキストまたは画像プロンプトから360度画像を生成することもでき、ここでもさまざまな種類のシーンとビジュアルスタイルを生成できます。

技術詳細

モデルアーキテクチャ

Atlasは、単一の統合アーキテクチャで多くのタスクと多くの種類の入出力データを処理できるように設計されたオムニモデルであり、モデルの中心に空間制御を置いています。これらの目標を達成するには、LLMとビデオモデルの両方で使用されている標準的なアーキテクチャから離れ、将来のワールドモデルの基盤となる新しい基本アーキテクチャを設計する必要があります。

Atlasは、マルチモーダル自己回帰拡散トランスフォーマーです。その入力は3D空間にグラウンドされて空間コンテキストを形成し、コンテキストに基づいてマルチモーダル出力を生成します。

Atlasはマルチモーダル自己回帰拡散トランスフォーマーです。マルチモーダルシーケンスで動作し、シーケンスの各新しい要素を一度に1つずつ生成します。これらのアーキテクチャプロパティは連携して目標を達成し、それらを組み合わせることで、空間コンテキストに基づいた新しい生成パラダイムが可能になります。これらのアイデアを順番に説明します。

• マルチモーダル: Atlasは多くの異なるデータタイプをネイティブに処理できます。現在、テキスト、画像、カメラポーズ、3D深度マップを扱えます。ビデオは画像のシーケンスとして表されます。各画像と深度マップは明示的なカメラポーズに条件付けられており、空間制御がアーキテクチャの中心的なコンポーネントとなっています。
• 自己回帰: Atlasはシーケンスの要素で動作し、各要素は上記のマルチモーダルデータタイプのいずれかです。各出力は、シーケンスの前の部分に条件付けられて、一度に1つずつ生成されます。この柔軟な設計は、さまざまなタスクに自然に適応します。各タスクは単に異なる種類のシーケンスであり、入力の後にアウトプットが続きます。
• 拡散: Atlasは、出力を徐々にノイズ除去することにより生成する、整流フローモデルです。拡散モデルは、画像やビデオのような高次元連続データのモデリングに優れており、推論中にノイズ除去ステップの数を変えることで、速度と品質を自然にトレードオフできます。
• トランスフォーマー: トランスフォーマーアーキテクチャは、主に大規模な行列乗算操作で構成されており、最新のハードウェアに適応しています。ワールドモデリングのための堅牢なバックボーンです。

Atlasは、最新のLLMとビデオモデルのアイデアのブレンドです。両方のタイプのモデルで使用されるアーキテクチャ、アルゴリズム、およびシステム上の進歩から恩恵を受けることができます。

LLMと同様に、自己回帰トランスフォーマーであるため、KVキャッシュ、キャッシュアウェアルーティング、非集約サービングなど、LLMのサービングと高速化に使用されるイノベーションを活用できます。最新の画像またはビデオモデルと同様に、潜在拡散モデルであり、拡散蒸留、分類子フリーガイダンス、シフトノイズスケジュール、VAE設計の進歩などのアルゴリズムを利用できます。

ベンチマーク

Atlasはワールドモデリングのためのオムニモデルであり、多くのタスクを実行します。したがって、その汎用性を完全に捉える単一のベンチマークはありません。ここでは、2つの主要なタスクにおけるAtlasの定量的評価を強調します。カメラ条件付き生成と3D再構築です。どちらのタスクでも、より特化されたモデルを上回ります。

カメラ条件付き生成のために、トップパフォーミングビデオモデルのセレクションと比較します。各トライアルでは、単一の入力画像と1〜3のシネマティックカメラモーション（パン、トラック、クレーンなど）のシーケンスをペアにします。

各モデルに単一の入力画像とターゲットカメラパスを入力します。Atlasの場合、カメラパスはネイティブのカメラ入力形式を使用してエンコードします。他のモデルはカメラをネイティブ入力形式として受け入れないため、標準的なシネマティック用語を使用して、テキストプロンプトでカメラパスを説明します。より洗練されたプロンプトエンジニアリングやクリエイティブなマルチモーダルプロンプトが一部のモデルのカメラ追従を改善する可能性がありますが、ここではカメラモーションの説明に最も一般的な入力モダリティであるテキストを使用します。

サードパーティの人間評価者が、どちらのモデルが意図したカメラパスをより良く追従しているかを判断します。これらの結果は、Atlasがカメラ制御生成において最新のビデオモデルを上回っていることを確認しており、カメラ軌道がより複雑になるにつれてこの利点は増大します。

カメラ制御生成

← 他のモデルが好んだ Atlasが好んだ →
MiniMax H375%
Gemini Omni Flash81%
Happy Horse 1.186%
FLUX 393%
Seedance 2.594%
05060708090100
Atlasを選択した投票者の割合

さらに、スパースな入力ビューからの3D再構築タスクでAtlasを評価します。各トライアルでは、モデルは画像のセットとそのカメラポーズを受け取り、各入力ピクセルに対応する3Dポイントを予測します。この問題は学術界で大きな関心を集めており、近年多くの専門的な再構築モデルが開発されています。

Atlasは、生成と再構築の両方を実行するオムニモデルです。その汎用性にもかかわらず、Atlasは最高の専門的なオープンソース再構築モデルを上回っています。

このタスクのいくつかの最先端ベンチマークで評価し、すべてのベースラインの結果を再現して、すべての方法で共通かつ公正な評価プロトコルを保証します。

3D再構築エラー（低いほど良い）

モデルスケーリング

最新AIの進歩のほとんどはスケーリングによって推進されてきました。モデルは、単純なアルゴリズムをスケーリングして、より多くのデータとコンピューティングを利用することで、大きく改善されます。

Atlasがスケーリングとともに改善し続けるという強力な証拠が見られます。Atlasを大規模で多様なマルチモーダルデータコーパスでゼロから事前学習しました。開発の過程で、さまざまなサイズのモデルとトレーニングコンピューティングをトレーニングし、各新しいレベルのコンピューティングが新しいモデル機能をアンロックすることを発見しました。将来のワールドモデルもこの傾向に従い、スケーリングを続けるにつれてその機能を劇的に改善すると確信しています。

Atlasで構築する

Atlasは、選ばれたパートナーとの早期アクセスに入っています。もしあなたがAtlasで構築したい場合は、以下からアクセスをリクエストしてください。そうすれば、こちらからご連絡いたします。皆様が構築されるものを見るのが楽しみであり、Atlasをあらゆる世界の生成、再構築、シミュレーションのためのゴー・トゥ・ワールドモデルにするために協力できることを楽しみにしています。

また、空間知能を進歩させるために、研究およびエンジニアリング分野で採用も行っています。

この投稿はWorld Labsチームによって作成されました。引用する場合は以下を使用してください：

@article{worldlabs2026atlas,
    author = {World Labs Team},
    title = {Atlas: A World Model for Spatial Intelligence},
    journal = {World Labs Blog},
    year = {2026},
    note = {https://www.worldlabs.ai/blog/atlas},
}