Fable 5.1 World Modeling
Fable 5.1 World Modeling (github.com)
要約
この記事は、Claude Fable 5.1エージェント群がコードで生成する、実世界の探索可能な3D再構築モデル「Fable 5.1 Worlds」について説明しています。これらのモデルは、オープンデータと公開参照画像からコードによって生成され、Three.jsアプリとして提供されます。ユニオンスクエア（サンフランシスコ）のモデルは、建物、店舗、信号機、歩行者、車両などを詳細に再現しており、コードと生成されたアセットはMITライセンスで公開されています。
全文翻訳
fable51-worlds
コードとしての世界。入力されたプロンプトから、歩き出せる世界へ。
Claude Fable 5.1 エージェントのスウォームは、短い入力（一文、写真、クリップ）を受け取ると、その場所をリサーチし、モデリングし、レンダリングし、検証します。最終的に提供されるのは、ブラウザで開くシンプルなThree.js アプリケーションです。
ゲームエンジンは使用しません。独自の3Dタイルも使用しません。ダウンロードされたメッシュもありません。建物、店先、看板、木、信号機はすべて、このリポジトリにあるコードによって生成されます。
世界 (Worlds)
各エントリは一度きりの結果です。GPT-6 Astraに同じプロンプトを与えた場合、その世界はFableのウォークスルーのカメラルートと撮影タイミングに合わせて撮影され、2つは編集なしで並べて実行されます - 左がGPT-6 Astra、右がClaude Fable 5.1。
🌉 ユニオンスクエア、サンフランシスコ
［画像: ユニオンスクエアの並列表示：左がGPT-6 Astra、右がClaude Fable 5.1］
▶ ヘッドトゥヘッドを見る · 59秒 · 左 GPT-6 Astra、右 Claude Fable 5.1 · Fable 5.1ビルド · GPT-6 Astraビルド · Fable単体: ウォークスルー (1920×1080 - 空撮、プラザ、任天堂、低層階、Apple)
⛩️ 東山、京都
［画像: 京都の並列表示：左がCodex / GPT-6 Astra、右がClaude Fable 5.1］
▶ ヘッドトゥヘッドを見る · 53.9秒 · 左 Codex / GPT-6 Astra、右 Claude Fable 5.1 · Fableビルド · Codexソースとビューア · Fable単体: ウォークスルー (1920×1080 - 7つのシーン、祇園から清水寺まで夕暮れ時) · Codexの全ウォークオーバーGIF
🌌 デス・スターのトレンチラン
［画像: トレンチランの並列表示：左がGPT-6 Astra、右がClaude Fable 5.1］
▶ ヘッドトゥヘッドを見る · 28.2秒 · 左 GPT-6 Astra、右 Claude Fable 5.1 · 入力: 映画のクリップ · Fable 5.1ビルド · GPT-6 Astraビルド · 方法 · Fable単体: リール (1280×720 - アプローチ、Sフォイル、迎撃、ダイブ、トレンチラン、魚雷、火球、衝撃波) · プロンプト
さらに多くの世界が追加予定です。
あらゆる入力 → 世界へ
テキスト、ビデオ、または画像。プロンプトは主題とスタイルを指定し、すべての入力に対して同じパイプラインが実行されます。
| 入力 | プロンプトの例 | 生成される世界 |
|---|---|---|
| 📝 テキスト | 「京都の花見小路 - 手描きの背景アニメ風で」 | 指定されたスタイルで指定された場所：実際の地形データに基づいたジオメトリと、オーダーメイドのスタイル |
| 🎞️ ビデオ | 映画のクリップ | 撮影されたショットの背後のセット、フレームの端を超えて続く - カメラパスから離れて残りの部分を飛び回る。 デス・スターのトレンチラン を参照 |
| 🖼️ 画像 | 任意の角度の写真1枚 | フレーム内の場所がジオメトリとして：向きを変えたり、時間を変更したり、異なる照明を当てたりできる |
スタイルは主題と同様に自由です。同じ通りがセルシェーディングアニメ風、写真のような再構築、または夜景として再現される可能性があります。なぜなら、各世界のレンダラーは、リストから選択するのではなく、その世界のために記述されているからです。
ロードマップ
世界は基盤です。その上に何が構築されるかが重要です。
| ✅ | インタラクティブなシーン | 実在の場所をブラウザで歩き回れる - このリポジトリ |
| 🔜 | アニメーションとビデオ | コードとしての動き：ショットリスト、カメラ言語、連続性を数分間のシーケンス全体で保持し、フレームごとに生成するのではなく、世界自体からカットする - アニメ、および実在の場所とカメラマッチングされたドキュメンタリー |
| 🔜 | エージェント環境 | トレーニングおよび評価環境としての世界。場所を構築するのと同じコードが、報酬と検証信号も供給する - そして、ストレートにプレイすればRPGにもなる |
| 🔜 | 4D、身体性、ロボティクス | 時間とともに変化するシーン、およびジオメトリとともに無償で提供されるグラウンドトゥルースを持つシミュレーション |
| 🔜 | テスト時のスケーリングパフォーマンス | ワールドの品質が推論時間とコンピューティング量とともにどのように変化するかを測定する |
これらの作成方法
すべてのステージがリポジトリに含まれており、すべてのステージを再実行できます：
- 偵察 - 並列リサーチエージェントが、地図のジオメトリ、標高、交通、道路仕様、店舗の統計情報を取得します。各事実はソースと信頼度レベルを伴います。
- アセット生成 - スクリプトが、世界の必要とするキット（ファサードモジュール、街路設備、車両、植生、備品）を出力します。一部の世界はバイナリ資産を一切出荷せず、起動時にすべてのテクスチャを描画します。
- ランタイム - JSON仕様から地形、道路、ファサード、小道具、群衆、交通を組み立てる純粋なThree.jsアプリ。
- 検証 - Playwrightが実際のアプリを操作し、固定された視点からスクリーンショットを撮り、同じ場所から撮影された写真と比較します。独立したレビューエージェント（建築家、地理学者、テクニカルアーティスト、インタラクション）がレポートを提出し、次の修正サイクルを推進します。ビルダーは自身の作業を評価しません。すべての世界は、欠陥を含めて、独自のQAレポートを出荷します。
なぜコードなのか
コードとして記述された世界は、ピクセルとして生成された世界や、潜在空間に保持された世界とは異なる種類のオブジェクトです。
| 検証可能 | 実行することで確認できます。東山のすべての標高は独立した測量クエリです。ウォーカーは実際の移動コードをルート全体で実行します。Playwrightは固定された視点からのスクリーンショットを同じ場所から撮影された写真と比較します。間違った数値は、好みの問題ではなく、テストの失敗です。 |
| 構成可能 | 部品は再利用可能で、読みやすいです。タウンハウスジェネレーター、屋根キット、街路区画レイアウトエンジン - それぞれが契約を持つモジュールであり、地区はそれらを呼び出す数百行のコードです。 |
| 編集可能 | 「店の入り口のくぼみを深くする」は、再ロールではなく差分です。世界は要求された場所だけが正確に変更され、他の場所は変更されず、その変更は後続のすべてのレンダリングで維持されます。 |
ライセンス
コードと生成されたアセット: MIT。ジオメトリはOpenStreetMap (ODbL)、USGS 3DEP (パブリックドメイン)、およびGSI標高サービスから派生しています。参照写真はここでは再配布されません - 各世界の出所は記録されています。ブランド名とロゴは、実際の場所にある実際のビジネスを識別するものであり、その所有者に帰属します。
デス・スターのトレンチラン は非公式のオマージュです。スター・ウォーズ、Xウイング、TIEファイター、デス・スターはルーカスフィルム株式会社の商標です。ここでは映画の映像、音声、モデル、テクスチャは使用または再配布されていません - 参考クリップはショットリストとルックに影響を与え、その世界のアセットはすべて、その隣にあるコードによって手続き的に生成されています。