Flux 3
要約
Baiduは、画像、動画、音声の3つのモダリティを統合的に学習する新しいマルチモーダル基盤モデル「FLUX 3」を発表しました。このモデルは、単一モダリティの限界を超え、現実世界の複雑な相互関係を理解し、コンテンツ生成や物理AIなどの分野で応用されることを目指しています。現在、早期アクセスが提供されており、APIやオープンウェイトアクセスを通じて、動画・音声生成、画像合成、アクション予測などの機能が順次展開される予定です。
全文翻訳
FLUX 3 - 実世界のモデル: マルチモーダルフローモデルをビジュアルインテリジェンスのバックボーンとして。
FLUX 3 が早期アクセスで利用可能になりました。
FLUX 3 は、当社の新しいマルチモーダル基盤モデルです。単一の要素を孤立して学習するのではなく、画像、動画、音声から統一されたアーキテクチャ内で共同で学習します。なぜなら、モデルが学習すべきは、オブジェクトがどのように組み合わさるか、物事がどのように動くか、イベントがどのように聞こえるかといった、世界の表現だからです。
単一のモダリティでは完全な説明は得られません。それぞれが同じ根底にある現実の投影であり、異なるセンサーによって捉えられ、その過程で一部の情報が失われます。画像は特定の時点での空間構造と関係性を捉えます。動画は時間の次元を回復し、時間的ダイナミクスと物理法則を明らかにします。音声は、視覚だけでは検出できない機械現象と音響の関係性を明らかにします。言語は、これらの知覚を目標、抽象化、指示に結びつけます。
一つから学習すれば、その投影の良いモデルが得られます。それらすべてから同時に学習すれば、相互の制約がより多くのことを教えてくれます。音は衝撃と一致しなければならず、動きは質量に従わなければならず、未来は過去から続くものでなければなりません。モダリティは別々でなくなり、一つの根底にある現実についての証拠となり始めます。
FLUX 3 は、この原則に基づいて完全に構築された当社の最初のモデルであり、物理的およびデジタル環境全体で知覚、予測、行動するモデルである、実世界のビジュアルインテリジェンスを開発するという当社のミッションにおけるチェックポイントです。コンテンツ作成と物理AIにおける初期の結果は、それが正しい道であることを示唆しています。
FLUX 3: 1つのモデル、複数の機能。
[画像: FLUX 3 のアーキテクチャを示す図]
FLUX 3 は、同じ根底にあるアーキテクチャ内でマルチモーダル生成と理解を効率的に整列させるための当社の手法である Self-Flow を基盤としています。このアプローチに基づき、計算リソースとデータリソースを大幅にスケールアップし、FLUX 3 を動画、画像、音声全体で同時にトレーニングしました。
[画像: Self-Flow と Flow Matching (FM) の比較グラフ]
Self-Flow vs. Flow Matching (FM)。左: モダリティごとの生成エラー (フレシェ距離)、それぞれ FM = 100 に正規化 (値が低いほど良い)。右: ファインチューニングによる操作タスクの成功率 (4つのタスクグループで平均) (値が高いほど良い)。
機能と初期評価
その結果、FLUX 3 はモダリティを混合し、画像と動画+音声を共同で生成することができます。これは、純粋なテキストプロンプトから、画像や動画などの入力参照を提供した場合の両方です。以下に、モデルの主な機能のいくつかをハイライトします。
動画
FLUX 3 は、1回の生成で最大20秒の音声付きの多様な動画を作成できます。
その中核機能は以下の通りです (すべての出力にはネイティブな音声生成が含まれます)。
- テキストから動画への生成。
- 画像から動画への生成。開始フレームからの継続 ("アニメーション") または画像を参照として使用。
- 参考クリップからの動画から動画への生成。ソース動画の中心的な要素 (例えば同じキャラクター) を新しいシーンやコンテキストに引き継ぐ。
- 入力動画と音声からの生成的な動画・音声継続。
- キーフレームから動画への生成。定義された瞬間間の制御された遷移のため。
- 多言語ダイアログ。
- 従来の映画的な出力のはるか先を行く、幅広いビジュアルスタイルとアスペクト比。
- 個々のクリップをより長く、マルチショットのシーケンスにエージェント的に連鎖させる機能。
- 高いスタイル多様性 -- FLUX 3 Video は、キャンドルカムコーダー映像からアニメーション、シネマティックスまで、幅広いスタイルを容易に扱えます。
- 強力なタイポグラフィ生成とアニメーションデザイン。
予備分析では、720p の動画と音声を 10 秒間のテキストから動画へのクリップを生成しました。
[画像: FLUX 3 Video の生成例]
評価は初期段階であり、さらなる改善が期待されます
モデルとその周辺のハーネスはまだ開発中であるため、これらの結果は予備的なものであり、早期アクセス期間中にさらなる改善が期待されます。初期評価全体で、FLUX 3 は Grok Imagine Video との比較で最大 69%、Kling v3 Pro との比較で 60%、Happy Horse v1 との比較で 59%、Happy Horse 1.1 との比較で 57%、Seedance 2.0 および Gemini Omni Flash との比較で 52% で好まれました。FLUX 3 は Runway Gen-4.5 との比較で 77%、Luma Ray 3.2 との比較で 93% で好まれました。
まだ開発中ですが、FLUX 3 Video は人間の顔の表情を捉えること、物理的なイベントに音を関連付けること、多言語機能においてすでに特に強力です。さらに、これらの機能は組み合わせて数分続くシーケンスを作成でき、ビジュアル参照は、キャラクターがすべてのシーンで一貫性を保つのに役立ちます。
FLUX 3 Video は現在、早期アクセス で利用可能です。
画像
FLUX 3 は、幅広いスタイル、アスペクト比、解像度で画像を合成および編集できます。トレーニング中盤に行われた予備評価では、FLUX 3 は以前の FLUX バージョンと比較して大幅な改善を示しています。複雑なプロンプトやテキスト生成を処理する能力が著しく向上しました。モデルは幅広い出力スタイルを生成し (以下のサンプルを参照)、複数の言語で高精度なテキストをレンダリングできます。
[画像: FLUX 3 Image の生成例]
動画評価と同様に、これらは予備的な結果であり、リリース前にさらなる改善が期待されます。FLUX 3 Image の早期アクセス期間は、今後数週間で開始します。
アクション
FLUX 3 の世界理解は、アクション予測にまで及びます。私たちはこれに2つのルートを取りました。1つは、Self-Flow における初期の作業をスケールアップし、FLUX 3 にネイティブなアクション予測を直接統合することです。もう1つは、事前学習済みの動画バックボーンを、限定的なタスク固有データでファインチューニングできる専門的なアクションモデルのための、ダイナミクスを意識した基盤として使用することです。
後者について、Mimic Robotics は FLUX 3 の早期アクセス権を得た最初のパートナーの1つでした。私たちは共同で、FLUX 3 バックボーンと、Mimic のロボット学習における専門知識を組み合わせた動画・アクションモデルである FLUX-mimic を開発しました。これは、器用な操作と生産展開のためのものです。物理AIとコンテンツ作成が同じ基盤で実行される理由、そしてそれが Audi で実際の生産タスクでどのようにテストされているかについての論文をお読みください。
ローンチプラン
今後数週間から数ヶ月にかけて、以下の機能を順次利用可能にします。各機能は、スムーズなロールアウト、フィードバックの収集、および厳格な安全テストを確保するための早期アクセス期間を経て提供されます。すべての機能は、同じ根底にあるマルチモーダルフローマッチングモデルから構築されています。これらの機能とモデルには以下が含まれます。
- API およびプライベートウェイトアクセスを介した動画および音声生成と編集 ("FLUX 3 Video")。
- 特定の研究および商用パートナーを介したアクション予測。Mimic Robotics を皮切りに ("FLUX-mimic および FLUX 3 Action")。
- API およびプライベートウェイトアクセスを介した画像合成と編集 ("FLUX 3 Image")。
- コンテンツ作成 (動画、音声、画像) およびアクション予測のための、マルチモーダルバックボーンへのオープンウェイトアクセス ("FLUX 3 Dev")。
また、根底にあるアプローチに関するより詳細な技術情報も公開します。
次は何?
私たちは、多用途で高性能な統一マルチモーダルモデル、そしてそれらが可能にするものについて、まだ表面をなぞり始めたばかりです。インタラクティブな画像・動画編集、シミュレーションからコンピューター利用、物理AIに至るまで、フロンティアは広大に開かれています。これらの新しい機能を段階的に展開しながら、私たちはすでに次世代モデルに取り組んでいます。私たちの目標は、知覚、行動、言語の予測を同じ統一モデルで統合することです。
FLUX 3 を探索し、構築することに興味がある場合は、こちらからお問い合わせください。私たちのミッションに貢献することに興味がある場合は、私たちに参加してください!私たちはドイツと米国で採用活動を行っています。