HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Flux 3 X Mimic: 次世代のビデオ・アクションモデル

Flux 3 X Mimic: The Next Generation of Video-Action Models (bfl.ai)

311 pointsby kensai48 コメント

要約

Black Forest Labs (BFL) は、画像、ビデオ、音声の生成を統合するマルチモーダル基盤モデル「FLUX 3」を発表しました。このモデルは、ロボット学習と展開に強みを持つmimic roboticsとの協力により、ロボットの動作を制御する「FLUX-mimic」へと進化しました。FLUX 3は、物理世界の理解を基盤としており、コンテンツ生成だけでなく、ロボットによる物理的なアクション予測も可能にします。

全文翻訳

FLUX 3 x mimic: 次世代ビデオ・アクションモデル

FLUX 3、当社の新しいマルチモーダル基盤モデルの初期バージョンが、現在ロボット上で稼働しています。私たちはmimic roboticsにFLUX.3の早期アクセスを提供しました。ロボット学習とデプロイメントにおける彼らの強みと、モデルの持つ世界知識、そしてBFLの基盤モデルに関する専門知識を組み合わせることで、次世代ビデオ・アクションモデルであるFLUX-mimicが誕生しました。

FLUX

FLUX 1とFLUX 2は画像を生成します。FLUX 3はマルチモーダルへと拡張され、オーディオビジュアルコンテンツを共同で生成します。同時に、FLUX-mimicの基盤を提供します。FLUX-mimicは、mimicとの協業で開発されたビデオ・アクションモデルであり、Audiでテスト・デプロイされているロボット上で稼働しています。

一見すると、説得力のあるビジュアルコンテンツの生成とロボットの制御は、ほとんど共通点がないように思えます。一方はピクセルを生成する必要があり、もう一方は物理世界が、それを触ったり操作したりしたときにどのように応答するかを理解する必要があります。もし1つのモデルが両方を実行できるのであれば、それは決してコンテンツ作成モデルだけではなかったということです。それは世界の振る舞いをモデル化したものであり、コンテンツ作成はそのモデルを使ってできることの1つです。

それがFLUX 3なのです。

ビデオが難しい部分

FLUX 3は、最初から画像、ビデオ、音声にわたって共同でトレーニングされた単一のモデルです。そのトレーニングで最も要求の厳しい部分(総コンピューティングコストの95%以上を占める)は、ビデオ予測です。リアルなビデオを生成するために、モデルは接触、動き、重さ、原因と結果を学習せざるを得ません。これらのいずれかを間違えると、不自然に見えます。世界を正確にレンダリングすることを学ぶということは、世界がどのように振る舞うかを学ぶということです。

比較的に言えば、音声は簡単なモダリティです。低次元でビデオよりもはるかに詳細が少ないため、音声付きの720pビデオではトークンの0.5%未満しか占めません。モデルがビデオ理解を学習するという困難な作業を終えれば、ビデオと音声の間の因果関係を学習し、唇の動きに同期したスピーチや、それらを引き起こす物理イベントに同期した音声効果を予測できるようになります。

アクションも同じ形状をたどります。ロボットの状態の低次元表現であり、視覚的な観測と密接に結びついています。アクション、音声、ビデオフレームはすべて、単一の根本的な物理的現実の断片的な表現です。モデルがビデオと音声の背後にある物理プロセスについて学習した後、アクション予測は新しい出発点ではありません。それは、すでにモデル化している現実のもう1つのビューにすぎません。

単一のバックボーン

そのフレームワークが正しいとすれば、FLUX 3にアクションを予測するように教えることは、永続的なコストを伴わないはずです。モデルがアクション空間の構造を学習し、その内部的な世界表現をそれに合わせるための短い混乱期を経て、完全なパフォーマンスに戻ると予想されます。まさにそれが私たちが観察していることです。

大規模なトレーニング実行において、私たちはカリキュラムにアクション予測を追加し、ビデオ生成品質への影響を観察しました。テキストからビデオへの変換および画像からビデオへの変換に関する人間の評価は、モデルが新しいアクションモダリティを取り込み始めた当初、最大10%低下しました。3500ステップ後、モデルはビデオ生成タスクで以前の品質を完全に回復し、同時にアクションも予測できるようになりました。

[画像: 各シリーズは、アクション予測が追加される前の独自の品質に正規化されています。高いほど良いです。]

モデルはアクションを入力と出力に統合する必要がありましたが、それによって能力が永久に失われることはありませんでした。単に、この新しいモダリティが既存の世界モデルとどのように関連しているかを学習する必要があっただけです。これが理解されると、既存の機能に対するパフォーマンスの低下はなくなりました。ビデオ生成とアクション予測は、別々の基盤を必要としません。同じバックボーンが両方を担います。

これにより、Physical AIは、Black Forest Labsにおける私たちのロードマップの自然な拡張となり、方向転換ではありません。コンテンツ作成は、マルチモーダルなFLUX 3バックボーンが画像、ビデオ、音声で行うことです。Physical AIは、それがアクションで行うことです。1つの基盤モデルが、視覚的知性を中核として、2つのアプリケーションファミリーを可能にします。私たちは別の基盤モデルを構築したわけではありません。私たちは難しいことに集中しました。世界を理解するモデルを構築することです。その中で行動することは、その理解が可能にすることです。

ラボから現実へ: FLUX-mimic

FLUX 3バックボーンを実際の生産ラインでの実際の自動化タスクに向けたときに何が起こるでしょうか?

それが、mimicとBFLがFLUX-mimicを創設した理由です。mimicは独自のロボットを構築し、ロボット学習、器用な操作、生産デプロイメントの専門知識をもたらします。BFLは視覚基盤モデルを構築し、マルチモーダルトレーニングとモデリングの専門知識をもたらします。共に、私たちは産業要件に適合し、mimicのフルスタックデプロイメントシステムに統合された、汎用操作のための次世代モデルを構築しました。FLUX-mimicは、FLUX 3バックボーン上に構築されたビデオ・アクションモデルです。

学習された世界モデルのデコード

私たちの仮説は、FLUX 3がビデオを生成するために、世界の内的な表現を学習する必要があるということです。FLUX-mimicはこの仮説を追求し、FLUXバックボーンの学習された世界表現からアクションをデコードします。このアプローチは、mimic-videoで開拓されたもので、FLUXのビデオ予測パスから抽出された中間特徴の上に軽量なアクションデコーダーをトレーニングします。

[画像: FLUX 3の上にFLUX-mimicがどのように構築されるかのアーキテクチャ概要]

このアプローチの成功は、関連するが異なる2つの側面にかかっています。FLUXによって学習された世界モデルの品質と、この世界モデルの特徴表現の品質です。世界モデルの品質は、生成品質に直接関係しています。モデルが世界の振る舞いを理解していなければ、それをシミュレートすることはできません。しかし、たとえ最高のワールドモデルであっても、アクセス可能でなければアクションデコーダーには役立ちません。特徴空間がモダリティ間の因果関係を非線形に絡ませたままにしている場合、特徴表現からそれらの関係を理解することは、生の入力からそれらを理解することと同じくらい困難です。表現の品質が重要です。

生成品質と表現品質は、長らく孤立して研究・アプローチされてきました。生成アプローチは、シミュレーションを可能にする高品質な世界モデルを生み出し、コンピューティング投資に対する予測可能なリターンをもたらすスケーリング則を示します。しかし、表現学習のためのより専門的なアプローチと比較して、それらはあまり分離されていない表現を生成するため、世界理解を必要とするタスクへの有用性に上限を設けています。

生成モデル自体が独自の機能に依存しているため、表現品質におけるこの乖離は直感に反するように思えます。生成モデル内の表現の改善は、それらの世界モデルの品質を向上させ、下流タスクでの使用可能性を高めるはずです。私たちの研究であるSelf-Flowでは、生成と表現学習を単一のフレームワークで統合する方法を示し、まさにこの相互改善を観察しました。世界モデルは改善され(ビデオ、画像、音声にわたる生成品質で測定)、その表現品質も改善されました(シミュレーションにおけるロボット制御タスクの成功率で測定)。

[画像: Self-Flow vs. Flow Matching (FM)。左: 各モダリティの生成エラー(フレシェ距離)、FM=100に正規化(低いほど良い)。右: ファインチューニングによる4つのタスクグループの平均操作タスクの成功率(高いほど良い)。]

世界モデルのスケーリング

スケーリング則はSelf-Flowでも有効であり、FLUX 3はその応用です。これはSelf-Flowのスケーリングアップバージョンです。FLUX 3は、最初から可能な限り広範な世界ダイナミクスを学習するために、数千万時間に及ぶ一般的なビデオコンテンツでトレーニングされ、視覚的知性のバックボーンとして準備するために、人間とロボットの操作タスクに焦点を当てた数十万時間のビデオコンテンツでトレーニングされています。このスケーリングが、Self-Flowの成功をラボから現実に移行させています。mimicは、生産および物流業務の日常的な現実を網羅する実際の工場でのユースケースにFLUX-mimicをデプロイしました。これには、構造化されたトレイへの部品のキッティング、電子制御ユニットをきつくフィットする固定具への挿入、コンポーネントの組み立て、そして従来の自動化では決して触れることのできなかった、シールやケーブルのような柔らかく柔軟な素材の取り扱いが含まれます。

ベンチマークは、アクションデコーダーが、完全にフリーズされたFLUXバックボーンを使用した場合でも、以前のビジョン・言語・アクションモデルを上回るパフォーマンスを示すことを実証しています。この設定では、以前のビジョン・言語・アクションモデルは成功できません。これは、スケーリングが私たちのバックボーンに世界とその行動方法に関する強力な知識をどのように与えるか、そしてSelf-Flowがこの知識をバックボーンの特徴表現から容易にデコード可能にすることをどのように示しています。アクションデコーダーと共にバックボーンをファインチューニングすると、FLUX-mimicは最先端の成功率を達成します。

[画像: 点線は、20回の自律トライアルにおける各モデルの中央値成功率を示しています。高いほど良いです。]

世界知識から実用的なタスクへ

デコード可能な表現で世界知識を公開するバックボーンは、ロボットに新しいタスクを教えるために必要なものを変えます。物理学がすでに表現内にあり、容易にアクセスできる場合、タスクへの適応は、モデルに世界の仕組みを教える問題ではなくなります。単に、この特定のタスクが、すでに知っていることにどのようにマッピングされるかを学習するだけで済みます。高コストな部分は、ロボットが実際に動き出す前に完了しています。

これは、新しいタスクに必要なデモンストレーションデータの量に直接現れます。私たちのSelf-Flowの実験では、Self-Flowを持たないビデオモデルと比較して、アクション予測は半分のトレーニングステップで所定の成功率に達しました。より良い表現は、世界知識の抽出を容易にするため、同じ能力に到達するために必要なデータが少なくなります。mimic-videoの論文では、ビデオ・アクションモデルがビジョン・言語・アクションモデルよりも最大10倍のサンプル効率を報告しています。FLUX-mimicは両方の効果を組み合わせています。

同じ利点が動作にも現れます。FLUX-mimicは失敗から自然に回復します。掴み損ねたロボットは自己修正し、再度掴み、タスクを完了します。デモンストレーションセットは、タスクが失敗する可能性のあるあらゆる状況を網羅することはできません。デモンストレーションされたことのない回復は、どこか別の場所から来る必要があります。それは、すでに世界の振る舞いを知っているモデルからです。

バックボーンが予測する未来(上)、デコードされたアクションから生成されたロボットの実行(下)。

行動するのに十分な速さ

現実世界のデプロイメントには厳しい制約があります。モデルは世界が動く速さと同じ速さで行動しなければなりません。FLUX-mimicの主なコンピューティングコストはバックボーンにあります。これはモデルの最大のコンポーネントであり、mimicの最適化されたデプロイメントスタックでは、そのレイテンシがシステム全体の天井を実質的に決定します。

ここで、私たちの方法論が2度目の成果を発揮します。より良い表現は、パラメータあたりの能力が高いことを意味します。構造化された世界モデルを学習したモデルは、そうでないモデルよりも、所定のパフォーマンスレベルに到達するために必要な容量が少なくなります。デプロイメントにおいては、これはより小さなバックボーンを実行できることに直接つながります。そして、より小さなバックボーンはより高速なバックボーンです。

[画像: 1.0MトレーニングステップでのCLIPスコア。高いほど良い。バックボーンの深さはデプロイメントレイテンシの主要因であるため、レイヤーが少ないほどモデルは高速になります。]

その結果、FLUX-mimicのバックボーンは、単一のNVIDIA RTX 5090 GPU上で80ms未満で入力から世界表現までの実行を最適化できます。これは、人間の視覚反応時間と同程度のオーダーになります。

現実世界のデプロイメントでは、追加のレイテンシを回避するために、完全なデプロイメントスタックの追加最適化が必要です。mimicの最適化は、アクションデコーダーから、センサー、モデル、アクチュエーター間のプロセス間レイテンシの削減、予測と実行が重なりロボットがスムーズに動作しジッターしないようにするリアルタイムチャンキングまで多岐にわたります。最終的な結果は、101msの反応時間を持つ自己完結型のロボットシステムです。

工場の現場で

これらすべてが、自動化が重要となる場所、つまり工場へとつながります。Audiは自動車業界で最も自動化された生産ネットワークの1つを運営しており、これにより従来の自動化がまだどこで限界を迎えるのかを正確に把握できます。数十年にわたるロボット工学への投資にもかかわらず、柔軟な部品や精密な操作を伴うタスクは、主に経済的な理由から手作業のままでした。プレミアム生産の多様なバリエーションは、従来プログラムされたロボットセルを、ケースごとに再設計するにはコストがかかりすぎます。学習ベースのシステムは、この計算を変えます。

「mimicとのパートナーシップにより、AudiはFLUX-mimicのテストとデプロイメントを行っています。これらのロボットが、従来のロボット工学では不可能だった複雑なソフトボディ操作作業を解決するのを見てきました。これは、従業員を支援し、効率を高め、生産および物流業務全体で柔軟な自動化を拡大する上で大きな影響を与える可能性があります。私たちにとって、mimicやBlack Forest Labsのようなパイオニア企業との提携は、Physical AIのフロンティアを押し広げ、これらのイノベーションを現実の生産環境で検証するために不可欠です。」 — Christoph Schneider, Audi Production Lab

まとめ

FLUX-mimicは、目的のために特別に構築されたロボットモデルであり、今後の展開の証です。そのサンプル効率と堅牢性は、タスク固有のエンジニアリングからではなく、FLUX 3バックボーンとそれが公開する表現の品質から来ています。これが、アプローチがタスク、業界、ハードウェアを横断して転送できる理由です。詳細については、mimicをご覧ください。

1つのモデルが、視覚的知性を中核として、画像、ビデオ、音声を生成し、生産ラインでロボットを駆動します。コンテンツ作成と物理AIは、同じ基盤の2つのアプリケーションです。