Moebius: 10Bレベルの性能を持つ0.2B画像インペインティングモデル
Moebius: 0.2B image inpainting model with 10B-level performance (hustvl.github.io)
要約
Moebiusは、わずか0.2Bのパラメータで10Bレベルの性能を発揮する軽量な画像インペインティングフレームワークです。これは、Local-λ Mix Interaction (LλMI) ブロックという独自の拡散バックボーン再構築と、適応型マルチ粒度蒸留戦略の組み合わせによって実現されました。既存の高性能モデルと比較して、パラメータ数を2%未満に抑えながら15倍以上の推論速度向上を達成し、高品質な画像補完を可能にします。
全文翻訳
Moebius: 0.2Bパラメータの軽量画像インペインティングフレームワーク、10Bレベルの性能を実現
() 同等貢献、(†) プロジェクトリーダー、(📧) 連絡担当著者。
1華中科技大学 2VIVO AI Lab
概要
10Bレベルの産業用基盤モデルは画像インペインティングの限界を押し広げてきましたが、その法外な計算コストは実用的な展開を著しく妨げています。高度に最適化されたタスク固有のスペシャリストを構築することは有望な解決策ですが、極端な構造圧縮は必然的に深刻な表現ボトルネックを引き起こします。これを克服するために、我々は非常に効率的な軽量インペインティングフレームワークであるMoebiusを提案します。我々はLocal-λ Mix Interaction (LλMI)ブロックを導入することにより、拡散バックボーンを体系的に再構築します。Local-λモジュールとInteractive-λモジュールで構成されるこのブロックは、空間コンテキストとグローバルセマンティックプライアを固定サイズの線形行列にエレガントに要約し、複雑な潜在的相互作用を維持しながらパラメータを劇的に削減します。さらに、この非常にコンパクトなアーキテクチャの完全な表現能力を解き放つために、適応型マルチグレイン蒸留戦略と相乗的にペアリングします。高価なピクセル空間デコーディングを回避するために潜在空間内で厳密に動作するこの戦略は、高忠実度アライメントを達成するために複数の勾配ベースの損失を動的にバランスさせます。自然画像とポートレートベンチマーク全体での広範な実験は、この最適な相乗効果により、Moebiusが10Bレベルの産業用汎用モデルFLUX.1-Fill-Devの生成品質に匹敵するか、それを超えることを示しています。注目すべきは、Moebiusはパラメータ数の2%未満(0.22B対11.9B)でこれを達成し、総推論時間を15倍以上に加速させ、高忠実度インペインティングのための新しい効率標準を設定しています。
手法
[画像: Moebiusの全体パイプライン]
Latent Categories Guidance (LCG) を備えたLatent Diffusion Model (LDM) フレームワークを採用しています。極端なアーキテクチャ効率を達成するために、提案するLλMIブロック(セクション3.2で詳述)を使用して、デノイジングU-Netを体系的に再構築します。さらに、トレーニング中に適応型マルチグレイン蒸留戦略(セクション3.3)を適用して、軽量スペシャリストをハイキャパシティティーチャーにアラインさせ、極端な構造圧縮によるキャパシティ低下を効果的に緩和します。
ハイライト
- 📉 極端なパラメータ効率 (< 2%): Moebiusはわずか0.22B (2億2600万) のパラメータで動作し、これは巨大な産業用モデルであるFLUX.1-Fill-Dev (11.9B)のサイズの2%未満に相当します。重い計算という物語を打ち破り、高品質なインペインティングをコンシューマーグレードおよびエッジデバイスで利用可能にします。
- ⚡ 15倍の推論速度向上 (26ms/step): 単一GPUでわずか26.01 ms/stepという驚異的な推論レイテンシを達成します。最適化されたサンプリングステップと組み合わせることで、Moebiusは10Bレベルのモデルと比較して、全体で15倍以上の総実行時間加速を実現します。
[画像: Moebiusの性能比較]
- 🏆 10Bレベルのインペインティング品質 (6つのベンチマークでFLUX.1-Fill-Devに匹敵/凌駕): サイズの縮小は表現の劣化を意味しません。アーキテクチャと蒸留の相乗最適化により、Moebiusは、自然シーン(Places2)とポートレートシーン(CelebA-HQ, FFHQ)を網羅する6つの包括的なベンチマーク全体で、10Bレベルの最先端(SOTA)汎用モデル(FLUX.1-Fill-Dev, SD3.5 Large-Inpainting)に匹敵し、特定のシナリオ(複雑なテクスチャや顔の自然さなど)ではそれを超える性能を発揮します。
- 💡 相乗的なコアイノベーション:
- アーキテクチャ設計 (LλMIブロック): 空間コンテキストとグローバルセマンティックプライアを固定サイズの線形行列に凝縮することで、自己アテンションとクロスアテンションの両方を再定式化し、二次計算オーバーヘッドを回避します。
- 適応型マルチグレイン蒸留戦略: PixelHacker (ティーチャー) からの表現能力を、潜在空間内(高価なピクセル空間デコーディングを回避)で厳密に移転します。これは、ミクロな中間特徴からマクロな拡散軌跡に至るまでのマルチグレイン監視をアラインさせることで、巨大なキャパシティギャップを橋渡しし、勾配ノルム適応型損失重み付けメカニズムによるトレーニングを動的にバランスさせます。
- 最適な相乗的バランス: コンパクトな構造と蒸留の間の相互制約と上限を体系的に探求します。このアーキテクチャ-蒸留のシナジーフロンティアをマッピングすることにより、我々は0.22BのMoebius(生徒)が、表現飽和を引き起こすことなく、PixelHacker(ティーチャー)の最大セマンティック推論を吸収することを保証します。
[画像: Moebiusのアーキテクチャと蒸留の相乗効果]
- 🚀 巨大な汎用モデルよりもタスク固有のスペシャリスト: 単純にスケールアップするのではなく、Moebiusは根本的な問いに答えます。「タスクが明確に定義されている場合、モデルはより賢く、より軽く、より速くなることができるか?」これは、実世界の画像インペインティングとAIオブジェクト除去をパラメータの肥大化から解放する、高度に最適化されたスペシャリストとして機能します。
ビジュアライゼーション
- 自然シーン -
[画像: 自然シーンのインペインティング結果1][画像: 自然シーンのインペインティング結果2]
[画像: 自然シーンのインペインティング結果3][画像: 自然シーンのインペインティング結果4]
[画像: 自然シーンのインペインティング結果5][画像: 自然シーンのインペインティング結果6]
[画像: 自然シーンのインペインティング結果7][画像: 自然シーンのインペインティング結果8]
[画像: 自然シーンのインペインティング結果9][画像: 自然シーンのインペインティング結果10]
[画像: 自然シーンのインペインティング結果11][画像: 自然シーンのインペインティング結果12]
[画像: 自然シーンのインペインティング結果13][画像: 自然シーンのインペインティング結果14]
[画像: 自然シーンのインペインティング結果15][画像: 自然シーンのインペインティング結果16]
[画像: 自然シーンのインペインティング結果17][画像: 自然シーンのインペインティング結果18]
[画像: 自然シーンのインペインティング結果19][画像: 自然シーンのインペインティング結果20]
[画像: 自然シーンのインペインティング結果21][画像: 自然シーンのインペインティング結果22]
[画像: 自然シーンのインペインティング結果23][画像: 自然シーンのインペインティング結果24]
[画像: 自然シーンのインペインティング結果25][画像: 自然シーンのインペインティング結果26]
[画像: 自然シーンのインペインティング結果27][画像: 自然シーンのインペインティング結果28]
[画像: 自然シーンのインペインティング結果29][画像: 自然シーンのインペインティング結果30]
[画像: 自然シーンのインペインティング結果31][画像: 自然シーンのインペインティング結果32]
[画像: 自然シーンのインペインティング結果33][画像: 自然シーンのインペインティング結果34]
[画像: 自然シーンのインペインティング結果35][画像: 自然シーンのインペインティング結果36]
[画像: 自然シーンのインペインティング結果37][画像: 自然シーンのインペインティング結果38]
[画像: 自然シーンのインペインティング結果39][画像: 自然シーンのインペインティング結果40]
[画像: 自然シーンのインペインティング結果41][画像: 自然シーンのインペインティング結果42]
[画像: 自然シーンのインペインティング結果43][画像: 自然シーンのインペインティング結果44]
[画像: 自然シーンのインペインティング結果45][画像: 自然シーンのインペインティング結果46]
[画像: 自然シーンのインペインティング結果47][画像: 自然シーンのインペインティング結果48]
[画像: 自然シーンのインペインティング結果49][画像: 自然シーンのインペインティング結果50]
[画像: 自然シーンのインペインティング結果51][画像: 自然シーンのインペインティング結果52]
- ポートレートシーン -
[画像: ポートレートシーンのインペインティング結果1][画像: ポートレートシーンのインペインティング結果2]
[画像: ポートレートシーンのインペインティング結果3][画像: ポートレートシーンのインペインティング結果4]
[画像: ポートレートシーンのインペインティング結果5][画像: ポートレートシーンのインペインティング結果6]
[画像: ポートレートシーンのインペインティング結果7][画像: ポートレートシーンのインペインティング結果8]
[画像: ポートレートシーンのインペインティング結果9][画像: ポートレートシーンのインペインティング結果10]
[画像: ポートレートシーンのインペインティング結果11][画像: ポートレートシーンのインペインティング結果12]
[画像: ポートレートシーンのインペインティング結果13][画像: ポートレートシーンのインペインティング結果14]
[画像: ポートレートシーンのインペインティング結果15][画像: ポートレートシーンのインペインティング結果16]
[画像: ポートレートシーンのインペインティング結果17][画像: ポートレートシーンのインペインティング結果18]
[画像: ポートレートシーンのインペインティング結果19][画像: ポートレートシーンのインペインティング結果20]
[画像: ポートレートシーンのインペインティング結果21][画像: ポートレートシーンのインペインティング結果22]
[画像: ポートレートシーンのインペインティング結果23][画像: ポートレートシーンのインペインティング結果24]
[画像: ポートレートシーンのインペインティング結果25][画像: ポートレートシーンのインペインティング結果26]
[画像: ポートレートシーンのインペインティング結果27][画像: ポートレートシーンのインペインティング結果28]
自然シーンでの比較 (Places2)
[画像: Places2での比較結果1][画像: Places2での比較結果2]
ポートレートシーンでの比較 (CelebA-HQ, FFHQ)
[画像: CelebA-HQ, FFHQでの比較結果1][画像: CelebA-HQ, FFHQでの比較結果2]
BibTeX
@inproceedings{DuanAndXu2026Moebius,
title={Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance},
author={Kangsheng Duan and Ziyang Xu and Wenyu Liu and Xiaohu Ruan and Xiaoxin Chen and Xinggang Wang},
year={2026},
booktitle={European Conference on Computer Vision (ECCV)}
}