Show HN: MultiMatte、プロンプト可能な画像背景除去モデル
Show HN: MultiMatte, a Promptable Image Background Removal Model (usefeyn.com)
要約
Feynは、テキストプロンプトで対象を指定して背景を除去できる画像処理モデル「MultiMatte」をリリースしました。MetaのSAM 3を基盤とし、ピクセル単位の二値マスクではなく、オブジェクトに対する不透明度を割り当てるアルファマットを採用することで、髪の毛や毛皮などの曖昧な境界をより忠実に表現します。このモデルはオープンソースで提供され、GitHubで利用可能なNoBgライブラリを通じて構築できます。
全文翻訳
皆さん、FeynのShreyashです。私たちは企業がデータからカスタムモデルを構築するのを支援しています。
本日、言葉で指示できる背景除去モデル「MultiMatte」をリリースします。画像内のオブジェクトの名前を指定するだけで、MultiMatteはそのオブジェクトだけを保持し、それ以外をすべて削除します。
ご自身の画像で試してみてください: MultiMatte
デモ動画: https://youtu.be/XZ5BJWAkOjs
MultiMatteはオープンソースです。私たちのNoBgライブラリ https://github.com/feyninc/nobg を使用して構築できます。モデルカードはこちら: https://hf.co/feyninc/multimatte
MultiMatteは、私たちの背景除去モデルの第2世代です。最初のモデルはFeyNoBgで、こちらでリリースしました https://news.ycombinator.com/item?id=49072462。
大きなアップグレードはプロンプト機能です。ほとんどのモデルは背景を切り抜く際に、すべての前景要素を保持します。MultiMatteでは、保持したい正確なオブジェクトをプロンプトで指定し、それ以外のすべてを削除できます。例えば、犬とボウルが写っている画像がある場合、MultiMatteに犬だけを保持するように指示できます。
MultiMatteは、概念的なプロンプトで検出できるMetaのSAM 3を基盤としています。SAM 3はすでにフレーズを理解しています。私たちの最大の変更点はマスキングです。各ピクセルがオブジェクトの内側か外側かを分類する二値マスクの代わりに、MultiMatteはアルファマットを使用し、オブジェクトに対する各ピクセルの不透明度値を割り当てます。これにより、髪の毛、毛皮、モーションブラー、その他の種類の曖昧な境界線をより良く表現できます。
測定したすべてのベンチマークにおいて、MultiMatteはSAM 3に対して段階的な改善を示しています。DIS5Kでは、S-measureが0.674から0.908に上昇（相対的なゲインは34.6%）、DUT-OMRONでは0.792から0.901に上昇（13.7%）しました。
トレーニングの詳細と結果については、ブログをご覧ください https://usefeyn.com/blog/multimatte。
ご質問があれば喜んでお答えします！