Show HN: MultiMatte、プロンプト可能な画像背景除去モデル

皆さん、こんにちは。FeynのShreyashです。私たちは、お客様のデータからカスタムモデルを構築するお手伝いをしています。 本日、私たちはMultiMatteをリリースします。これは、言葉で指示できる背景除去モデルです。画像内のオブジェクトの名前を指定すると、MultiMatteはそのものだけを保持し、それ以外をすべて除去します。 ご自身の画像で試してみてください: https://usefeyn.com/multimatte/. デモ動画: https://youtu.be/XZ5BJWAkOjs MultiMatteはオープンソースです。NoBgライブラリを使用して構築できます: https://github.com/feyninc/nobg。モデルカードはこちら: https://hf.co/feyninc/multimatte MultiMatteは、当社の背景除去モデルの第2世代です。最初のモデルはFeyNoBgで、こちらでリリースしました: https://news.ycombinator.com/item?id=49072462. 大きなアップグレードはプロンプト機能です。ほとんどのモデルは、背景を切り抜く際にすべての前景要素を保持します。MultiMatteでは、保持したい正確なオブジェクトをプロンプトで指定し、それ以外のすべてを除去できます。例えば、犬とボウルが写っている画像がある場合、MultiMatteに犬だけを保持するように指示できます。 MultiMatteは、MetaのSAM 3を基盤としています。SAM 3は、概念的なプロンプトに対応できる検出器で、すでにフレーズを理解しています。私たちの最大の変更点はマスキングです。各ピクセルがオブジェクトの内側か外側かを分類する二値マスクの代わりに、MultiMatteはアルファマットを使用します。これは、オブジェクトに対して各ピクセルに不透明度値を割り当てるものです。これにより、髪の毛、毛皮、モーションブラー、その他の種類の曖昧な境界をより良く表現できます。 測定したすべてのベンチマークにおいて、MultiMatteはSAM 3に対して段階的な改善を示しています。DIS5Kでは、S-measureが0.674から0.908に上昇しました（相対的なゲインは34.6%）。DUT-OMRONでは0.792から0.901に上昇しました（13.7%）。 ブログでは、トレーニングの詳細と結果についてさらに詳しく説明しています: https://usefeyn.com/blog/multimatte. ご質問があれば、喜んでお答えします！