Show HN: FeyNoBg – 自動背景除去モデルとトレーニングライブラリ
Show HN: FeyNoBg – Automatic background removal model and training library (usefeyn.com)
要約
Feyn社は、画像から被写体の背景を自動的に除去するモデル「FeyNoBg」と、そのトレーニングおよび実行のためのPythonライブラリ「NoBg」をオープンソースとして公開しました。このモデルは、既存のモデルの課題であった前景特定と境界線検出のスキル間のトレードオフを改善するため、解釈可能性を重視したアプローチでトレーニングされており、複数のベンチマークで高い性能を示しています。
全文翻訳
皆さん、こんにちは。FeynのShreyashです。私たちは企業がデータからカスタムモデルを構築するのを支援しています。
本日、自動背景除去モデルであるFeyNoBgをリリースします。それに伴い、私たちがそれをトレーニングし実行するために構築したPythonライブラリNoBgをオープンソース化します。
モデルはこちらで試せます: https://huggingface.co/spaces/feyninc/feynobg。ライブラリはこちらで確認できます: https://github.com/feyninc/nobg
いくつかのサンプル出力:
(1) サッカーのフリーキック: https://drive.google.com/file/d/1MZkAGLwbhNVOZ0Oi7XvpCfSEu9Q...
(2) 風になびく髪: https://drive.google.com/file/d/1Odc2m0XMVH9uZtvI_KjaRbXzhLL...
(3) スポークがはっきり見える自転車: https://drive.google.com/file/d/1h99ahjfrtS1MFQJJgiKE2fuM3HZ...
(4) ライブデモ動画: https://youtu.be/b1heHPvY8BM
背景除去は、画像の被写体をその周囲から分離することです。皆さんも一度はやったことがあるでしょう。多くの場合、被写体を別のアーティファクトで再利用するためです。最近では、それを使ってチャットステッカーを作るのが一般的です。これは最も一般的でありながら過小評価されているAIの用途の一つです。また、驚くほど複雑でもあります。カモフラージュ、モーションブラー、あるいは髪のような細かい構造にモデルは簡単に混乱させられます。
このタスクには2つのスキルが必要です。まず、モデルは前景を特定する必要があります。次に、前景の境界をトレースし、各ピクセルの不透明度を推定する必要があります。一般的に、これらのスキルは異なるデータセットで学習されます。それが失敗の原因となります。不適切なトレーニングの組み合わせは、一方のスキルを犠牲にしてもう一方を改善する可能性があります。私たちは管理された評価でこれを確認しました。MaskFactoryデータセットのみでトレーニングを実行すると、CAMOベンチマークは改善しましたが、DIS5Kでは後退しました。
FeyNoBgでは、解釈可能性を最優先したアプローチでトレーニングを行いました。まず、BiRefNetの各ステージが前景の特定と境界の再構築にどのように貢献するかを調査しました。その特徴抽出器の第3ステージに多くの情報が含まれていることを発見しました。局在化と境界の再構築の両方が、ここで生成される特徴マップに大きく依存しています。
これにより、事前学習済みの重みを維持したまま、このステージを18ブロックから24ブロックに拡張しました。その後、10個のデータセットから収集した26.1Kの多様な例でFeyNoBgをトレーニングしました。目標は、どちらか一方を犠牲にすることなく、前景の特定と境界の精度を向上させることでした。
8つのベンチマーク全体で、FeyNoBgは4つで最高の公開スコアを達成し、残りのベンチマークではリーダーに2%以内の差で迫っています。
FeyNoBgの構築は、ツールの問題も露呈させました。画像マットモデルは通常、互換性のない前処理、トレーニング、評価コードを持つ独立したリポジトリとしてリリースされます。私たちはNoBgを構築してこれを解決しました。NoBgはこれらのワークフローを単一のPythonインターフェースの背後に置きます。現在はBiRefNetをサポートしていますが、今後さらに多くのアーキテクチャが追加される予定です。皆さんがこれを使って何かエキサイティングなものを構築してくれることを願っています!
ご質問があれば喜んでお答えします!