Show HN: FeyNoBg – 自動背景除去モデルとトレーニングライブラリ

皆さん、こんにちはHN。FeynのShreyashです。私たちは企業がデータからカスタムモデルを構築するのを支援しています。 本日、自動背景除去モデルであるFeyNoBgをリリースします。それに加えて、それをトレーニングおよび実行するために構築したPythonライブラリNoBgをオープンソース化します。 モデルはこちらで試すことができます: https://huggingface.co/spaces/feyninc/feynobg。 ライブラリはこちらで確認できます: https://github.com/feyninc/nobg。 いくつかのサンプル出力: (1) サッカーのフリーキック: https://drive.google.com/file/d/1MZkAGLwbhNVOZ0Oi7XvpCfSEu9QPCbwj/view?usp=sharing (2) 風になびく髪: https://drive.google.com/file/d/1Odc2m0XMVH9uZtvI_KjaRbXzhLLdGK8Z/view?usp=sharing (3) スポークがはっきり見える自転車: https://drive.google.com/file/d/1h99ahjfrtS1MFQJJgiKE2fuM3HZyQ-QJ/view?usp=sharing (4) ライブデモビデオ: https://youtu.be/b1heHPvY8BM 背景除去は、画像の被写体をその周囲から分離します。私たちは皆、いつかそれを試したことがあります。多くの場合、被写体を別のアーティファクトで再利用するためです。最近では、それからチャットステッカーを作成するのが一般的です。これは最も一般的でありながら過小評価されているAIの用途の一つです。また、驚くほど複雑でもあります。モデルは、カモフラージュ、モーションブラー、または髪のような細かい構造によって簡単に混乱させられることがあります。 このタスクには2つのスキルが必要です。まず、モデルは前景を特定する必要があります。次に、前景の境界線をトレースし、各ピクセルの不透明度値を推定する必要があります。一般的に、これらのスキルは異なるデータセットで教えられます。これが失敗点となります。不十分なトレーニングミックスは、一方のスキルを犠牲にしてもう一方を改善する可能性があります。私たちは管理された評価でこれを見ました。MaskFactoryデータセットのみでのトレーニング実行は、CAMOベンチマークを改善しましたが、DIS5Kでは後退しました。 FeyNoBgでは、トレーニングに解釈可能性を最優先するアプローチを取りました。まず、BiRefNetの各ステージが前景の特定と境界線の再構築にどのように貢献するかを研究しました。その特徴抽出器の第3ステージに多くの情報が含まれていることを発見しました。局在化と境界線の再構築の両方が、ここで生成される特徴マップに大きく依存しています。 これにより、事前学習済みの重みを保持しながら、このステージを18ブロックから24ブロックに拡張しました。その後、10のデータセットから収集した26.1Kの多様な例でFeyNoBgをトレーニングしました。目標は、どちらかを犠牲にすることなく、前景の特定と境界線の精度を向上させることでした。 8つのベンチマーク全体で、FeyNoBgは4つで最高の公開スコアを達成し、残りのベンチマークではリーダーに2％以内のスコアで迫っています。 FeyNoBgの構築は、ツールの問題も露呈させました。画像マットモデルは通常、互換性のない前処理、トレーニング、評価コードを持つ独立したリポジトリとしてリリースされます。私たちはこれを解決するためにNoBgを構築しました。NoBgはこれらのワークフローを単一のPythonインターフェースの背後に配置します。現在BiRefNetをサポートしており、今後さらに多くのアーキテクチャが追加される予定です。これでエキサイティングなものを作ってくれることを願っています！ どんな質問でも喜んでお答えします！