プログラミング
Show HN: Open-source, real-time object tracking for live video feeds
Show HN: Open-source, real-time object tracking for live video feeds (github.com)
要約
MetaのSAM 3モデルをリアルタイム映像フィードで動作させるオープンソースプロジェクト「tamserve」が公開されました。SAM 3のトラッカーと軽量トラッカーEdgeTAMを組み合わせることで、GPUメモリ使用量を大幅に削減しつつ、高速かつ高精度なオブジェクト追跡を実現します。倉庫管理、セキュリティ、ホームケアなど、様々なリアルタイム映像分析アプリケーションへの応用が期待されています。
全文翻訳
ライブ倉庫カメラで「フォークリフト」と入力すると、tamserveは走行中のものを含む両方のフォークリフトを見つけて追跡します。その後、停止せずに「人」を追加します。
tamserveは、MetaのSAM 3をライブカメラフィードで実行します。SAM 3独自のトラッカーは、一度に1つの録画済みビデオを処理し、約8fpsで動作しますが、長時間のビデオではメモリ不足になります。tamserveは、数フレームごとにSAM 3を使用してオブジェクトを見つけ、その間は軽量トラッカー(EdgeTAM)で追跡します。各モデルのコピーは、すべてのカメラで共有されます。
RTX 4090 1枚あたり:
- 名前を付けた任意のオブジェクト: SAM 3のトラッカーより4倍高速で、精度は92%
- 人物: 同時に16台のカメラを処理し、フレームあたりのGPU使用量は14倍少なく、SAM 3よりもわずかに高精度(89.6 vs 87.8 HOTA)
- メモリ: 3,000フレームのビデオで3.5GBに安定、SAM 3はフレーム423でメモリ不足になる
構築している場合に役立つ可能性:
- 倉庫や工場の安全(フォークリフト、パレット、ヘルメット)
- セキュリティまたは小売カメラ分析
- 家庭または高齢者ケアの監視
- ロボティクス、野生動物または実験室の監視
- 長時間のビデオ用アノテーションツール
pip install "tamserve[sam3]"
フィードバックがあればぜひお寄せください。必要に応じてtamserveを編集します。もし有用だと感じたら、スターをいただけると助かります!