HN 日本語サマリー

← 一覧へ戻る
プログラミング

Show HN: Open-source, real-time object tracking for live video feeds

Show HN: Open-source, real-time object tracking for live video feeds (github.com)

106 pointsby aryaman_darda11 コメント

要約

MetaのSAM 3モデルをリアルタイム映像フィードで動作させるオープンソースプロジェクト「tamserve」が公開されました。SAM 3のトラッカーと軽量トラッカーEdgeTAMを組み合わせることで、GPUメモリ使用量を大幅に削減しつつ、高速かつ高精度なオブジェクト追跡を実現します。倉庫管理、セキュリティ、ホームケアなど、様々なリアルタイム映像分析アプリケーションへの応用が期待されています。

全文翻訳

ライブ倉庫カメラで「フォークリフト」と入力すると、tamserveは走行中のものを含む両方のフォークリフトを見つけて追跡します。その後、停止せずに「人」を追加します。

tamserveは、MetaのSAM 3をライブカメラフィードで実行します。SAM 3独自のトラッカーは、一度に1つの録画済みビデオを処理し、約8fpsで動作しますが、長時間のビデオではメモリ不足になります。tamserveは、数フレームごとにSAM 3を使用してオブジェクトを見つけ、その間は軽量トラッカー(EdgeTAM)で追跡します。各モデルのコピーは、すべてのカメラで共有されます。

RTX 4090 1枚あたり:

  • 名前を付けた任意のオブジェクト: SAM 3のトラッカーより4倍高速で、精度は92%
  • 人物: 同時に16台のカメラを処理し、フレームあたりのGPU使用量は14倍少なく、SAM 3よりもわずかに高精度(89.6 vs 87.8 HOTA)
  • メモリ: 3,000フレームのビデオで3.5GBに安定、SAM 3はフレーム423でメモリ不足になる

構築している場合に役立つ可能性:

  • 倉庫や工場の安全(フォークリフト、パレット、ヘルメット)
  • セキュリティまたは小売カメラ分析
  • 家庭または高齢者ケアの監視
  • ロボティクス、野生動物または実験室の監視
  • 長時間のビデオ用アノテーションツール

pip install "tamserve[sam3]"

フィードバックがあればぜひお寄せください。必要に応じてtamserveを編集します。もし有用だと感じたら、スターをいただけると助かります!