プログラミング
Steam Controller Auto-Charge – CV を使用して磁気充電ドックへ誘導
Steam Controller Auto-Charge – pilot to magnetic charging puck using CV (github.com)
要約
Steam Controller Auto-Charge は、オープンソースのウェブアプリケーションです。これは、コンピュータビジョン(光学フロー)と WebHID テレメトリを使用して、Steam Controller を磁気充電ドックへ自動的に誘導します。光学フロー追跡、触覚フィードバックによるナビゲーション、バッテリー状態のポーリングなどの機能を備えています。
全文翻訳
Steam Controller Auto-Charge
Steam Controller Auto-Chargeは、オープンソースのWebアプリケーションで、光学フローコンピュータビジョンとWebHIDテレメトリを使用して、Steamコントローラーを磁気充電ドックに自動的にパイロットするように設計されています。
特徴
- オプティカルフロー追跡: OpenCV.jsを利用して、コントローラーと充電ドック上のユーザー選択ポイントを、オーバーヘッドカメラ経由で追跡します。
- WebHIDテレメトリ & 触覚ナビゲーション: Triton ControllerにWebHID経由でネイティブに接続し、入力とテレメトリ(レポート67)をストリーミングします。内部デュアルリニア共振アクチュエータ(LRA)を介して70Hzの非対称触覚パルスを発火させることで、コントローラーをドックへ向かってナビゲートします。
- 近接クリープモード: コントローラーがドックから150ピクセル以内に近づくと、触覚パルス周波数を50%カットし、穏やかな磁気ドッキングを保証します。
- バッテリー状態ポーリング: レポートID
121(0x79) をインターセプトして磁気充電の成功を確認し、レポートID67(0x43) を解析してライブバッテリー残量とバッテリーセル電圧(mV)を表示します。
セットアップ
要件
- Nixパッケージマネージャー: 必要なビルド依存関係はこれだけです。Windows、Mac、Linuxでシームレスに動作します。
- WebHID APIをサポートするChromiumベースのブラウザ。
- デスクを見下ろすオーバーヘッドウェブカメラ。
- デスクを見下ろすように、真上にウェブカメラを取り付けます。
- 単一のコマンドでプロジェクトを開始します(これにより、依存関係が自動的に取得され、WASMモジュールがビルドされます)。
nix-shell --run "npm install && npm run dev"
使用方法
- デスクを見下ろすように、真上にウェブカメラを取り付けます。
- Steam Controller Auto-Chargeドックをデスクに置きます。
- Steamコントローラーをデスクに立てて置きます。
- Webインターフェースを開き、「Connect Steam Controller」をクリックしてWebHID経由でペアリングします。
- 「✨ Auto-Track」をクリックして自動追跡を有効にします。ボタンがハイライトされてアクティブであることを示し、ページリロード時に自動的に追跡を再開します。無効にするには再度クリックします。
- コントローラーは、Lucas-Kanadeオプティカルフローループと、ブラウザ内蔵のRust/WASM CNNによるオブジェクト回避機能を組み合わせて、自律的にドックへナビゲートします。
(注: 手動追跡も引き続き利用可能です。ドックをクリックし、次にコントローラーの上部をクリックし、次にコントローラーの下部をクリックしてください)。
アーキテクチャ
App.vue: カメラストリーム、UIリアクティビティ、PID追跡ループ、OpenCV.js Lucas-Kanadeオプティカルフロー(calcOpticalFlowPyrLK)を処理するVue 3アプリケーションロジック。steamController.ts: 標準APIコールを、LRAパルスとバッテリー状態ポーリングのSteam Controller固有のバイトペイロードにマッピングするWebHID抽象化クラス。objectDetector.ts&objectWorker.ts: オブジェクト検出をWeb Workerにオフロードし、メイン追跡ループがスムーズに動作するようにします。wasm-object-detect/: 高性能な画像処理のためにWebAssemblyにコンパイルされたRust実装。
謝辞
このプロジェクトのインスピレーションを与えてくれたVery Lazy Pixelに多大な感謝を捧げます!彼らのビデオはこちらでご覧いただけます: https://www.youtube.com/watch?v=g-8S8zk4dn8
ライセンス
このプロジェクトはMITライセンスの下でライセンスされています - 詳細については、LICENSE ファイルを参照してください。