NerdLens: カードボードVRでコンピューターをミラーリング
NerdLens: Mirror your computer with cardboard VR (github.com)
要約
NerdLensは、既存のVRヘッドセット(iPhoneとGoogle Cardboard用)でコンピューター画面をミラーリングできる、オープンソースの実験的なVRデスクトップアプリケーションです。デスクトップ画面をJPEGフレームに圧縮し、USB経由で送信して、Cardboardビュー内の仮想スクリーンにレンダリングします。高価なヘッドセットやクラウドストリーミングは不要で、スマートフォン、Cardboardビューア、そしてかなりの好奇心があれば利用できます。これはまだ初期の概念実証であり、洗練された消費者向けアプリではありません。
全文翻訳
NerdLens
お持ちのヘッドセットにコンピューター画面を映し出しましょう。
iPhoneとGoogle Cardboard向けの有線、オープンソースのVRデスクトップ実験。
[画像: License: GPL-3.0] [画像: Project status: proof of concept]
NerdLensはデスクトップをキャプチャし、JPEGフレームに圧縮して、USB経由でそれらのフレームを送信し、ステレオスコピックなCardboardビュー内の仮想スクリーンにレンダリングします。高価なヘッドセットも、クラウドストリーミングも不要です。必要なのは、スマートフォン、Cardboardビューア、そしておそらく不合理なほどの好奇心だけです。
重要事項
NerdLensは初期の概念実証であり、洗練された消費者向けアプリではありません。現在のモバイルプロジェクトはiOSを対象としており、ソースビルドが必要です。ハッキングや実験に最も適しています。
何ができるか
- 設定可能な10~60 FPSのターゲットで、選択したディスプレイまたはウィンドウをVRにストリーミング
iproxyを介して有線USBトンネルでトラフィックを維持- ライブプレビュー、接続状態、フレーム数、解像度、ターゲットFPSを表示
- ヘッドセットを外さずに仮想ディスプレイを近づけたり遠ざけたりできる
- 自動再接続試行により、中断されたフレーム書き込みから回復
- ビューイングセッション中にiPhoneのスリープを維持
仕組み
A["デスクトップまたはウィンドウ"] --> B["Svelte キャプチャUI"]
B -->|"JPEGフレーム"| C["Tauri / Rust ホスト"]
C -->|"TCP :12345"| D["iproxy USBトンネル"]
D --> E["Unity iOSクライアント"]
E --> F["VRディスプレイ上のテクスチャ"]
F --> G["Google Cardboard"]
B -->|"距離設定"| C
読み込み
スマートフォンはTCPサーバーを実行し、デスクトップホストはlocalhost:12345に接続します。これはiproxyによって接続されたiPhoneに転送されます。各メッセージは、1バイトのタイプ、それに続くビッグエンディアンのペイロード長、そしてペイロード自体で始まります。
| タイプ | ペイロード | 目的 |
|---|---|---|
0 | なし | キープアライブ、クライアントによって予約 |
1 | JPEGバイト | VRに表示されるテクスチャを置き換える |
2 | UTF-8 JSON | ディスプレイ距離などのビューア設定を更新する |
クイックスタート
必要なもの
- macOSおよびXcode
- iOS 13以降を実行するiPhone
- Google Cardboard互換ビューア
- USBケーブル
- Unity Hub(Unity
6000.1.5f1およびiOSビルドサポート付き) - Bun(Bun)、Rust(Rust)、およびTauriのシステム前提条件
libimobiledevice(libimobiledevice)からのiproxy
Homebrewでiproxyをインストールします:
brew install libimobiledevice
次にプロジェクトをクローンします:
git clone https://github.com/ThatXliner/NerdLens.git
cd NerdLens
1. iPhoneクライアントのビルド
- Unity Hubで
Test0ディレクトリをUnity6000.1.5f1を使用して開きます。 Assets/Scenes/SampleScene.unityを開きます。- ビルドターゲットをiOSに切り替え、Xcodeプロジェクトをビルドします。
- 生成されたプロジェクトをXcodeで開き、開発チームを選択し、iPhoneを接続して、デバイス上でアプリを実行します。
- アプリが起動したら、スマートフォンをCardboardビューアに入れます。
Google Cardboard XRパッケージはすでにUnityプロジェクトで宣言されており、Unity Package Managerによって取得されます。
2. USBトンネルを開く
iPhoneを接続して信頼し、NerdLensモバイルアプリを実行したまま、別のターミナルでトンネルを開始します:
iproxy 12345 12345
セッション中は常にこのプロセスを実行してください。
3. デスクトップホストを開始する
cd desktop
bun install --frozen-lockfile
bun run tauri dev
NerdLensで:
- Connectを選択します。
- Start Recordingを選択し、ディスプレイまたはウィンドウを選択します。
- ヘッドセットを装着します。
- Distanceスライダーを使用して、画面を快適な位置に配置します。
これで完了です。あなたのモニターは今、モニターを装着しています。
開発
desktop/からこれらのコマンドを実行します:
# Svelteフロントエンドのみを開始
bun run dev
# フロントエンドの型チェック
bun run check
# フロントエンドのビルド
bun run build
# 完全なデスクトップアプリを実行
bun run tauri dev
# Rustホストを検証
cargo check --manifest-path src-tauri/Cargo.toml
プロジェクトマップ
NerdLens/
├── desktop/ # Tauri 2 + Svelte 5 スクリーンストリーミングホスト
│ ├── src/routes/+page.svelte # キャプチャコントロール、プレビュー、統計情報
│ └── src-tauri/src/lib.rs # TCPプロトコル、リトライ、Tauriコマンド
├── Test0/ # Unity 6 iOS/Cardboardクライアント
│ ├── Assets/ReceiveVideo.cs # TCPサーバーとフレーム/設定デコーダー
│ └── Assets/Scenes/ # VRシーン
├── JOURNAL.md # 元のビルドログ
└── Logo.png
トラブルシューティング
ホストが接続できないと表示される
- Connectを選択する前にiPhoneアプリを起動してください。
- スマートフォンがロック解除され、信頼され、USB経由で見えることを確認してください。
iproxy 12345 12345がまだ実行されていることを確認してください。- ローカルポート
12345を他に何も使用していないことを確認してください。
iOSビルドが署名されない
- 生成されたXcodeプロジェクトを開き、Apple開発チームを選択してください。
- Xcodeが競合を報告した場合、アプリに一意のバンドル識別子を付けてください。
- 接続された電話機が開発用に有効になっていることを確認してください。
ストリームがフリーズまたは停止する
- デスクトップホストでスクリーンキャプチャを停止して再開してください。
iproxyを再起動し、NerdLensから切断して再接続してください。- より低いターゲットFPSを試してください。フル解像度のJPEGエンコーディングは、このプロトタイプでは意図的にシンプルにされています。
表示が不快である
- スマートフォンをビューアに戻す前にDistanceを調整してください。
- 定期的に休憩を取ってください。このプロトタイプには、完全な快適性キャリブレーションフローはまだ含まれていません。
ロードマップ
- よりスムーズで低遅延のビデオ転送
- 両端でのより良い接続とエラーフィードバック
- 自動デバイス検出と
iproxy管理 - ディスプレイ配置コントロールと軸ロック
- より洗練されたVR環境
- パッケージ化されたデスクトップおよびモバイルリリース
最初のUnityプロジェクトの失敗を含む、素晴らしい率直な開発ストーリーは、プロジェクトジャーナルにあります。
貢献
バグレポート、実験、プロトコルの改善、そして喜ばしくも過剰に設計されたアイデアを歓迎します。変更内容とそのテスト方法を明確に説明したプルリクエストを開くか、送信してください。
ライセンス
NerdLensは、GNU General Public License v3.0の下でリリースされたフリーソフトウェアです。