HN 日本語サマリー

← 一覧へ戻る
Web開発

NerdLens: カードボードVRでコンピューターをミラーリング

NerdLens: Mirror your computer with cardboard VR (github.com)

17 pointsby thatxliner6 コメント

要約

NerdLensは、既存のVRヘッドセット(iPhoneとGoogle Cardboard用)でコンピューター画面をミラーリングできる、オープンソースの実験的なVRデスクトップアプリケーションです。デスクトップ画面をJPEGフレームに圧縮し、USB経由で送信して、Cardboardビュー内の仮想スクリーンにレンダリングします。高価なヘッドセットやクラウドストリーミングは不要で、スマートフォン、Cardboardビューア、そしてかなりの好奇心があれば利用できます。これはまだ初期の概念実証であり、洗練された消費者向けアプリではありません。

全文翻訳

NerdLens

[画像: NerdLens logo]

お持ちのヘッドセットにコンピューター画面を映し出しましょう。
iPhoneとGoogle Cardboard向けの有線、オープンソースのVRデスクトップ実験。

[画像: License: GPL-3.0] [画像: Project status: proof of concept]


NerdLensはデスクトップをキャプチャし、JPEGフレームに圧縮して、USB経由でそれらのフレームを送信し、ステレオスコピックなCardboardビュー内の仮想スクリーンにレンダリングします。高価なヘッドセットも、クラウドストリーミングも不要です。必要なのは、スマートフォン、Cardboardビューア、そしておそらく不合理なほどの好奇心だけです。

重要事項

NerdLensは初期の概念実証であり、洗練された消費者向けアプリではありません。現在のモバイルプロジェクトはiOSを対象としており、ソースビルドが必要です。ハッキングや実験に最も適しています。

何ができるか

  • 設定可能な10~60 FPSのターゲットで、選択したディスプレイまたはウィンドウをVRにストリーミング
  • iproxyを介して有線USBトンネルでトラフィックを維持
  • ライブプレビュー、接続状態、フレーム数、解像度、ターゲットFPSを表示
  • ヘッドセットを外さずに仮想ディスプレイを近づけたり遠ざけたりできる
  • 自動再接続試行により、中断されたフレーム書き込みから回復
  • ビューイングセッション中にiPhoneのスリープを維持

仕組み

    A["デスクトップまたはウィンドウ"] --> B["Svelte キャプチャUI"]
    B -->|"JPEGフレーム"| C["Tauri / Rust ホスト"]
    C -->|"TCP :12345"| D["iproxy USBトンネル"]
    D --> E["Unity iOSクライアント"]
    E --> F["VRディスプレイ上のテクスチャ"]
    F --> G["Google Cardboard"]
    B -->|"距離設定"| C

読み込み

スマートフォンはTCPサーバーを実行し、デスクトップホストはlocalhost:12345に接続します。これはiproxyによって接続されたiPhoneに転送されます。各メッセージは、1バイトのタイプ、それに続くビッグエンディアンのペイロード長、そしてペイロード自体で始まります。

タイプペイロード目的
0なしキープアライブ、クライアントによって予約
1JPEGバイトVRに表示されるテクスチャを置き換える
2UTF-8 JSONディスプレイ距離などのビューア設定を更新する

クイックスタート

必要なもの
  • macOSおよびXcode
  • iOS 13以降を実行するiPhone
  • Google Cardboard互換ビューア
  • USBケーブル
  • Unity Hub(Unity 6000.1.5f1およびiOSビルドサポート付き)
  • Bun(Bun)、Rust(Rust)、およびTauriのシステム前提条件
  • libimobiledevice(libimobiledevice)からのiproxy

Homebrewでiproxyをインストールします:

brew install libimobiledevice

次にプロジェクトをクローンします:

git clone https://github.com/ThatXliner/NerdLens.git
cd NerdLens
1. iPhoneクライアントのビルド
  1. Unity HubでTest0ディレクトリをUnity 6000.1.5f1を使用して開きます。
  2. Assets/Scenes/SampleScene.unityを開きます。
  3. ビルドターゲットをiOSに切り替え、Xcodeプロジェクトをビルドします。
  4. 生成されたプロジェクトをXcodeで開き、開発チームを選択し、iPhoneを接続して、デバイス上でアプリを実行します。
  5. アプリが起動したら、スマートフォンをCardboardビューアに入れます。

Google Cardboard XRパッケージはすでにUnityプロジェクトで宣言されており、Unity Package Managerによって取得されます。

2. USBトンネルを開く

iPhoneを接続して信頼し、NerdLensモバイルアプリを実行したまま、別のターミナルでトンネルを開始します:

iproxy 12345 12345

セッション中は常にこのプロセスを実行してください。

3. デスクトップホストを開始する
cd desktop
bun install --frozen-lockfile
bun run tauri dev

NerdLensで:

  1. Connectを選択します。
  2. Start Recordingを選択し、ディスプレイまたはウィンドウを選択します。
  3. ヘッドセットを装着します。
  4. Distanceスライダーを使用して、画面を快適な位置に配置します。

これで完了です。あなたのモニターは今、モニターを装着しています。

開発

desktop/からこれらのコマンドを実行します:

# Svelteフロントエンドのみを開始
bun run dev

# フロントエンドの型チェック
bun run check

# フロントエンドのビルド
bun run build

# 完全なデスクトップアプリを実行
bun run tauri dev

# Rustホストを検証
cargo check --manifest-path src-tauri/Cargo.toml
プロジェクトマップ
NerdLens/
├── desktop/                       # Tauri 2 + Svelte 5 スクリーンストリーミングホスト
│   ├── src/routes/+page.svelte   # キャプチャコントロール、プレビュー、統計情報
│   └── src-tauri/src/lib.rs      # TCPプロトコル、リトライ、Tauriコマンド
├── Test0/                         # Unity 6 iOS/Cardboardクライアント
│   ├── Assets/ReceiveVideo.cs    # TCPサーバーとフレーム/設定デコーダー
│   └── Assets/Scenes/            # VRシーン
├── JOURNAL.md                     # 元のビルドログ
└── Logo.png

トラブルシューティング

ホストが接続できないと表示される

  • Connectを選択する前にiPhoneアプリを起動してください。
  • スマートフォンがロック解除され、信頼され、USB経由で見えることを確認してください。
  • iproxy 12345 12345がまだ実行されていることを確認してください。
  • ローカルポート12345を他に何も使用していないことを確認してください。

iOSビルドが署名されない

  • 生成されたXcodeプロジェクトを開き、Apple開発チームを選択してください。
  • Xcodeが競合を報告した場合、アプリに一意のバンドル識別子を付けてください。
  • 接続された電話機が開発用に有効になっていることを確認してください。

ストリームがフリーズまたは停止する

  • デスクトップホストでスクリーンキャプチャを停止して再開してください。
  • iproxyを再起動し、NerdLensから切断して再接続してください。
  • より低いターゲットFPSを試してください。フル解像度のJPEGエンコーディングは、このプロトタイプでは意図的にシンプルにされています。

表示が不快である

  • スマートフォンをビューアに戻す前にDistanceを調整してください。
  • 定期的に休憩を取ってください。このプロトタイプには、完全な快適性キャリブレーションフローはまだ含まれていません。

ロードマップ

  • よりスムーズで低遅延のビデオ転送
  • 両端でのより良い接続とエラーフィードバック
  • 自動デバイス検出とiproxy管理
  • ディスプレイ配置コントロールと軸ロック
  • より洗練されたVR環境
  • パッケージ化されたデスクトップおよびモバイルリリース

最初のUnityプロジェクトの失敗を含む、素晴らしい率直な開発ストーリーは、プロジェクトジャーナルにあります。

貢献

バグレポート、実験、プロトコルの改善、そして喜ばしくも過剰に設計されたアイデアを歓迎します。変更内容とそのテスト方法を明確に説明したプルリクエストを開くか、送信してください。

ライセンス

NerdLensは、GNU General Public License v3.0の下でリリースされたフリーソフトウェアです。