Show HN: Subvocal – 音を出さずにコンピューターと話す

Show HN: Subvocal – 音を出さずにコンピューターと話す

皆さん、こんにちは。The Subvocal Company（YC F26）のAarushとArnavです。私たちは、音を出さずにコンピューターと話すことができるスマートグラスを開発しています。口を静かに、目立たないように動かすだけで、グラスがそれをテキストにデコードし、音声の速度で変換します。

Dave from YCが試しているビデオはこちらです: https://www.youtube.com/watch?v=9QdX1eObVYI

（編集: 実際には、この機能のために唇を動かしたり口を開けたりする必要はありません！RFは口の中を見ることができるため、システムは「内部音声」で微調整できます。これは、自分で言葉を「考えている」ときに起こる自動的な舌の動きではなく、唇を閉じたまま口を動かすようなものです。多くの人にとって奇妙な行為なので、私たちはこれをあまり前面に出していませんが、少し練習すれば、かなりうまくできるようになります。）

Arnavと私は今年の初めにジョージア工科大学でCSを専攻していましたが、サイレントスピーチやセンシングの経験はありませんでした。私たちはどちらもAIネイティブのビルダーであり、Wispr Flowのパワーユーザーでした。しかし、図書館（またはオフィス）や公共の場でこれらのツールを使えないことが不便でした。2月のスタンフォード大学のTreeHacksで、私たちは考えうる限り技術的に馬鹿げたものを作ることにしました。MITメディアラボのサイレントスピーチシステムであるAlterEgoについて読み、36時間でそれを再現したいと思いました。EMG電極を顔に貼り付けた、粗末なプロトタイプを構築しました:

https://drive.google.com/file/d/1mwhv5HZMz3UTevdrgwS5O7g2jWV0K9r2/view?usp=sharing

非常にぎこちない方法で、文字レベルでなんとか機能させることができました。ハッカソンで優勝するには十分ではありませんでしたが、私たちにすべてを賭けることを確信させました。初めて誰にも気づかれずに文章を入力したとき、この技術の魔法を感じました。

すぐにEMG（筋肉の電気信号を読み取る）は機能しないことに気づきました:

• 汗による信号の変化
• 電気的干渉
• 配置のばらつき
• 最も重要なのは、誰も顔に電極を貼り付けたくないということです!!

そこで、私たちはRFに切り替え、現在見られるグラスを構築しました。これらはBluetoothに似た電波を発し、顔を通過します。舌、唇、軟口蓋を横切るとき、それらはサイレントな口の動きによって変調されます。私たちはこのデータで基盤モデルをトレーニングし、これらの摂動をテキストにデコードします。

以前の学術研究にもかかわらず、これを機能させることは大きなエンジニアリング上の課題でした。まず、非常に低ノイズのRFセンシングスタックを構築しました。次に、アンテナのフィールドが調音器官と最大限に重なるように配置する必要がありました。最初のグラスでの試みは完全に失敗したため、古い習慣に戻り、顔にアンテナをテープで貼り付けました:

https://drive.google.com/file/d/1ks0dS0eZiTV9EqSFsyB_w5BBjpcBAfX-/view?usp=sharing

アンテナを一貫して同じ位置と角度でテープで固定するのは難しかったため、それらを所定の位置に保持するための、奇妙だが効果的なヘッドリグを作成しました:

https://drive.google.com/file/d/1rhzNFpdDzr7oHk0isFY70dkoV4CAF1pT/view?usp=sharing

これは機能しましたが、明らかにまだ製品ではありませんでした。そこで、シミュレーションで深く作業し、アンテナを保持できるグラスを設計しました。

それが現在のデザインに進化し、アンテナはフレーム内に埋め込まれています。信号が存在することが確認された後、次のハードルはユーザー間での汎用性でした。すべての人の顔の解剖学的構造、したがってRF信号パターンは大きく異なります。アルゴリズム的な回避策を試しましたが、唯一の解決策は事前学習データを大幅にスケールすることだと気づきました。

そこで私たちはそれを実行しました。オフィスにブースを設置し、人々にグラスを着用してプロンプトを読んでもらい、モデルの事前学習を行いました。これにより、データセットをスケールするにつれてエラーが急速に減少し、ユーザー間のパフォーマンスが本当に説得力のあるものになるという美しいスケーリング曲線が得られました（上記のビデオでご覧いただけます。Daveはわずか20文のキャリブレーションしか行っていません）。

私たちは常に「第一原理から構築する」ことについて聞いていましたが、これまではそれを理解していませんでした。トップダウンで取り組もうとしましたが、完全に失敗しました。コンポーネント（アンテナ、電子機器、ML）をそれぞれ基礎に分解して理解し最適化して初めて、本当にうまく機能するようになりました。

今後数ヶ月間、プロトタイプのグラスをウェブサイトにある洗練された製品に変え、2027年第1四半期に出荷するために研究開発を続けていきます。また、エッジケースでのパフォーマンスを向上させるためにデータセットを拡大しています。

ボイスディクテーションは好きだが、人前で使うのが嫌いな方のために、最初の500台の予約注文を開始しました。最終価格から200ドルの割引があります。割り当ては急速に減少していますので、https://subvocal.co/preorder でお早めにご予約ください！