HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

超音波によるサイレントスピーチ

Silent speech with ultrasound (alephneuro.com)

85 pointsby chrwn18 コメント

要約

本研究では、顎の下に超音波プローブを設置し、舌の動きを捉えることでサイレントスピーチ(声を出さずに話すこと)をテキストに変換するシステムを開発しました。50時間のデータセットで学習させた初期段階のシステムながら、15.6%の単語誤り率(WER)を達成し、新しい話者への汎化能力も示しています。この技術は、周囲に配慮しながらコンピューターとプライベートに会話するための新しいインターフェースとなる可能性を秘めています。

全文翻訳

サイレントスピーチを超音波で実現

話者が沈黙している間に、舌の超音波録音から音声を予測するモデルを訓練しました。オープンボキャブラリー(自由な語彙)の音声において、当社のシステムは15.6%の単語誤り率(WER)を達成しました。

比較として、リップリーディングは100万時間のデータセットで12.5%のWERを達成しています。私たちは、50時間のデータセットで学習した初期の調査であり、わずか1ヶ月で達成されたにもかかわらず、既存の手法に迫る性能が出たことに興奮しています。

アゴの下に超音波プローブを配置し、舌の動画を撮影します。

[画像: アゴの下に超音波プローブを持ち、舌が表示された超音波モニターの隣にいるイラスト]

そして、それを言葉に変えます。簡単なデモをご覧ください。

[動画: Your browser does not support the video tag.]

数日前、このモデルが新しい人に対しても汎化することを発見しました(アメリカ英語の発音である限り)。友人たちは、プローブを手に取ってすぐにシステムを使い始めることができました。これほど少ないデータで機能するとは予想していませんでした。

[動画: Your browser does not support the video tag.]

静かに話す

タイピングの約4倍の速さで話せるため、コンピューターとのコミュニケーションの最も速い方法の一つです。AIが自然言語の理解能力を高めるにつれて、私たちはSFが常に想像してきたように、単に話しかけるだけでコンピューターと対話できるようになり始めています。Wispr FlowやChatGPTの音声のようなツールで、その始まりを見ることができます。

しかし、通常の会話には大きな制限があります。それは、ほとんどの場合、私たちは他の人々の周りにいるということです。コーヒーショップや地下鉄で同僚や見知らぬ人の隣に座っている場合、コンピューターとの会話を他の人に聞かれたくないと思うでしょう。

イヤホンがリスニングをプライベートにしたように、サイレントスピーチはスピーキングをプライベートにすることができます。

サイレントスピーチを検出する方法はいくつかあります。EMG、レーダー、リップリーディングなどです。Andy Matuschakは素晴らしい短いレビューをこちらと彼のPatreonで公開しています。超音波の特別な点は、画像で舌を直接、鮮明に見ることができることです。EMGやレーダーのようなノイズの多い間接的な測定から推測する必要はありません。そして、原理的には、人がサイレントスピーチをしていることに気づかれないほど、見えないサイレントスピーチを可能にします。

さらに、舌は音声に関する多くの情報を持っています。舌は、視覚的に区別できる唇の形が約10〜14種類しかないのに対し、英語の40の音素全体で約34の異なる音素クラスを形成します。

口底を通って舌に伝播するサブメンタル超音波パルス。ドラッグして回転させます。

データとインフラ

サイレントスピーチによる舌の超音波画像データセットを独自に収集しました。

優れたモデルを訓練するには、データは2つの条件を満たす必要があります。(1) 超音波録音が実際に舌を示していること、(2) 人が実際に言うべきテキストを話していること。どちらも驚くほど困難でした。人々は疲れたり、不明瞭に話したり、プローブを正しく保持しなかったりしたからです。

データ収集のセットアップにおいて、最初の質問は、人々は静かに話すべきか、それとも声に出して話すべきか、でした。

最終的にはサイレントスピーチのデコードに関心がありますが、聴覚可能な音声は、人々が言葉を正しく話したかどうかを簡単に確認できます。舌の録音を見ると、サイレントスピーチとボーカルスピーチで舌の動きが似ていることに気づきました。これにより、ボーカルスピーチの超音波データセットを収集し、音声でデータを品質チェックし、それでもサイレントスピーチに汎化するモデルを訓練できると信じることができました。

ボーカルデータの品質チェックのために、人々には声に出して話してもらい、音声を転写し、それが読むべき文章と一致するかどうかを確認しました。また、リアルタイムの超音波品質分類器を使用して、プローブの位置決め不良やカップリング不良を検出し、リアルタイムダッシュボードを持つスーパーバイザーがセッションを監視しました。

合成生成された短い物語を声に出して読む人々の50時間分のデータを収集しました。

[画像: データ収集セットアップ:デスクに座った人が、顎の下に超音波プローブを持ちながら、ラップトップの画面に表示されたプロンプトを読んでいる。テーブルには超音波ジェルが置かれている]

孤立したフレーズではなく物語を使用した理由は、読みやすく、より自然な話し方を生成するためです。人々は読書のフローを維持できますが、私たちはデータに表示されるものを制御できます。幅広い語彙、異なる文構造、そして冠詞や短縮形のような難しいケースも含まれます。

トレーニング

タスクは説明するのは簡単ですが、解決するのは困難です。舌の超音波動画が与えられたときに、話されたテキストを予測します。

すべてをゼロから訓練するのではなく、すでに有用な知識を持ったモデルから始めました。動画にはResNet-18 2+1dを、音声認識にはWhisper Baseを使用しました。

Whisperは強力な音声認識モデルです。そのデコーダーは、音声埋め込みをテキストに変換できる事前学習済みモデルとして有用であることがわかりました。私たちは、単に舌の動画埋め込みをWhisperのエンコーダー出力の埋め込み空間に転送する必要がありました。そのためには、舌の動画エンコーダーの埋め込みが、対応する話された音声のWhisperエンコーダー出力の埋め込みにできるだけ近くなるように訓練しました。

データセットがまだ限られていたため、最小のWhisperデコーダーを使用しました。初期のトレーニングは不安定でした。モデルは崩壊するか、言語の事前知識に過度に依存しました。しかし、約2万サンプル後、望んでいた種類のエラーを見始めました。「acoustic」の代わりに「a key stick」、「hard」の代わりに「heart」、その他いくつかです。

これらのエラーは、それまで見た多くの正解よりも励みになりました。それらは、モデルが単に可能性の高い単語シーケンスを予測するのではなく、信号自体から汎化し、音韻構造を学習し始めていることを示唆していました。

[画像: 2段階トレーニング:フェーズ1は超音波動画と音声の埋め込みを一致させ、フェーズ2は小さなWhisperデコーダーで動画埋め込みをテキストにデコードする]

より多くのデータを収集し、より多くの実験を行い、より良いモデルを訓練し、後処理を改善する(例えば、複数の候補出力を生成する、ビームサーチを使用する、文長認識を組み込む、LLMをジャッジとして使用するなど)ことで、内部のオープンボキャブラリー・クロススピーカー検証セットで15.6%の単語誤り率(WER)を達成しました。

[画像: 単語誤り率が15kトレーニングサンプルで102%から50kで15.6%に低下]

単語誤り率は、データセットが増えるにつれて(15kサンプルで102%から50kで15.6%へ)低下し続け、まだ平坦化の兆候は見られません。

将来性

これはまだ初期のプロトタイプであり、消費者向け製品ではありません。最大のハードウェアの課題は、超音波プローブのサイズと重量を削減すること、および超音波ジェルをハイドロゲルなどのより実用的なカップリング材料に置き換えることです。これらは両方とも解決可能だと考えており、プローブが最終的に軽量なウェアラブルまたは粘着パッチになることを可能にします。

約50時間のデータと1ヶ月で構築されたシステムにより、すでに人を超えて汎化するオープンボキャブラリーの文字起こしが見られます。現在のバージョンは、アメリカ英語以外のアクセントにはまだ苦労しています。しかし、より多くのデータ、より良いモデル、そしてより小型の超音波ハードウェアがあれば、これは研究デモから、人々が日常生活で実際に使用できるものへと移行するでしょう。

謝辞

データ収集の監督とデータ品質の維持に協力してくれたEvanとAngelina、そして顎の下のプローブに物語を読み上げてくれたすべての人々に感謝します。

また、データ収集が破綻しないようにしてくれたCharlie Wang、データ収集のセットアップをしてくれたCynthia Kwan、アニメーションのヘルプをしてくれたThomas Ribeiro、動画撮影のために一晩中いてくれたAlex Pokras、データキュレーションパイプラインのセットアップを手伝ってくれたClaire Wang、多くのプローブを作成してくれたMustafa Toumi、インフラストラクチャのセットアップを手伝ってくれたArtem Brustovetskii、製品、デモ、モデルアーキテクチャに関する素晴らしいアイデアを提供してくれたGalen Mead、そして動画の監督とローンチの多くを担当してくれたDonald Jewkesにも感謝します。

DOI: 10.5281/zenodo.21306526