Show HN: Whisperは70歳高齢者の音声を20代よりも正確に文字起こしする

音声エージェントが高齢の通話者を対象としており、音声認識が彼らの声を拾えないというリスクが想定されています。しかし、その想定は誤っており、実際には別の失敗が隠されています。 2,760件のCommon Voiceクリップで測定し、年齢層間でアクセント、性別、話者を一致させたところ、変化したのは年齢のみでしたが、別の3,189件のクリップで同様の測定を行った結果も確認しました。単語誤り率（WER）の早期打ち切り（700ミリ秒）において、20代（n=920）は6.53%、60代（n=920）は5.23%（-1.31パーセントポイント）、70代（n=920）は4.67%（-1.86パーセントポイント）でした。これは、Whisperが高齢話者をより正確に文字起こしすることを示しています。 固定された無音閾値に依存するシステムでは、これらの高齢話者は2倍から2.5倍頻繁に会話を遮断されてしまいます。この2番目の発見には、公開後に判明した注意点があり、引用する前に読む価値があります。それは、セマンティックなターン検出モデルがそのギャップの大部分を解消するというものです。同じクリップでPipecatのスマートターンv3に対して測定したところ、+11.6パーセントポイントの差は+5.9パーセントポイントになり、ゼロを含まない状態からゼロを含む状態に変わりました（セクション3）。固定閾値の結果は、現実的で一般的な設定を表していますが、すべての設定を表しているわけではありません。python3 bench/run.pyで両方の結果を再現できます。APIキーや費用は不要です。 1. 認識のペナルティは存在しない Large-v3、ワイドバンド、話者レベルの95%信頼区間: 年齢層 | 話者数 | WER（20代比） 20代 | 920 | 6.53% [5.77, 7.40] 60代 | 920 | 5.23% [-1.31pp [-2.33, -0.30]（ゼロを含まず）] 70代 | 920 | 4.67% [-1.86pp [-2.91, -0.88]（ゼロを含まず）] すべての誤りタイプは年齢とともに減少するため、これはあるカテゴリが別のカテゴリをマスクしているわけではありません。 年齢層 | 置換 | 削除 | 挿入 20代 | 5.22% | 0.57% | 0.74% 60代 | 4.19% | 0.41% | 0.64% 70代 | 3.67% | 0.41% | 0.59% 特に削除は増加せず、これは静かで息切れした話し方がドロップされている場合に予想される結果とは異なります。ドロップされていません。これはWhisperのアーティファクトではありません。 明白な反論は、Whisperのデコーダーは言語モデルであるため、高齢者の言葉遣いをより良く聞いているのではなく、修正している可能性があるということです。そのため、同じクリップを、デコーダーも暗黙の言語モデルも持たない純粋なCTCであるwav2vec2でも実行しました。 年齢層 | Whisper（エンコーダー・デコーダー） | wav2vec2（CTC） 20代 | 6.53% | 14.23% 60代 | 5.23% [-1.31pp] | 10.30% [-3.94pp [-5.52, -2.40]] 70代 | 4.67% [-1.86pp] | 10.52% [-3.72pp [-5.49, -2.08]] wav2vec2（LibriSpeechのみで学習、言語モデルなし）では絶対WERははるかに高いですが、年齢層間の比較のみが有効です。その効果はここではより大きく、依然としてゼロを含んでいません。これは、音響的な問題であり、デコーダーの問題ではないことを示唆しています。 2. ターンテーキングのペナルティが大きい 音声エージェントは、固定された無音期間を待つことで、通話者が終了したと判断します。発話中のポーズがその閾値を超えると、ターンの終了とみなされ、エージェントは文の途中で話し始めてしまいます。WERはこの問題に盲目です。モデルが受け取った単語は完璧に文字起こしされるかもしれませんが、通話者は毎回途中で遮断されます。 内部ポーズがこの長さ以上である発話の割合: 閾値 | 20代 | 60代 | 70代 400ミリ秒 | 23.3% | 41.5% | 37.3% 500ミリ秒 | 17.3% | 33.7% | 28.6% 700ミリ秒 | 8.0% | 19.7% | 16.6% 1000ミリ秒 | 2.0% | 8.7% | 6.2% すべての年齢層とベースラインの差はゼロを含みません。700ミリ秒では、60代で+11.6パーセントポイント（[+7.7, +15.7]）、70代で+8.5パーセントポイント（[+4.0, +13.6]）のギャップがあります。メカニズムはタイミングにあります。高齢の話者は、内部ポーズを2倍多く取り、そのポーズに費やす時間も2倍になります。 年齢層 | 話あたりの単語数 | クリップあたりのポーズ数 | ポーズの合計時間 20代 | 2.47 | 1.0 | 240ミリ秒 60代 | 2.20 | 2.0 | 480ミリ秒 70代 | 2.20 | 2.0 | 420ミリ秒 これはきれいな勾配ではありません。60代は70代よりもわずかに多く遮断され、その区間は重なります。これは直線的な効果ではなく、60歳頃に現れてプラトーになる効果として読めます。 80代は、別途実行されましたが（それらとの一致は各年齢層を8倍縮小するため）、最も顕著なケースです。話者は14人しかいないため、区間は広いですが、効果はそれでもそれらをクリアします。 閾値 | 20代 | 80代 | 差（95% CI） 400ミリ秒 | 27.9% | 49.2% | +21.8% [+6.3%, +36.6%] 500ミリ秒 | 15.6% | 40.2% | +24.8% [+8.9%, +38.7%] 700ミリ秒 | 4.1% | 22.1% | +18.1% [+7.9%, +27.2%] 1000ミリ秒 | 0.0% | 6.6% | +6.5% [+1.7%, +14.5%] 700ミリ秒では5.4倍のギャップがあります。一方、彼らのWERは6.01%に対して6.24%であり、+0.15パーセントポイントの差で、その区間は快適にゼロを含んでいます。認識精度は横ばいである一方、ターンテーキングは着実に悪化するという、2つの発見は年齢とともにさらに乖離します。 この結果は再描画でも生存します。アクセントの一致なしでベンチマーク全体を再度実行すると（3,189クリップ、1,434話者、8ではなく30アクセント）、打ち切り率はほぼ正確に再現されました。 年齢層 | 一致 | 不一致 20代 | 8.0% | 7.5% 60代 | 19.7% | 19.3% 70代 | 16.6% | 16.6% これは1つのコーパスからの再描画であり、独立した再現ではありません。2つのサンプルは話者の52%を共有していますが、クリップは18%しか共有していません。これは、数値が特定の描画やアクセントの一致のアーティファクトではないことを示しています。Common Voice以外への一般化を示すものではありません。 3. セマンティックなターン検出モデルがギャップの大部分を解消する Daily/PipecatのMark Backmanは、この以前のバージョンを読んで、間違ったことを説明していると指摘しました。プロダクションスタックは固定VAD閾値で終了しません。Pipecatのデフォルトはスマートターンであり、波形を聞いて、ターンが完了していないように聞こえる場合に、より多くの時間を許可するセマンティックモデルです。彼は正しいので、スマートターンv3を同一サンプルで測定しました。各クリップについて、内部ポーズまでのオーディオをモデルに供給し、ターンが完了したかどうかを尋ねます。話者は明らかに続いているため、「完了」は偽の打ち切りです。 閾値 | 20代 | 60代 | 70代 固定700ミリ秒 | 8.0% | 19.7% [+11.6pp *] | 16.6% [+8.5pp *] スマートターンv3 | 75.6% | 81.6% [+5.9pp [-0.9,+12.9]] | 79.7% [+4.0pp [-3.6,+11.6]] ギャップは約半分になり、ゼロを含まない状態からゼロを含む状態に変わります。全発話に対するポジティブコントロールは、年齢層間で90-91%で横ばいです。 これがあまり言っていない2つのこと。絶対的な76-82%の率は誤り率ではありません。多くの内部ポーズは、ターンが妥当に終了できる正当な節の境界であり、どのプレフィックスが完了しているように聞こえるかについて人間のラベルなしでは、年齢層間の比較のみが解釈可能です。「ゼロを含む」は「効果なし」を意味しません。両方の点推定値は正のままであり、86人の70代の話者は4ポイントの差を解決できません。 実用的な解釈：固定閾値で終了する場合、年齢ギャップは現実的で大きいです。セマンティックなターン検出モデルを使用すると、その大部分が消えます。 公開されているスマートターンのベンチマークは、23言語で31,527サンプルを層別化していますが、話者の年齢別ではありません。また、その学習ミックスは合成TTSに依存しており、80歳の話者のように一時停止しません。 4. 話者自身の音声ノイズがドリフト検出器に与えるコスト 現在、多くの製品が、音声バイオマーカーから認知機能低下を検出すると主張する高齢者向けの毎日の電話チェックインを提供しています。その検証には、ゲート付きの臨床コーパスが必要です。しかし、臨床ラベルを必要としない先行する質問があり、その主張の下限を定めます。健康な一人の話者の音声は、発話間でどの程度変動するのでしょうか？ドリフト検出器は、話者自身のノイズをクリアする変化しか検出できません。 36人の話者（各40クリップ以上）で測定: 特徴 | 話者内変動係数（CV） 音声速度 | 約18% 発話時間 | 約23% 内部ポーズ数 | 約76% ポーズ合計時間 | 約96-111% 80%の検出力で10%の変化を解決するために必要なサンプルに変換: 特徴 | 発話数 | 通話数（@40通話/通話） 音声速度 | 25 | 0.6 発話時間 | 41 | 1.0 内部ポーズ数 | 447 | 11 ポーズ合計時間 | 758 | 19 ポーズの特徴（最も頻繁に引用される音声バイオマーカー）は、同じ話者内で約100%変動し、多くの場合、1回のセッション内でも変動します。ポーズ合計時間の10%の変化を検出するには、測定あたり約3週間の毎日の通話が必要になるため、「6週間のトレンド」は2〜3回のノイズの多い測定になります。音声速度と発話時間は快適に使用できます。 両方向のエラーが述べられています。1人の貢献者からのCommon Voiceクリップは、多くの場合1回のセッションであるため、実際の日常的な変動は...