Show HN: Whisperは70歳高齢者の音声を20代よりも正確に文字起こしする
Show HN: Whisper transcribes 70-year-olds more accurately than 20-year-olds (github.com)
要約
この記事は、Whisperのような音声認識モデルが、高齢者の音声を文字起こしする際の精度を調査しています。予想に反して、Whisperは若い話者よりも高齢の話者をより正確に文字起こしすることが判明しました。しかし、高齢者はより頻繁に、より長く一時停止する傾向があり、固定された無音検出閾値により、ボイスエージェントが話の途中で会話を遮断してしまう可能性があります。セマンティックなターン検出モデルはこの問題を大幅に軽減します。
全文翻訳
asr-age-gap
音声認識は高齢者にとって worse になると思っていました。それを測定しました。 better でした。
次に、本当の問題がどこにあるのかを探し、話すのをやめたとコンピューターが判断するタイミングにあることを見つけました。
2つの数値
Common Voice から 2,760 のクリップを採取しました。年齢グループをアクセント、性別、話者で一致させたため、異なるのは年齢だけです。
単語エラー率 「終わった」と見なされるのに十分な長い無音時間(700ms)
(低いほど良い)
twenties 6.53% 8.0%
sixties 5.23% 19.7%
seventies 4.67% 16.6%
左の列: Whisper は 20 代の人々よりも 70 代の人々のエラーが少なくなります。これは驚きだったので、全く異なる方法で構築された 2 番目のモデルでもチェックしましたが、同じ結果が得られました。
右の列: 高齢者は文の途中でより多く無音します。固定された無音時間を待つ音声アシスタントは、長い無音時間をあなたのターンの終わりと読み取ります。700ms の待機時間では、20 代の文の 8% にはその長さの無音が含まれるのに対し、60 代の文では 20% に含まれます。
単語エラー率はこれを全く見ることができません。通過した単語は問題なく文字起こしされます。
1つの重要な訂正
Daily/Pipecat のメンテナーである Mark Backman さんから、実際の音声製品はもはや単純な無音タイマーを使用していないと教わりました。彼は正しいです。それらのデフォルトは、あなたの声を聴き、話が終わったかどうかを判断するモデルです。
そこで、そのモデルもテストしました。ギャップは約半分に縮まり、もはやゼロと区別できないレベルになりました。
彼はさらに、私がはっきりと伝えたい 2 番目の点を挙げました。そのモデルはより大きなシステムの一部であり、システムはその判断だけに基づいて動作するわけではありません。もしあなたが話し始めれば、あなたのターンは開いたままになります。したがって、私のテストはコンポーネントについてのものであり、実際の製品があなたをどれだけ頻繁に中断するかについては何も述べていません。セクション 3 でその違いを詳しく説明します。
実行する
python3 bench/run.py
APIキー不要。有料サービス不要。すべて公開データからダウンロードし、お使いのマシンで実行します。
このファイルの残りは詳細です。結果を偽装する可能性のあるものをどのように制御したか、私が犯した 3 つの間違いとそれを発見したこと、そしてこれが何を証明しないかについてです。
1. 認識ペナルティは存在しない
Large-v3、ワイドバンド、話者レベル 95% 区間:
bracket n spk WER vs twenties
twenties 920 606 6.53% [5.77, 7.40] baseline
sixties 920 240 5.23% [4.65, 5.86] -1.31pp [-2.33, -0.30] excludes zero
seventies 920 116 4.67% [4.12, 5.31] -1.86pp [-2.91, -0.88] excludes zero
すべてのエラータイプが年齢とともに減少するため、これは 1 つのカテゴリが別のカテゴリをマスクしているわけではありません。
bracket sub del ins
twenties 5.22% 0.57% 0.74%
sixties 4.19% 0.41% 0.64%
seventies 3.67% 0.41% 0.59%
特に削除(del)は増加しておらず、これは静かな、あるいは息切れした話し方がドロップされている場合に期待される結果です。ドロップされていません。
Whisper のアーティファクトではありません。 明らかな反論は、Whisper のデコーダーは言語モデルであるため、高齢者の言葉の選択を修正しているのではなく、より良く聞いているのではないかということです。そのため、同じクリップを、デコーダーも暗黙の LM もない純粋な CTC である wav2vec2 で再実行しました。
bracket Whisper enc-dec wav2vec2 CTC
twenties 6.53% 14.23%
sixties 5.23% -1.31pp 10.30% -3.94pp [-5.52,-2.40]
seventies 4.67% -1.86pp 10.52% -3.72pp [-5.49,-2.08]
wav2vec2 (LibriSpeech のみでのトレーニング、LM なし) の絶対 WER ははるかに高いため、ブラケット間の比較のみが転送されます。効果はそこで 大きくなり、依然としてゼロを除外しており、これはデコーダーではなく音響にあることを示唆しています。
2. ターンテイクのペナルティは大きい
音声エージェントは、固定された無音期間を待つことで、発信者が終了したと判断します。発話 内部 の無音がそのしきい値を超えると、ターンの終わりと見なされ、エージェントは文の途中で話し始めます。
WER はこれを見逃します。モデルが受け取った単語は完璧に文字起こしされる可能性がありますが、発信者は毎回途中で切られます。
内部にこの長さ以上の無音を含む発話の割合:
bracket 400 ms 500 ms 700 ms 1000 ms
twenties 23.3% 17.3% 8.0% 2.0%
sixties 41.5% 33.7% 19.7% 8.7%
seventies 37.3% 28.6% 16.6% 6.2%
すべての 6 つの年齢対ベースラインの差はゼロを除外します。700ms では、ギャップは 60 代で +11.6pp [+7.7, +15.7]、70 代で +8.5pp [+4.0, +13.6] です。
メカニズムはタイミングにあります。高齢者は 2 倍の内部無音 を取り、その無音時間も 2 倍になります。
bracket words/voiced-s pauses/clip pause total
twenties 2.47 1.0 240 ms
sixties 2.20 2.0 480 ms
seventies 2.20 2.0 420 ms
クリーンな勾配ではありません。 60 代は 70 代よりもわずかに多く中断され、それらの区間は重複します。したがって、効果は 60 歳で現れ、その後平坦化するように見えます。ここでは直線ではなく、そのように描かれています。
80 代は、別途実行されました。なぜなら、それらとの一致は各ブラケットを 8 倍に縮小するためです。最も顕著なケースです。話者はわずか 14 人なので、区間は広いです。しかし、効果はそれらをクリアします。
threshold twenties eighties difference [95% CI]
400ms 27.9% 49.2% +21.8% [+6.3%, +36.6%]
500ms 15.6% 40.2% +24.8% [+8.9%, +38.7%]
700ms 4.1% 22.1% +18.1% [+7.9%, +27.2%]
1000ms 0.0% 6.6% +6.5% [+1.7%, +14.5%]
700ms では 5.4 倍のギャップです。一方、WER は 6.01% に対して 6.24% で、+0.15pp の差があり、その区間は快適にゼロを含みます。2 つの発見は年齢とともにさらに乖離します。認識は平坦に保たれますが、ターンテイクは着実に悪化します。
再描画でも生存します。 アクセント一致なしでベンチマーク全体を再度実行し、30 のアクセントを持つ 1,434 人の話者からの 3,189 のクリップで、カットオフ率はほぼ正確に再現されました。
twenties sixties seventies
matched 8.0% 19.7% 16.6%
unmatched 7.5% 19.3% 16.6%
これは 1 つのコーパスからの再描画であり、独立した再現ではありません。2 つのサンプルは話者の 52% を共有していますが、クリップの 18% しか共有していません。これは、数値が特定の描画またはアクセント一致のアーティファクトではないことを示しています。Common Voice を超えて一般化することを示すものではありません。
3. セマンティックターンモデルがギャップの大部分を閉じる
Daily/Pipecat の Mark Backman さんが以前のバージョンを読み、それが間違ったことを説明していると指摘しました。プロダクションスタックは固定 VAD 閾値で終了しません。Pipecat のデフォルトは smart-turn で、波形を聴き、ターンが完了していないように聞こえる場合に時間を与えるセマンティックモデルです。
彼は正しく、そのため smart-turn v3 を同一サンプルで測定しました。各クリップについて、内部無音までのオーディオがモデルに供給され、モデルはターンが完了したかどうかを尋ねられます。
fixed 700ms threshold smart-turn v3 verdict
twenties 8.0% 75.6%
sixties 19.7% +11.6pp * 81.6% +5.9pp [-0.9,+12.9]
seventies 16.6% +8.5pp * 79.7% +4.0pp [-3.6,+11.6]
ギャップは約半分になり、ゼロを除外するのをやめます。全体の発話に対するポジティブコントロールは、ブラケット間で 90-91% で平坦です。
これが測定するもの、しないもの
Mark の 2 番目の訂正、そしてそれは最初のものよりも重要です。これは 1 つのコンポーネントの判定であり、ユーザーが体験することではありません。 Pipecat では、smart-turn は各 VAD チャンクに投票しますが、ターンシステムはその投票だけに基づいて動作するわけではありません。話者が再び話し始めると、ターンは開いたままになります。したがって、ここで「完了」と判定されても、それは中断ではありません。中断を測定するには、パイプライン全体を実行する必要がありますが、このベンチマークはそれを行いません。
2 つのより小さな制限。絶対的な 76-82% の数値はエラー率ではありません。多くの内部無音は通常の節の区切りであり、そこでターンが合理的に終了する可能性があり、どのプレフィックスが完了したように聞こえるかについての人間によるラベルがないため、ブラケット間の比較のみが意味を持ちます。また、「ゼロを含む」は「効果なし」を意味しません。両方の点推定値は正のままであり、86 人の 70 代の話者では 4 ポイントの差をどちらかに決定できません。
したがって、公正な読み取りは狭いです。固定無音閾値は、大きくて明確な年齢差を示します。セマンティックモデルに切り替えると、コンポーネントレベルでそのギャップが縮小します。完全なスタックが依然として高齢者をより頻繁に中断するかどうかは未解決の質問であり、それを回答するにはエンドツーエンドのテストが必要です。
どちらにしても注意すべきことの 1 つは、公開されている smart-turn ベンチマークは 23 言語にわたる 31,527 サンプルを分割していますが、話者の年齢別ではなく、トレーニングミックスは合成 TTS に偏っており、80 歳の話し方のように無音しません。
エンドツーエンドテスト、結果はヌルでした
Mark の上記の未解決の質問は回答可能なので、bench/pipecat_e2e.py が回答します。同じ年齢一致クリップが実際の Pipecat パイプライン、VADProcessor から UserTurnProcessor (with LocalSmartTurnAnalyzerV3) に流されます。音声終了は VAD ではなく Whisper の単語タイムスタンプから取得されるため、VAD は自己採点しません。クリップにまだ音声が含まれている間にシステムがターンを終了した場合、カットオフは早すぎます。
premature fired a stop median lag
twenties 0.0% 100.0% 1.04s
sixties 4.0% 100.0% 1.10s
seventies 0.0% 88.0% 1.09s
年齢効果はありません。4.0% は 1 つのクリップであり、停止が発火しなかった 3 つの 70 代クリップはすべて 1 人の話者からのものです。
これはクリーンな健康診断ではありません。なぜなら、テストは構造上検出力が不足していたことが判明したからです。0.7 秒のハンオーバーは、発話に 0.7 秒以上の無音が含まれている場合にのみ、発話の途中でカットオフできます。そして、パイプラインが実際に実行する Silero VAD では、これらの 75 クリップのうち 2 つが該当します。両方とも説明済みです。800ms の無音を含む 60 代のクリップは、1 つの早期カットオフであり、960ms の無音を含む 20 代のクリップは生き残りました。したがって、率は 2 件中 1 件であり、2 件の場合、それは何も意味しません。
そのカウントは検出器の後処理によって支配されているため、設定は仮定ではなく指定する必要があります。Silero 自体の get_speech_timestamps で再現:
WebRTC, aggressiveness 2, 30 ms frames 5 of 75
Silero, library defaults 1 of 75
Silero, min_silence_duration_ms=0, speech_pad_ms=0 2 of 75
Silero, threshold=0.7 (pipecat's confidence), no padding 2 of 75
Silero のデフォルトは 100ms 未満の無音をマージし、音声を 30ms パディングするため、デフォルトの回答が 1 になります。上記で使用されている数値は 3 行目です。なぜなら、それがパイプラインの VAD がその独自の stop_secs スムージングの前に動作するフレームレベルの動作だからです。どちらの検出器も間違っていません。「無音」は閾値の選択であり、パラメータなしで 1 つの数値を引用すると、5 倍の範囲が隠されます。
このサンプルでの中央値の最長内部無音は、ブラケットによって 96ms から 192ms ですが、700ms の閾値と比較されます。Common Voice は読み上げられた音声であり、一度に 1 つのプロンプトされた文であるため、失敗を引き起こす条件よりも 1 桁下回ります。
したがって、セクション 3 のコンポーネントレベルのギャップはエンドツーエンドでは再現されず、このコーパスでもどちらかに決めることはできません。それを行うには、自発的なスピーチが必要です。300 クリップ以上あり、言語の不一致報告がほとんどない 40 の Common Voice Spontaneous Speech ロケール全体で、平均発話時間は 5.76 秒の 22.5 秒であり、実際の言い淀みを含んでいます。英語のサブセットは、それらの 40 のうちの 1 つではありません。5,679 クリップのうち 2,114 クリップが別の言語であると報告されているため、これは使用できません。
4. 話者自身の音声ノイズがドリフト検出器に与えるコスト
現在、高齢者向けの毎日の電話チェックインを提供するいくつかの製品があり、音声バイオマーカーから認知機能の低下をフラグすると主張しています。それを検証するには、ゲート付きの臨床コーパスが必要です。しかし、先行する質問は臨床ラベルを必要とせず、主張の下限を定めます。健康な話者自身の音声は、発話ごとにどれだけ変動するか? ドリフト検出器は、話者自身のノイズをクリアする変化しか見ることができません。
36 人の話者、各 40+ クリップで測定:
feature within-speaker CV
speech rate ~18%
utterance duration ~23%
number of internal pauses ~76%
total pause time ~96-111%
80% の検出力で 10% の変化を解決するために必要なサンプルに変換:
feature utterances calls @40/call
speech rate 25 0.6
utterance duration 41 1.0
number of internal pauses 447 11
total pause time 758 19
最も頻繁に引用される音声バイオマーカーである無音機能は、同じ話者内で約 100% 変動し、しばしば 1 回のセッション内でも変動します。合計無音時間の 10% のシフトを検出するには、1 回の読み取りあたり 約 3 週間の毎日の通話が必要になるため、「6 週間のトレンド」は 2 つまたは 3 つのノイズの多い測定値です。話速と持続時間は、快適に使用できます。
エラーの両方向が述べられています。1 人の貢献者からの Common Voice クリップは多くの場合 1 回のセッションであるため、実際の日常的な変動はより大きく、1 回の通話内の発話は相関しているため、40 で割ると実効サンプルサイズが過大評価されます。どちらも真の要件を押し上げます。これらはフロアです。
5. アクセントの混同は現実であり、結果を駆動しない
Common Voice は世界中でクラウドソーシングされており、若い貢献者は非ネイティブの傾向があります。20 代のブラケットは、インド・南アジア英語が 11.9%、ネイティブ英語話者が 46.9% です。60 代は 64.4% です。Whisper は非ネイティブ英語で悪化するため、このコーパスでは年齢とアクセントは実際に絡み合っており、制御されていない比較には明白な代替説明があります。
したがって、ブラケットは (アクセント、性別) のペアで一致させ、両方を構造上同一に保ちます。各ブラケットで 920 クリップ、8 つのアクセント、男性/女性 392/528 です。
これは答えを変えるだろうと予想しました。そうではありません。 両方の方法でベンチマークを実行しました。アクセント構成がこれほど異なることはほとんどありません。
matched unmatched
(8 accents, (30/15/13 accents,
identical mix) differing mix)
twenties 6.53% 6.60%
sixties 5.23% 4.90%
seventies 4.67% 5.11%
最大の不一致は 0.44pp です。両腕とも 60 代と 70 代を 20 代の下に置き、両方で差はゼロを除外します。一致は依然として正しいことです。ライブの代替説明を削除し、トレンドを単調にします。しかし、発見はそれに依存しません。
このセクションは当初、20 代が 10.54% を記録した 40 クリップのパイロットに基づいて反対の主張をしていました。フルサンプルでは、その数値は 6.60% です。パイロットはノイズであり、それに構築された物語は間違っていました。
6. これが主張できること、できないこと
Common Voice の高齢の話者はボランティアです。 彼らはコンピューターの前に座って Mozilla のために録音することを選びました。彼らはテクノロジーに精通しており、退院時の電話で平均的な 75 歳の人よりも声の調子が良い可能性が非常に高いです。構音障害、脳卒中後の発話、認知機能の低下は、構造上このコーパスには存在しません。
したがって、これは健康な老化を測定するのであり、臨床的な老化を測定するのではありません。発見 1 の正しい読み取りは「年齢だけでは認識は壊れない」であり、「高齢患者の認識は問題ない」ではありません。これらは異なる主張であり、前者のみがここでサポートされています。障害のある音声コーパスでのフォローアップが正直な次のステップです。
2 つのより狭い制限。読み上げられた音声は会話音声ではありません。そして、プロンプトを読んでいる人は、質問に答えている人とは異なる無音をします。これは発見 2 がアーティファクトであることには逆らいますが、読み上げられた音声は自然な無音を過小評価するはずです。そして、80 代のブラケットはスプリット全体で 27 人の話者しかいないため、メインの比較に折りたたむのではなく別途報告されます。そこでそれと一致させると、各ブラケットが 8 倍に縮小されます。それに応じて区間は広いです。
7. チェックされ、クリーンに戻った混同要因
これらのどれも結果を変えませんでした。読者が尋ねるだろうからここにあります。
-
録音品質。 ブラケット間の中央値 SNR 53.2 / 55.7 / 55.9 dB。機器の不利な点はないため、WER の結果はマイクの結果ではありません。
-
文の長さ。 20 代と 60 代は中央値 11 単語、70 代は 10 単語。短い発話はここではより困難です。1-7 単語で WER 7.72%、14+ 単語で 4.24% です。したがって、70 代はより困難な文を運び、長さを固定しても効果は持続します。
words twenties sixties seventies 1-7 8.75% 8.33% 6.04% 8-10 5.82% 6.37% 4.93% 11-13 6.75% 4.63% 4.50% 14-40 5.66% 3.23% 3.89% -
クリップ検証。 古いクリップは、より低いコミュニティのダウンボート率 (14.2% に対して 10.1%) を持ちます。
-
話者の多作。 1 人の貢献者が 1 つのシャードに 9,792 クリップを保持しています。スプリットの 60 歳以上のオーディオの半分は約 7 人の話者から来ています。話者あたり 25 クリップに制限され、すべての区間はクリップではなく話者を再サンプリングします。
8. ハーネスが自身で見つけたバグ
エンドポイントの発見はほぼアーティファクトでした。 相対エネルギー VAD は、80 代が 42.9% でカットオフされたと報告しました。プロダクションスタックが実際に実行する WebRTC VAD は、それらのクリップの 36% で意見が異なり、中央値の最長無音時間をエネルギー検出器が 662ms と言った場所で 345ms としました。息切れした終わりの話し方はエネルギーフロアの下に落ち、高齢者の話し方はまさに息切れしているものであるため、安価な検出器のエラーは研究されている変数と相関していました。WebRTC がプライマリになり、両方が記録されています。公開サンプルでは、それらはクリップの 80-90% で一致し、同じ結論をもたらします。
アクセント一致は、性別バランスを静かに無効にしました。 アクセントごとのサブセットを取ることは、男性/女性の分割を維持する必要はなく、1 回の実行では 60 代で 54/46、70 代で 50/50 になりました。(アクセント、性別) のペアで一致させると、ブラケットあたり 25 クリップを消費し、それを正確に修正します。
そのヌル結果に関する注意書きは、それ自体が間違った検出器で測定されました。 最初は「75 クリップ中 5 クリップがハンオーバーよりも長い無音を含む」と読み、WebRTC でカウントしました。しかし、パイプラインは Silero を実行し、Silero は 2 を認識します。テストが何かを検出できたかどうかを決定する数値は、テスト対象の検出器から来る必要があります。これは、エネルギー VAD エントリと同じ教訓であり、2 回目に逃しました。
4 回連続のエンドツーエンドハーネスは、何も測定せずにクリーンなテーブルを印刷しました。 順に: 合成トランスポートは set_transport_ready を呼び出さなかったため、オーディオはパイプラインに到達せず、すべてのブラケットが 0.0% とスコアされました。ウォッチャーは、VAD が VADUserStoppedSpeakingFrame を発行する際に UserStoppedSpeakingFrame をリッスンしていたため、別の 0.0% になりました。turn_analyzer= が VADProcessor(**kwargs) に渡され、これはそれをサイレントにドロップしたため、75 クリップの実行で「smartturn」とラベル付けされたものは、プレーン VAD を測定しました。そして、TurnAnalyzerUserTurnStopStrategy のデフォルトは wait_for_transcript=True であり、これは STT サービスがパイプラインにない限り決して開かないため、すべてのターンが user_turn_stop_timeout にフォールスルーしました。これらすべてが、妥当に見えるブラケットごとの数値を生み出しました。最後のものの兆候は、すべての停止が正確に speech_end + stop_secs + turn_timeout にあったことです。タイムアウトを 3 秒移動すると、すべてのクリップが正確に 3 秒移動しました。実行は現在、80% 以上の停止がその定数から 0.25 秒以内に着地した場合に中止されます。
fp16 ショートカットは、仮定ではなく検証されました。 実行は MPS 上で fp16 を使用します。なぜなら、CPU 上の fp32 よりも 2.6 倍高速だからです。量子化された Whisper KV キャッシュは、large-v3 を 1.91% WER から 100% に引き上げることができます。そのため、ショートカットは参照に対してチェックされました。fp32/cpu、fp32/mps、および fp16/mps で同一の 0.0274 WER です。tests/test_precision.py。
実行する
pip install torch transformers huggingface_hub jiwer numpy scipy soundfile webrtcvad-wheels
python3 bench/run.py # primary, accent-matched
python3 bench/analyze.py results/primary.json
python3 -m pytest tests/ -q # 26 tests; 2 more marked slow decode audio
エンドツーエンドハーネスには Pipecat とそのローカルターンモデルが必要ですが、他の結果はそうではありません。1.7.0 で測定され、ピン留めする価値があります。なぜなら、ターンシステムの API とセクション 8 の wait_for_transcript デフォルトはバージョン固有だからです。
pip install "pipecat-ai[silero,local-smart-turn]==1.7.0"
python3 bench/pipecat_e2e.py --per-bracket 25 --turn-timeout 5.0
コーパスは CC-0 Common Voice 17 English セットで、ゲートなしの fsicoli/common_voice_17_0 ミラー経由です。これは公式リリースの個別の再パッケージです。シャードメンバーシップは train.tsv の行順から計算できるため、サンプルが必要とするシャードのみがダウンロードされます(45 GB のうち約 19 GB)。実行はバッチごとに JSONL にチェックポイントし、停止した場所から再開します。
METHOD.md には、このコーパスで同じ文のペアデザインが不可能である理由を含む、完全な設計が記載されています。
レイアウト
| path | what |
|---|---|
src/agegap/sample.py | stratified draw: speaker cap, gender balance, accent matching |
src/agegap/channel.py | G.711 telephony simulation, mu-law and packet loss |
src/agegap/metrics.py | SNR, speaking rate, and the endpoint-cutoff measure |
src/agegap/stats.py | pooled WER and speaker-level bootstrap intervals |
src/agegap/asr.py | Whisper adapter, device and precision selection |
bench/run.py | the run: chunked, checkpointed, fail-closed |
bench/analyze.py | the tables above, plus the controlled/uncontrolled contrast |
bench/replicate_ctc.py | the wav2vec2 architecture control |
bench/smart_turn_eval.py | Pipecat smart-turn v3 on the same age-matched clips |
bench/pipecat_e2e.py | the same clips through a full Pipecat turn system |
bench/drift_floor.py | within-speaker noise, and what it costs a drift detector |
tests/ | 26 tests, including one per bug in section 8 |