Show HN: 音声からの単語タイムスタンプAPI、75%が20ms以内
Show HN: An API for word timestamps from speech, 75% within 20ms (quebec.yarn.so)
要約
Yarn社が開発した「Quebec」は、音声から単語の正確なタイムスタンプを取得できるAPIです。既存の強制アライメントツールよりも高い精度を実現し、特に話し言葉の映像編集で重要となる単語のタイミングずれを最小限に抑えます。現在、期間限定で無料トライアルが提供されています。
全文翻訳
皆さん、こんにちは。私たちはYarn(W24)で、スタートアップ向けのビデオ編集アプリを開発しており、音声から正確な単語のタイムスタンプを取得できるAPI「Quebec」(https://quebec.yarn.so/)を構築しました。これは、単語のタイミングが実際のタイミングからわずか50ミリ秒ずれるだけで、トークヘッド映像(説明文中の例を参照)が台無しになる可能性があるため、私たちが必要としていたものです。
正確な単語タイムスタンプは通常、音声とトランスクリプトを受け取り、各単語の開始と終了の正確なタイミングを計算する強制アライナー(forced aligner)から得られます。私たちは、Montreal Forced Aligner(MFA)やElevenLabs Cue(https://elevenlabs.io/blog/cue-aligner)のような新しいモデルの精度に満足していませんでした。LLMに波形/スペクトログラムへのアクセスを提供しても、あまり助けにはなりませんでした。
そこで、私たちは独自に開発しました。特に興味深い点は2つあります。
- MFAのアコースティックモデルの周りに独自のデコーダーを記述し、各単語がラフなタイミングから200ミリ秒以内に収まるようにしました。これにより検索範囲が十分に小さくなったため、MFAのビームサーチを使用する必要がなくなりました。
- Whisper Tinyの最初の2層に基づいた小型CNNを追加し、各単語の境界を最大50ミリ秒だけ微調整しました。商用利用が許可された手動でラベル付けされた音声が十分に見つからなかったため、Geminiに独自のデータ(17,000単語境界)をラベル付けさせました。これには数時間かかり、200ドル未満で済みました。Geminiのラベルで学習したネットワークは、人間のラベルで学習したネットワークと同等のスコア(それぞれ73.9%対74%)を達成しました。
精度の測定方法の1つは、手動ラベルとの20ミリ秒以内の単語境界の割合(%)です。学習に使用していない、手動でラベル付けされたアメリカ英語音声であるBuckeyeでの結果は以下の通りです。
- Quebec: 75%
- MFA: 61%
- ElevenLabs Cue: 30%
試してみたい方は、明日夜まで無料です。ドキュメント(https://quebec.yarn.so/)をエージェントにポイントし、音声のみ、または独自のトランスクリプトと共に送信できます。その後は、サインアップ不要で1時間あたり0.32ドル(最低10ドルのチャージが必要)です。コストで提供しています。注意点として、英語のみでテストされており、ElevenLabsより遅いです。
Quebecがうまく機能するかどうか、またうまくいかないサンプルがあれば(support at yarn dot so までメールで送信できます)、ぜひお知らせください。より優れたアライナーを構築または発見した場合は、それも教えてください。理論上は、より優れたアライナーに切り替えるだけですが、おそらく独自のアライナーをさらに改善するために努力するでしょう。
ありがとうございます!
Jasper