Canto: 現実世界のために構築された音声モデル

Canto: 現実世界のために構築された音声モデル

音声認識モデルは、管理された条件下で録音されたクリアな音声を文字起こしする上で、驚くほど高性能になりました。しかし、実際の音声入力がそのような条件下で行われることは稀です。何百万人もの人々がWispr Flowを使用して、友人へのメッセージ作成、メールの作成、コーディング、デスクでのアイデアの整理、会議の合間、通勤中、そして騒がしいオフィスなど、様々な状況で利用しています。彼らはラップトップのマイク、イヤホン、ヘッドセットを通して話しており、しばしば背景には他の声、音楽、交通音が混じっています。

本日、Wispr Advanced Interfaces Labは、リアルタイム音声入力のための最新音声モデルであるCantoを発表します。実世界の音声入力の評価において、Cantoはテストした全モデルの中で最も低い単語誤り率（WER）を達成しました。私たちはCantoをGoogle、OpenAI、AssemblyAI、Deepgramのモデルと比較しました。

Cantoは、Wispr Advanced Interfaces Labにおける広範な研究開発プログラムの最初のモデルです。この記事では、その性能、困難な現実世界の状況に対応するためにどのようにトレーニングしたか、そして次に何が来るかを形作っている研究について共有します。

“本日、Wispr Advanced Interfaces Labは、リアルタイム音声入力のための最新音声モデルであるCantoを発表します。”

Ariya Rastrow

CSO, Wispr Flow

現実世界の条件下でのCantoの評価

Cantoを現実世界の条件下でテストするために、私たちは2,300人以上のユニークな話者からの10時間分の英語Wispr Flow音声入力を収集し、アプリケーションやユースケース全体からランダムにサンプリングした評価セットを作成しました。私たちは、話者の特性に対する過学習を避けるために、トレーニングセットとテストセットの話者を厳密に分離しました。各サンプルは、Wisprのデータ共有設定にオプトインしたユーザーから提供されたもので、モデルの評価と改善のために匿名でデータが使用されることを許可しています。この設定に関する詳細は、データコントロールのドキュメントで確認できます。

Cantoは、比較対象となったモデルの中で最も低い単語誤り率（WER）を達成しました。WERは、人間が文字起こしした参照と比較した単語の置換、省略、挿入を測定します（低いほど良い）。

［画像: アプリケーションやユースケース全体からランダムにサンプリングされた10時間分のWispr Flow音声入力における単語誤り率］

最も困難な条件下での性能

モデルはランダムにサンプリングされたデータで良好な性能を示しましたが、私たちは最も困難な状況での性能を研究することにも関心がありました。私たちは、音声入力が失敗する可能性が最も高い条件を特徴とする、3時間のチャレンジ評価セットを別途構築しました。

このセットには、近くでの会話、音楽、交通音、風、低い録音音量、ささやき声や遠距離からの音声などの影響を受けた音声が含まれています。また、モデルが曖昧さを解決するのに役立つ周囲のコンテキストや言語がほとんどない短い音声入力も含まれています。フルチャレンジセット全体では、CantoはGemini 3.1 Proに次いで2位となりました。Gemini 3.1 Proは、リアルタイム低遅延アプリケーションには適さない、はるかに大規模なフロンティアサイズのマルチモーダルモデルです。評価したリアルタイム文字起こしモデルの中では、Cantoが最も低いWERを達成しました。

［画像: 文字起こしモデルを最も困難な現実世界の条件下でストレステストするために組み立てられた3時間のオーディオチャレンジデータセットにおける単語誤り率］

私たちはこのデータセットをさらに調査し、モデルがどのように異なって振る舞うかを理解しました。Gemini 3.1 Proは、ノイズの多い音声で最も低いWERを達成しました。Cantoは、低音量の音声と短い音声入力で最低WERを記録しました。短い音声入力は、比較全体で最も高いエラー率を生成しました。発話に数語しかない場合、単一の誤りがWERに大きな影響を与え、モデルは曖昧さを解決するための言語的コンテキストも少なくなります。

［画像: オーディオチャレンジセットの3つのサブセットにおける単語誤り率。ノイズの多い音声は、背景ノイズ（交通音、風、競合する背景音声など）が顕著な低SNR音声と定義されました。低音量のサンプルは、ささやき声または遠距離からの音声で構成されていました。短い音声入力は、周囲のコンテキストがほとんどない1〜2語のサンプルでした。］

公開ベンチマークでの性能比較

私たちはまた、Cantoを3つの公開英語データセット（LibriSpeech、FLEURS、Common Voice）で評価しました。CantoはLibriSpeechで最低WERを記録し、FLEURSとCommon Voiceでも競争力のある性能を維持しましたが、どちらの評価でもトップにはなりませんでした。

［画像: 評価に使用された英語データセット（FLEURS、LibriSpeech、Common Voice）における単語誤り率。モデルはコンテキストプロンプトなしで評価されました。］

これらの公開データセットは有用で再現可能な比較を提供しますが、それらは主に読み上げ音声を含んでいます。LibriSpeechはオーディオブックから抽出され、FLEURSとCommon Voiceは主に準備された文章を読み上げる人々で構成されています。これらは、人々が自発的に話し、一時停止し、考えを修正し、しばしば非常に少ない言語的コンテキストしか提供しない、日常の「実世界の」音声入力とは異なる分布を捉えています。この対比は、私たちがCantoを公開データセットと実際のWispr利用の両方で評価する理由を説明するのに役立ちます。

スーパーバイズド・ファインチューニングと強化学習によるCantoのポストトレーニング

Cantoは、数百万時間もの音声とテキストで事前学習されたモデルから始まります。その後、Cantoを2段階でトレーニングします。まず、参照トランスクリプトとペアになった音声を示します。モデルは、各トランスクリプトの単語を一度に1ステップずつ予測することを学習します。この段階はスーパーバイズド・ファインチューニングと呼ばれ、文字起こしタスクを実行する方法を教えます。次に、完全なトランスクリプトの品質を比較するようにトレーニングします。同じ音声に対して、モデルはいくつかの可能な文字起こしを生成します。それらを参照と比較してスコアリングし、そのスコアを使用して将来のトレーニングでより良い文字起こしをより可能性が高くなるようにします。これは強化学習（RL）として知られています。

違いは、モデルがどのようにフィードバックを受け取るかにあります。スーパーバイズド・ファインチューニングは、各ステップで期待される単語を提供します。強化学習は、完了したトランスクリプト（モデルによって生成された）を評価します。これにより、認識エラーの削減など、私たちが気にかけている結果を中心にトレーニングすることができます。私たちの手法は、Group Relative Policy Optimization（GRPO）を使用します。中心的な考えはシンプルです：各グループ内の候補トランスクリプトを比較し、それらの相対スコアから学習します。各音声例について、トレーニング中のモデルからいくつかの候補トランスクリプトをサンプリングします。これらをロールアウトと呼びます。各ロールアウトは報酬を受け取ります：トレーニング目標をどれだけうまく満たしているかを測定する数値スコアです。

GRPOは、各候補の報酬を、同じ音声に対する他の候補の報酬と比較します。結果の相対スコア（アドバンテージと呼ばれる）は、その候補がグループ内でより良くまたは悪くパフォーマンスしたかどうかを示します。これらのアドバンテージがトレーニングの更新をガイドします。

シーケンスレベルのトレーニングは、音声認識において長い歴史があります。研究者は以前、最小単語誤り率トレーニングやポリシーグラディエント法を使用してASRシステムを最適化してきました。GRPOは最近DeepSeekMathで導入され、自己回帰音声認識への直接的な応用は、GRPO for ASRや音声ドメイン適応に関する最近の研究にのみ現れ始めています。

“私たちは、音声ロールアウトを大規模に生成およびスコアリングできるインフラストラクチャを構築し、特定の動作や失敗モードを中心にトレーニング環境を構築できるようにしました。”

Wisprにとって、RLの価値は単なる低い全体的なエラー率ではありません。私たちは、音声ロールアウトを大規模に生成およびスコアリングできるインフラストラクチャを構築し、特定の動作や失敗モードを中心にトレーニング環境を構築できるようにしました。このシステムは現在、コンテキスト認識、パーソナライゼーション、話者分離、困難な音声条件に関する実験をサポートしています。以下で説明する研究は、リリースされたCantoモデルのトレーニングを超えており、すでに次世代モデルに情報を提供しています。

修正からの学習

名前や語彙の使用は、音声モデルが再トレーニングされるよりも速く変化します。「Claude」という単語は、かつては「cloud」の珍しい代替語だったかもしれません。その使用法が変わるにつれて、実用的な音声入力モデルは区別を学習する方法を必要とします。

データ共有にオプトインしたユーザーにとって、修正は認識を改善するための貴重な信号を提供できます。しかし、すべての編集が文字起こしエラーを示すわけではありません。人々はフォーマットを変更したり、文章を書き直したり、単に考えを変えたりもします。

以下に示される仮説の例は、この問題を示しています。モデルは「Claude」を「cloud」と文字起こししましたが、その人物は修正しました。また、その人物は考えを変えて文の終わりを書き直しました。最初の変更だけが認識エラーを表しています。

［画像: 仮説の例。ローカルな「cloud」から「Claude」への修正は保持され、無関係な書き直しは破棄されます。ASRエラーを選択的にトレーニングターゲットにグラフトできます。］

音声と編集自体の信号を使用して、認識エラーである可能性が最も高い修正を特定します。これらには、候補単語が音声にどれだけ一致するかを測定する強制アライメントの信頼度、および編集の場所と形状が含まれます。その後、可能性のある修正のみを元のトランスクリプトにグラフトし、残りは変更しません。

結果のトランスクリプトは、GRPOロールアウトをスコアリングするために使用される参照となります。仮説は、意図された修正を行った場合に高い報酬を受け取ります。GRPOはグループ内のアドバンテージを中心に計算するため、より高い報酬とより低い報酬の仮説で共有される単語は相殺される信号を受け取ります。これは完璧なトークンレベルのクレジット割り当てを提供しませんが、私たちが気にかけている決定に最も近いコントラストを作成します。グラフトは、ノイズの多いドキュメントレベルの編集を、より焦点を絞ったシーケンスレベルのトレーニング信号に変換し、GRPOのオンポリシー性質を維持します。

［画像: 6つのモデル生成トランスクリプトのグループ例。各ロールアウトは、グラフトされた参照に対して1-WERの報酬を受け取ります。報酬はグループ内で標準化され、アドバンテージを計算します。］

コンテキストの選択的な使用方法の学習

実行時には、Cantoにはユーザーの辞書から専門的な語彙が提供されます。これにより、音声だけでは特定が難しい名前や珍しい単語をモデルが回復するのに役立ちます。認識をガイドするためのフレーズを提供することは、コンテキスト認識ASR研究の長年の分野です。難しいのは、モデルがそのコンテキストをどれだけ強く信頼すべきかを決定することです。

誰かの辞書に「Barry」があり、その人が「I want to make a berry salad.」（ベリーサラダを作りたい）と入力したとします。録音状態が悪い場合、両方の単語が音響的にあり得るかもしれません。過度に積極的なモデルは、「Barry」が辞書にあるため「Barry」を選択するかもしれませんが、実際にはその人が言ったのは「berry」です。

この動作を測定するために、SFTチェックポイントから開始し、トレーニング例の10％で正確なコンテキストを提供しながらRLを使用してモデルをトレーニングしました。その後、正しい単語と音響的に類似した合成ディストラクタ（誤った候補）を変化させてモデルをテストしました。ディストラクタフリップは、これらの誤った提案の1つを追加したときに、モデルがそれらを採用してしまう場合に発生します。

［画像: RLトレーニングの前後のコンテキスト採用。トレーニング中にモデルに正確なコンテキストを提供すると、SFTチェックポイント（左パネル）と比較して、真実の採用が向上します。同時にトレーニングすると、過度に積極的なコンテキストを使用する傾向が生じます。音響的に類似したディストラクタは、文字起こし中に選択される可能性が高くなります。］

RLトレーニング後、モデルはコンテキストに対してより応答性が高くなり、そのコンテキストが間違っている場合でも同様でした。最も音響的に類似した用語の中で、初期のSFTモデルのほぼ5倍の頻度でディストラクタを採用しました。トレーニングはコンテキストをより有用にしましたが、モデルは時々それを過度に信頼しすぎました。

コンテキスト採用とコンテキスト識別を分離するために、同じSFTチェックポイントから3つの実行をトレーニングしました。常に正しい（always true）では、提供されたコンテキストは正確な用語のみを含んでいました。ディストラクタ+正しい（distractors + true）では、正確な用語が音響的に類似した代替語と共に表示されました。ディストラクタのみ（distractors only）では、選択された例には正確な用語の代わりにあり得るニアミスが含まれていましたが、報酬は音声によってサポートされるトランスクリプトを引き続き支持しました。

各チェックポイントで、2つのプローブを実行しました。縦軸は正確なコンテキストの採用を測定し、横軸は誤ったコンテキストがトランスクリプトをどれだけ頻繁に変更するかを測定します。理想的な軌跡は、右に移動せずに上に移動します。

［画像: RLトレーニングの過程におけるコンテキスト採用と誤ったコンテキスト追従。各実行は同じSFTチェックポイントから開始します。コンテキストでトレーニングすると、モデルは正確なコンテキストを採用することを学びますが、音響的に類似したディストラクタの影響も受けやすくなります。トレーニング中に音響的に類似したディストラクタを提供すること（赤）は、ディストラクタ採用を減らすのに役立ちます。］

軌跡は、各混合がコンテキストとの異なる関係を学習することを示唆しています。常に正しい（always true）では、モデルは単純なショートカットを学習できます：提供された用語が音声に似ている場合、それを使用します。これは正確な用語の採用を改善しますが、誤ったコンテキストの追従も増加させます。ディストラクタ+正しい（distractors + true）では、コンテキストは選択問題になります。正しい答えは存在しますが、あり得る代替案から区別する必要があります。モデルは、リストからコピーするだけでなく、音声によって最もサポートされている候補を選択することで報酬を得ます。ディストラクタのみ（distractors only）では、コンテキストは敵対的になります。提供された用語を盲目的に採用すると報酬を失うため、成功するには音声に有利なように競合を解決する必要があります。これにより、誤ったコンテキストの追従はさらに左に移動し、正確なコンテキスト採用と同レベルを維持しました。

これらの実験は、まだ最終的なコンテキストポリシーを定義していませんが、トレードオフ自体がトレーニング可能であることを示しています。目標は、単にモデルにコンテキストを追従させることだけでなく、いつコンテキストが追従に値するかをモデルに教えることです。

今後の展望

Cantoは、より大きなファミリーの最初のモデルです。私たちはすでに、Cantoの10倍以上の規模で後継機のトレーニングを行っており、困難な音声条件下での認識向上、マルチスピーカー認識の向上（最近ローンチしたノートテイカー製品向け）、コンテキスト語彙のより良い活用、そしてより多くの言語で同等の標準を達成することを目指しています。ここで説明されたポストトレーニングアプローチは、モデルが成長するにつれて、より専門的な報酬やより困難なトレーニング環境を導入することも可能にします。

1つの焦点は、文字起こしと話者分離の統合アーキテクチャです。会議文字起こしシステムは、しばしば単語認識と話者識別を別々の段階で行い、一方の段階でのエラーがもう一方の段階のエラーを増幅させる可能性があります。共同モデルは、何が言われたか、誰が言ったか、そして話者がいつ変わったかを同時に推論できます。話者構造は、ノイズの多い設定で有用な証拠を提供し、文字起こし中の会話を背景の無関係な音声と区別するのに役立ちます。

時間の経過とともに、私たちの音声モデルは単語を認識する以上のことを行う必要があります。それらはコンテキストを選択的に使用し、人が話しているアプリケーションを理解し、言われたことと人が達成しようとしていることを結びつける必要があります。Cantoは、私たちがそのより広範なインターフェースを追求するための音声モデル、トレーニングアプローチ、および評価フレームワークを提供します。

これらは未解決の研究課題のままです。音声認識、強化学習、話者分離、多言語モデリング、またはマルチモーダルインターフェースに取り組んでいる方は、Wispr Advanced Interfaces Labは採用活動を行っています。