Nvidia Nemotron 3.5 Transcribe: 40言語に対応したオープンASR

NVIDIA Nemotron 3.5 Transcribe および Granary v2: プロンプトで指示・適応可能なインテリジェントな多言語文字起こし

1つのオープンモデルで、多言語文字起こし、話者分離、翻訳、音声Q&Aを実現。リーダーボードでトップクラスの結果を出し、さらにオープンなGranary v2データパイプラインとファインチューニングレシピで適応も可能。

文字起こしは、発話されたすべての単語を記録できますが、誰が何を言ったのか、翻訳方法、専門用語のフォーマットなどをユーザーやアプリケーションが把握できないまま残してしまうことがあります。多言語での通話、ペースの速い会議、医療記録などは、それぞれ異なる出力（翻訳、話者ラベル、正しくスペルされた医療用語など）を必要とします。

NVIDIA Nemotron 3.5 Transcribeは、録音された音声を有用なテキストに変換するオープンウェイトでプロンプト可能なモデルで、現在Hugging FaceおよびModelScopeで利用可能です。このモデルは、文字起こし、話者分離（話者ダイアライゼーション）、翻訳、音声Q&Aを1つのチェックポイントに統合しています。40言語の文字起こし、そのうち31言語の英語への翻訳（または英語からの翻訳）、13言語の話者分離に対応しています。最長1時間の録音を処理し、最大8人の話者を識別できます。開発者は自然言語で出力を指示し、音声が処理される場所を選択し、ドメイン固有の語彙やアクセントに合わせて認識を適応させることができます。

Transcribeは、Hugging Face Open ASR Leaderboardで英語においてオープンウェイトモデルの中でトップであり、Artificial Analysisの精度対アクティブパラメータのフロンティアに位置しています。話者分離においては、David AIの21言語ダイアライゼーションリーダーボードで最低のエラー率を記録し、VoiceArenaの14システム比較では1位にランクされています。量子化バージョンも近日中にリリースされる予定で、RTX Spark、DGX Spark、Jetson AGX Thorでローカル実行したり、BlackwellデータセンターGPUでスケールアップしたりできます。

Granary v2の多言語データと再利用可能なキュレーションパイプラインは、NeMo Speechファインチューニングツールと組み合わせることで、プロンプトレベルの制御をトレーニングに拡張します。開発者は必要なテキスト形式を定義し、モデルをアプリケーションが遭遇する音声に合わせて適応させることができます。医療分野のケーススタディでは、ファインチューニングにより、プロンプトレベルの制御と比較して、保持された話者に対する単語エラー率（WER）が相対的に45.8%削減されました。

自然言語で文字起こしと分析をガイド

同じチェックポイントで、指示に応じて1つの会議録音から異なる出力を生成できます。

• 「この録音を文字起こしし、各話者をラベル付けしてください。」
• 「この音声を英語に翻訳してください。」
• 「この会議でどのような決定がなされましたか？」

以下のビデオでモデルの動作を体験してください。ここでは、1940年のスクリューボール・コメディ映画『ヒス・ガール・フライデー』の古典的なシーンを、早口で重なり合うセリフが多い中でも処理しています。

［動画］Nemotron 3.5 Transcribeが『ヒス・ガール・フライデー』（1940年）のシーンをキャプションし、セリフの重なりを含む話者をラベル付けします。

未知の用語については、トレーニングの前にコンテキストを試してください。例えば、医療現場では次のように指示できます。

この医療ディスカッションを元の言語で文字起こししてください。可能性のある用語：HbA1c、メトホルミン。これらの用語は、音声で裏付けられている場合にのみ使用してください。標準的な医療スペルを保持し、数字は従来の書式で記述してください。

モデルカードには、音声Q&Aの推論を含む推奨プリセット、完全なプロンプトガイド、タスク別言語マトリックスが記載されています。言語サポートはタスクによって異なり、音声Q&Aは英語でトレーニングされています。単語レベルのタイムスタンプもサポートされています。どの音声モデルでもそうであるように、名前、話者の変更、回答は録音と照合して確認してください。

ライブクラスから永続的なレッスンまで。 アプリケーションでリアルタイムの音声とビデオプラットフォームを強化するAgoraは、クラスの録音を再生と並べて表示される文字起こしに変換するために、単語レベルのタイムスタンプを使用しました。これにより、学生はいつ何が言われたかを見ることができます。Agoraのブログで、その構築方法が解説されています。

文字起こしから話者分離までのリーダーボードでの勝利

オープンウェイトモデルの中で、Transcribeは発話内容の正確さでリードしており、誰が話したかについては、2つの話者分離ベンチマークでトップを独占しています。

Hugging Face Open ASR Leaderboard。 このリーダーボードは、公開テストセットでの単語エラー率（WER）による文字起こし精度を測定します。3つのトラックがあります。

1. 英語: オープンウェイトモデルの中で平均WER 5.33%で1位です（図1）。
2. 多言語: 7言語の平均WER 4.62%で、モデルカードのOpen ASR比較で評価されたオープンウェイトモデルの中で最低です。
3. 長尺: 平均WER 10.98%で、これも同比較で最低です。

［画像: Hugging Face Open ASR English Open (2) Leaderboard table showing model rankings on the Hugging Face English Open ASR leaderboard, with columns for rank, model, average WER, RTFx, and dataset scores. nvidia/Nemotron-3.5-Transcribe is ranked first among open-weight models with an average Word Error Rate (WER) of 5.33% and an RTFx of 462.09.］

図1. Nemotron 3.5 Transcribeは、APIモデルを除外したHugging Face Open ASR Leaderboard（英語）で、平均WER 5.33%でオープンウェイトモデルの中で1位にランクされています。WERが低いほど、文字起こしエラーが少なくなります。

Artificial Analysis Speech-to-Text Leaderboard。 Artificial Analysisは、独自の単語エラー率インデックスであるAA-WERによって、音声認識モデルを独立してランク付けしています。Nemotron 3.5 Transcribeは、オープンウェイトモデルの中で2.8%のAA-WERでタイの1位を獲得しており、タイになったモデルの24Bパラメータに対し、アクティブパラメータは約4Bです。AA-WERインデックスの50%を占めるホールドアウト音声エージェント音声セットであるAA-AgentTalkでは、TranscribeはWER 1.8%を記録しています。これは、次に良いオープンウェイトモデルの2.3%よりも優れています。Transcribeは、その音声エンコーダーとハイブリッドMamba–Transformer混合エキスパート言語モデルを組み合わせており、30Bパラメータのうちトークンあたり約4Bしかアクティブになりません。これにより、Artificial Analysisの精度対アクティブパラメータのオープンウェイトパレートフロンティアに位置付けられています。AAの全モデルチャートでは、広く使用されているいくつかのプロプライエタリ音声APIを上回っています。

［画像: ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct '26)Scatter chart from Artificial Analysis plotting word error rate (AA-WER, non-streaming) against active parameters on a log scale for open-weight speech models. Nemotron 3.5 Transcribe sits on the Pareto frontier at about 4B active parameters and 2.80% WER.］

図2. アクティブパラメータ約6分の1でAA精度をリード：Nemotron 3.5 Transcribeは、アクティブパラメータ約4BでAA-WER 2.80%を達成しています。

言語と重なりをまたぐ話者分離。 Sortformerの話者キューは音響特徴量とともに言語モデルに渡されるため、Transcribeは後処理にのみ依存するのではなく、生成中に各発話にタグを付けることができます。

David AI DAI-ASR-I18N Leaderboard。 David AIのDAI-ASR-I18N統合文字起こし・話者分離トラックでは、Transcribeは評価されたオープンウェイトモデルの中で1位、全体で2位にランクされています。21言語にわたる話者分離スコアリングを行うベンチマークのダイアライゼーション（話者分離）トラックでは、テストされた14システムの中で最低のダイアライゼーションエラー率（DER）を記録しており、NVIDIA専用のNemotron 3 Diarizationモデルをわずかに上回っています。

［画像: DavidAI_Nemotron_3.5_Transcribe_Diarization_Accuracy Bar chart from David AI’s DAI-ASR-I18N benchmark ranking diarization systems by overall diarization error rate (DER) across 21 languages, where lower is better. Nemotron 3.5 Transcribe ranks first at 18.26%, followed by Nemotron 3 Diarization at 18.38%; the remaining open-weight and proprietary systems range from 22.85% to 37.55%］

図3. NVIDIAモデルがDavid AIの多言語ダイアライゼーションリーダーボードでトップ2を占めています。Nemotron 3.5 Transcribeは、21言語全体で最低のDER（18.26%）を記録し、Nemotron 3 Diarization（18.38%）がそれに続いています。DERは話者時間エラーを測定します。値が低いほど良いです。

VoiceArena Diarization-Bench。 VoiceArenaの英語フルセッションベンチマークでは、Transcribeは14システムの中で最低の連結最小置換WER（cpWER）を記録し、対面およびオンライン設定の両方で1位にランクされています。また、単語の削除も最も少なく、削除は参照単語の8.32%であり、中央値は約31%です。

［画像: VoiceArena_Track2_cpWER_ranking_1Bar chart from VoiceArena’s Diarization-Bench v1 ranking 14 diarization-plus-ASR systems on English full sessions with overlapping speech by concatenated minimum-permutation word error rate (cpWER), where lower is better. NVIDIA Nemotron 3.5 Transcribe ranks first at 32.4%, followed by NVIDIA Multitalker Parakeet + Nemotron 3 Diarization at 34.2%; the remaining systems range from 34.7% to 71.9%］

図4. NVIDIAモデルがVoiceArenaの14システム比較でトップ2を占めています。Nemotron 3.5 Transcribeが32.4%のcpWERでリードし、NVIDIA Multitalker Parakeet + Nemotron 3 Diarizationが34.2%でそれに続いています。Diarization-Bench v1は、英語のフルセッション、重なり合う音声、2〜8人の話者を対象としています。cpWERは話者ラベルを一致させた後の単語エラーをカウントします。値が低いほど良いです。

その他の評価。 Ocular AIのConverse-STT評価では、Transcribeがトップのオープンモデルとしてランク付けされています。Josh TalksのVoice of Indiaリーダーボードは、インドの言語におけるTranscribeの結果を報告しています。

高スループット文字起こし。 ベンチマークでは、Transcribeは今後リリースされるNVFP4量子化バージョンを使用して、1基のNVIDIA RTX PRO 6000 Blackwell Server Edition GPUで3分未満で100時間のオーディオを処理しました。結果は、高並行性での30秒クリップで測定されました。

vLLMを使用して、利用可能なチェックポイントを提供できます。ローカルデプロイメント用のNeMo-Speech.cppは、量子化バージョンと並行して近日中にリリースされる予定です。Transcribeはライブストリーミングではなく、録音済みオーディオ用に構築されています。

専門的な録音では、ドメイン固有の語彙や文字起こし規則への適応が必要になる場合があります。Granary v2とNeMo Speechファインチューニングは、Transcribeの基盤となるデータから開始して、これを解決します。

Transcribeの基盤となるオープンデータキュレーションパイプライン：Granary v2

プロンプト可能な音声モデルには、曖昧さのないフォーマットターゲットを持つトレーニングデータが必要です。Granary v2は、Hugging FaceおよびModelScope上のNemotron Speechコレクションの一部です。NVIDIA NeMo Curatorを使用して構築された再利用可能なパイプラインは、Nemotron 3.5 Transcribeのトレーニングに使用される多言語音声を準備し、アラインされた文字起こしバリアント、タスクラベル、および検査可能な品質メタデータを生成します。公開マニフェストは、48言語と16のソースコーパスにわたる463,062時間をカバーしており、Granary v1の25言語から増加しています。これらの数値はデータセットリリースを表しており、Transcribeの完全なトレーニング混合物やサンプリングウェイトを表すものではありません。

Granary v2は、各録音に対して3つの文字起こし形式（表1）を生成します。これは、開発者がプロンプトで要求できるものと同じ、 verbatim（逐語的）および clean（整形済み）スタイルです。文字起こしに加えて、パイプラインは短い音声キャプション、外来語のコードスイッチング復元、音声ベースのQ&Aペア、コンテキストASRバイアス用語、および自動品質スコア付きの翻訳を生成します。

表1. 同じ発話に対するGranary v2のトレーニングターゲット。

パイプラインは4つの再利用可能なステージで構成されています。

• 1. 音声準備（メタデータ）: 生のオーディオまたは長尺オーディオをセグメント化し、録音全体で話者を追跡し、音響イベントと言語をタグ付けします。Granary v2のソースは既にセグメント化されていたため、このリリースではこのステージはスキップされました。
• 2. 文字起こし（ASR）: 各言語をプライマリおよびリカバリASRモデルにルーティングし、プライマリが誤検出チェックに失敗した場合はフォールバックします。人間の参照文字起こしは、信頼できるスペルを保持しながら、発話形式や言い淀みを追加するのに役立ちます。
• 3. タスクラベル生成（テキスト）: 文字起こしバリアントを派生させ、文字レート、誤検出パターン、モデルまたは人間の参照との一致をチェックします。承認されたレコードのみがコンテキストASR用語と翻訳を受け取ります。
• 4. 高忠実度（HiFi）: ノイズが多い、クリップされている、または複数の話者を含むセグメントを除外し、ASR以外の用途のために高品質な録音のセットを小さく保ちます。VoxPopuliデータセットの場合、354k時間を22のヨーロッパ言語にわたって111k時間に削減しました。

［画像: fig6-granary-v2-pipeline-redesign Diagram of the Granary v2 curation pipeline following one roughly 12-minute sample from raw audio to a training target. The Metadata pipeline segments the audio with voice activity detection and diarization and identifies the language. The ASR pipeline transcribes a segment with a primary and a fallback model and keeps the best prediction, “Like, Granary-v2 is, uh, making every word matter.” The Text pipeline derives tn_raw, itn_raw, and itn_clean transcripts, plus translations, a caption, a speech Q&A pair, and context-ASR terms. The training view packs these into an instruction pair that maps “Transcribe without disfluencies” to “Granary-v2 is making every word matter.”］

図6. Granary v2データキュレーションパイプライン。約12分間のサンプルが、生の音声からメタデータ、ASR、テキストの各ステージを経てトレーニング例になるまでの流れ。

開発者は、RayとNVIDIA Dynamoバックエンドを使用して、NeMo Curatorパイプラインを自身の録音または承認された公開コーパスで実行するか、Granary v2公開マニフェストを基盤として構築できます。マニフェストには、tn_raw、itn_raw、itn_cleanの3つの文字起こし形式、前述のラベル、エンティティヒント、派生した指示ペア、出所、およびレコードごとの品質フラグが含まれています。ソースオーディオは各コーパスの元のライセンスの下で別途ダウンロードし、リリースで公開されている条件に従ってください。

重要な語彙への認識の適応

言語、スクリプト、文字起こし形式を指定する開発セットプロンプトから開始します。以下のケーススタディでは、英語とラテンアルファベットをプロンプトで指定したことで、フルベンチマークWERが30.8%から23.8%に削減されました。残ったドメインエラーに対しては、NeMo Speechファインチューニングワークフローが代表的な音声と明示的なテキストターゲットをペアにします。

NeMo Speech医療ASRケーススタディは、インドの医師と医学生からの録音で構成されるEka Careのオープンベンチマーク（3,619クリップ、トレーニング分割なし）でこの進捗を示しています。このスタディでは、生成された医療テキストと公開されている医学カタログから適応データを構築し、約153時間の合成音声、29時間のCommon Voiceからのアクセント付き英語、およびMultiMedからの63時間の医療録音を組み合わせます。

［画像: fig7-eka-care-62pct-rebrand Bar chart titled “62% fewer transcription errors” for the Eka Care medical ASR benchmark of Indian medical speech. On the full test set, word error rate falls from 30.8% out of the box to 23.8% with a better prompt that names English and the Latin alphabet, and to 11.8% after fine-tuning. Side labels note about 14 GPU-hours on one NVIDIA GB300 and about 153 hours of synthetic speech plus 92 hours of public accented and medical speech］

図7. Eka Careのインド医療音声ベンチマークのフルテストセットで、より良いプロンプトによりWERは30.8%から23.8%に低下し、ファインチューニング後は11.8%となり、モデルをそのまま使用した場合と比較して約62%のエラー削減となります。フルセットには、プロンプトとチェックポイントの選択に使用された855のチューニングクリップが含まれています。以下のホールドアウト結果は、よりクリーンなテストです。

合成生成は、テキストターゲットとその音声レンダリングを分離します。「HbA1c」がラベルであり、「H B A one C」がシンセサイザーに送信されます。複数のTTSボイスがオーディオを多様化し、実際の録音がアクセントや録音条件を追加します。トレーニングテキストは、正確な一致と8単語の共有シーケンスでベンチマーク参照と照合してフィルタリングされます。

Granary v2の明示的なターゲットと同様に、トレーニング例では数字、単位の間隔、会社名の展開、ブランド名のハイフンが変化し、指示で必要な規則が指定されます。一部のプロンプトには、ニアミスディストラクタを含む用語リストが含まれており、モデルは音声がそれを裏付けている場合にのみスペルを使用するように学習します。最終システムは、1つの固定規則プロンプトと1回のモデルパスを使用し、検索や文字起こしの後処理は行いません。

このレシピは、音声エンコーダーとプロジェクションをトレーニングし、LoRAを使用して言語モデルを適応させます。2つの実行で異なるデータ混合物が使用され、アダプターマージ後、選択されたチェックポイントは均一に平均化されて1つの最終モデルになります。チェックポイントの選択は、トレーニング損失だけでなく、デコードされた開発セットの結果を使用して行われます。テキスト生成から評価までの完全な適応には、1基のNVIDIA GB300で約14 GPU時間かかりました。

ドメインゲイン、ホールドアウト話者で測定

このスタディでは、ベンチマークの話者別に855のチューニングクリップ（プロンプトとチェックポイントの選択に使用）と2,764のホールドアウトクリップ（最終システムごとに1回デコード）に分割します。Eka CareのKARMAスコアリングパイプラインを使用すると、ファインチューニングにより、ホールドアウトWERはベストプロンプトベースラインの22.44%から12.17%に削減され、相対的に45.8%の削減となり、ゲインが新しい話者に一般化することを示す最も明確な証拠となります。キーワードWERは9.2%から6.5%に、セマンティックWERは10.0%から7.6%に低下します。同じホールドアウト話者とスコアラーで、適応モデルの12.17% WERは、オープンな医療専門モデル（13.79%）および広く使用されている汎用ASRモデル（14.92%）を上回ります。

一般的な英語では、LibriSpeechテストクリーンWERは1.54%から1.69%にわずかに上昇します。医療専門モデルは、ブランド名の医薬品や診断薬の正確な一致で引き続きリードしています。このスタディでは、次のステップとして、臨床医がブランド名を話す実際の録音を挙げています。独自のドメインでは、チェックポイント選択のために少なくとも100件の実際のラベル付きクリップを保持し、一般的な音声保持と並行して、アプリケーションが依存するエンティティタイプの評価を行ってください。

ケーススタディには、各ステップを再現するためのコマンドが含まれています。ファインチューニングチュートリアルは、レシピ、リソース要件、トレーニング、エクスポート、評価のためのツールをカバーしており、新しい言語やコードスイッチングASRも含まれています。付属のエージェントスキルにより、コーディングエージェントがベースライン選択とデータチェックからトレーニング検証、アダプターマージ、評価までワークフローを実行できます。

ModelScopeはまた、開発者がms-swiftフレームワークを通じてNemotron 3.5 Transcribeをファインチューニングし、特殊なマルチモーダルアプリケーションに対応できるようにします。

Nemotron 3.5 Transcribe および Granary v2 の開始方法

Hugging Faceデモ、またはModelScope StudiosでNemotron 3.5 Transcribeを試してから、Hugging FaceまたはModelScopeからチェックポイントをダウンロードし、vLLMデプロイメントガイドで提供してください。

セルフホスティングをスキップするには、Baseten、DeepInfra、またはSimplismartのホスト済みエンドポイントを使用してください。

ドメインに適合させるには、Hugging FaceまたはModelScopeのGranary v2マニフェストと医療ASRケーススタディから開始するか、ファインチューニングエージェントスキルでコーディングエージェントにワークフローを駆動させてください。

モデルとデータセット

• モデルチェックポイント: Hugging Face、ModelScopeのNVIDIA Nemotron 3.5 Transcribe | Hugging Face、ModelScopeのインタラクティブデモ
• ホスト済みエンドポイント: Baseten、DeepInfra
• データセットマニフェスト: Hugging Face、ModelScopeのGranary v2マニフェスト
• 高忠実度サブセット: Hugging Face、ModelScopeの манифесты | Hugging Faceのスペース

リポジトリとチュートリアル: NVIDIA NeMo Speech GitHub | NeMo Curator Granary v2パイプライン | vLLMデプロイメントガイド | 音声ファインチューニングガイド | ファインチューニングエージェントスキル

パートナーブログ: Agora | Inflection AI | VoiceArena | Simplismart | DeepInfra

ローカルAI: NVIDIA RTX PC、ラップトップ、DGX SparkでのローカルAIの新機能