HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Voxtral 3

Voxtral 3 (mistral.ai)

740 pointsby ilreb187 コメント

要約

Mistral AIは、リアルタイムで多段階の会話に対応する最先端の音声エージェントSDKと音声モデル「Voxtral 3」を発表しました。これは、高精度な音声認識、感情表現豊かな音声合成、そしてツール連携によるワークフロー自動化を統合したものです。EUホストAPIまたはオンプレミスでの展開が可能で、データ主権を確保しつつ、コンタクトセンターや仮想アシスタント向けに低遅延で人間らしい対話体験を提供します。

全文翻訳

Voxtral 3

Thinking

Summary

Voxtral 3は、最先端の音声エージェントSDKと、50以上の言語でリアルタイムかつ多段階の会話を実現する最先端の音声モデルを導入します。高精度な音声認識、感情適応能力を持つ自然な音声合成、そしてシームレスなワークフロー自動化のための深いツール連携を組み合わせます。MistralのEUホストAPI経由またはセルフデプロイメントで利用可能であり、データ主権を確保しながら、コンタクトセンター、仮想アシスタント、ハンズフリーコパイロット向けに低遅延で人間らしい対話を提供します。

音声認識と音声合成は大きく進歩しましたが、聞き取り、推論、対話、そして複雑なワークフローを処理できるエンドツーエンドの音声エージェントを構築することは依然として困難です。

信頼性の高い音声エージェントは、4つのことを非常にうまく(そして同時に)行う必要があります。

  1. 正確に聞き取る:言語、アクセント、話者、割り込みを問わず、
  2. 深く推論する:特定のコンテキストでユーザーが何を意味しているかについて、
  3. 自然に話す:感情と表現を込めて、そして
  4. 行動する:接続されたシステムを通じて多段階で。

これら4つすべてをリアルタイムで確実に連携させることは、依然として課題です。

この課題に対処するため、私たちはVoxtral 3を導入します。これは、最先端の音声認識および音声合成モデルの新しいファミリーであり、リスニング、シンキング、ツール呼び出し、スピーキングを単一のリアルタイムストリーミングパイプラインにもたらす音声エージェントSDKと組み合わされています。

Voxtral 3は、コンタクトセンターエージェントやサービスデスクから、仮想アシスタント、ハンズフリーコパイロットまで、自然な会話体験を創造するために構築されています。数十の言語、表現力豊かな音声、複雑な推論、そして独自のツールやデータとの深い統合をサポートするVoxtralで構築されたエージェントは、ニュアンスのある意図を解釈し、洗練された要求を推論し、接続されたシステム全体で多段階のアクションを実行できます。

他のMistralモデルと同様に、Voxtral 3ファミリーは、主権的なデプロイメントのために設計されています。MistralのEUホストAPI経由で、または独自のインフラストラクチャ上でセルフデプロイメントとして今日から利用可能であり、組織は音声が処理される場所、データの処理方法、会話が保持されるかどうかを制御できます。

ハイライト

  1. 50以上の言語で正確な文字起こし。音声認識モデルであるVoxtral Small Transcribe 3は、多言語文字起こしにおいて最先端であり、誰が何を話したか(話者分離)を特定し、キーフレーズを使用して精度を向上させます(コンテキストバイアス)。話者がいつ話し終えたかを検出し、エージェントが遅延なく応答できるようにします(発話終了検出)。

  2. 会話に適応する自然な音声。音声合成モデルであるVoxtral Mini TTS 3は、会話コンテキストに基づいて感情、ペース、強調を調整する新しいボイスを導入し、35以上の言語と50以上の方言をサポートします。

  3. (音声で)あなたのコマンドによる人間のような知能。新しい音声エージェントSDKは、リスニング、推論、ツール呼び出し、スピーキングをリアルタイム体験に統合します。エージェントは、電話またはWebでのライブ会話中に、情報を取得し、ビジネスシステムと対話し、タスクを完了できます。

  4. Pro Voiceで際立った正確な音声適応。基本的な音声クローニングでは不十分なプロフェッショナルユースケース向けに、VoxtralのPro Voice適応は、わずか30分の音声データを使用して、話者の独特なキャラクター、感情の範囲、話し方を言語を越えて再現できます。

  5. あなたの音声AIを、あなたのインフラストラクチャ上で。MistralのEUホストAPIを使用するか、Voxtral 3を独自のインフラストラクチャにデプロイします。機密性の高い会話を環境内に保持し、音声が保持されるかどうかを制御します。

Voxtralを今すぐ試す | 詳細はこちら

50以上の言語を聞き取り、最先端の精度で。

Voxtral Transcribe 3は、文字起こし、話者分離(誰がいつ話したか)、およびコンテキストバイアス機能における重要なマイルストーンを表します。サポートされる言語リストは50に拡張され、24の公式EU言語と多くのアジアおよびインドの低リソース言語が含まれています。

Smallバージョンは、英語、フランス語、スペイン語を含む、話者分離と多言語文字起こしにおいて最先端の結果を達成します。Whisper、Scribe v2、Gemini 3.5 Transcribeを上回ります。Miniバリアントは4Bパラメータで、毎分0.0035ドルの価格で高速かつ正確な文字起こしを可能にします。

どちらのモデルもコンテキストバイアスをサポートしており、キータームや自由形式のテキストを提供することで文字起こしをバイアスし、技術用語の想起率を向上させることができます。これにより、ファインチューニングなしでドメイン固有の語彙を持つ本番環境で使用できます。

FLEURS 45 強制 vs 推論

単語エラー率 — 低いほど良い

  • 強制
  • 推論

4.1%4.0%4.1%4.0%4.6%4.5%6.1%4.5%4.9%4.9%6.3%5.6%16.0%14.9%Voxtral Small Transcribe 3Microsoft AI Transcribe 2Voxtral Mini Transcribe 3Gemini 3.5 TranscribeScribe v2GPT TranscribeWhisper large-v3単語エラー率

すべての7モデルがサポートする45言語の交差部分におけるマクロ平均WER。WERは、日本語、韓国語、タイ語、中国語を除くすべての言語で使用され、CERが使用されます。低いほど良い。

強制 = 言語指定; 推論 = 言語自動検出。言語: AR, BN, BG, CA, ZH, CS, DA, NL, EN, ET, FI, FR, DE, EL, GU, HI, HU, IS, ID, IT, JA, KN, KO, LV, LT, MK, MS, ML, MR, NO, FA, PL, PT, RO, RU, SK, SL, ES, SV, FIL, TE, TH, TR, UK, VI

話者分離

連結最小置換単語エラー率 — 低いほど良い

18.4%18.6%19.0%20.3%23.0%30.9%38.4%Voxtral Small Transcribe 3Voxtral Mini Transcribe 3Pyannote Orchestrator (Precision 3)Microsoft AI Transcribe 2Scribe v2Voxtral Mini Transcribe 2Gemini 3.5 Transcribe連結最小置換単語エラー率

公開話者分離ベンチマーク(AMI-IHM, AMI-SDM, Switchboard, Switchboard CallHome, AISHELL-4)におけるマクロ平均連結最小置換単語エラー率(cpWER)。APIベースラインの互換性を最大化するため、AMIとAISHELLの30分バージョンを使用します。低いほど良い。

話者分離ベンチマーク、連結最小置換単語エラー率(cpWER)。

キーフレーズ想起率

コンテキストプロンプトありとなし — 高いほど良い

  • コンテキストなし
  • コンテキストあり

94.6%81.4%94.3%84.0%87.3%80.9%Voxtral Small Transcribe 3Scribe v2Gemini 3.5 Transcribeキーフレーズ想起率

Voxtral Small Transcribe 3はブランドカラーで強調されています。Earnings 22ベンチマークにおけるキーフレーズ想起率。コンテキストバイアスにはキータームとランダムにサンプリングされたディストラクタ(0から100の範囲)が含まれます。バーは重ね合わされた絶対値です — 外側のバーはコンテキストありの想起率、内側のバーはコンテキストなしの想起率です。表示される帯は、コンテキストプロンプトによる向上率です。高いほど良い。

キーフレーズ想起率ベンチマーク。コンテキスト = モデルに提供されたドメイン固有の語彙と話者名。

人工分析ベンチマーク

単語エラー率 — 低いほど良い

Fun-Realtime-ASR-previewMicrosoft AI Transcribe 2Voxtral Small Transcribe 3Scribe v2Voxtral Mini Transcribe 3Grok Voice Transcribe 2.0Microsoft AI Transcribe 1.5StepAudio 3 ASRGemini 3.5 TranscribeVoxtral SmallGemini 3.1 Pro Preview (High)Universal-3.5 ProSolaria-3, GladiaGPT TranscribeSmallest AI PulseResonant-1Smallest AI Pulse ProInkling, Thinking MachinesQwen3.5 Omni Plus RealtimeGemini 3.1 Pro Preview (Low)Voxtral Mini Transcribe 2Soniox v5 AsyncInworld STT 1GPT-4o TranscribeEnhancedWhisper large-v3Qwen3 ASR FlashAmazon TranscribeModulate STT Batch English VFastCanary Qwen 2.5BChirp 3GPT-4o Mini Transcribecohere-transcribe-03-2026Nova 2 Pro, AmazonMeliaNova-3, DeepgramRev AIAA WER

人工分析WERインデックス、VoxPopuli、Earnings-22、AgentTalkの加重平均。

低いほど良い。

Voxtral Realtime Transcribe 3は、エージェントユースケース向けに構築されたリアルタイム文字起こしモデルです。話者分離とコンテキストバイアスを含め、35以上の言語で500ミリ秒未満の遅延で高品質な文字起こしを実現します。

FLEURS 35

リアルタイム文字起こし単語エラー率 — 低いほど良い

4.0%4.2%5.7%5.8%6.0%6.4%7.4%8.4%8.7%Voxtral Mini Transcribe 3*Gemini 3.5 Realtime TranscribeVoxtral Mini Realtime 3 · 2400 msMicrosoft AI Transcribe 2 StreamingVoxtral Mini Realtime 3 · 960 msVoxtral Mini Realtime 3 · 480 msVoxtral Mini Realtime 3 · 240 msGPT Live TranscribeScribe v2 Realtime単語エラー率

FLEURSベンチマークの35言語におけるマクロ平均WER。WERは、日本語、韓国語、中国語を除くすべての言語で使用され、CERが使用されます。低いほど良い。*Voxtral Mini Transcribe 3はオフラインベースラインです。その他のモデルはリアルタイムです。

言語: AR, BN, BG, CA, CS, NL, EN, ET, FI, FR, DE, EL, GU, HI, ID, IT, JA, KN, KO, LV, MK, MS, ML, MR, NO, FA, PL, PT, RO, RU, SK, ES, FIL, TE, TR

発話終了予測はネイティブにサポートされており、音響情報と意味情報の両方を組み込んで、ユーザーが話し終えたタイミングを正確に予測します。これにより、低遅延の音声エージェントアプリケーションが可能になり、ユーザーが早期に割り込まれた場合の誤ったカットオフ率を最小限に抑えます。

あなたまたは顧客のブランドの声とローカル方言で、適切な感情で応答します。

Voxtral Mini TTS 3.0は、バッチおよびリアルタイムで利用可能で、35以上の言語と50以上の方言で最先端の表現力と指示追従性を実現します。100万文字あたり13ドルという価格で、Voxtral Speech 3は、OpenAI TTS-1、Deepgram、ElevenLabs Flash、Gemini Flashの同等モデルよりも低コストで実行できます。

音声モデルは、文脈の意味を暗黙的により良く解釈し、多様な感情と言語で自然な音声を生成します。新機能と改善された機能には、30分以上のサンプル音声からのボイスクローニング、カスタムプロンプト指示追従(IF)、コンテキストTTS、および語彙ライブラリが含まれており、これらはすべてデプロイメントにおける音声の信頼性という目標に貢献します。明示的なIFの変数には、emotion、pacing、emphasisが含まれます。

プロンプト

この議論はここで終わりにしましょう:GIFです。

デフォルト

非標準の音素ヒント: dʒ ɪ f

すべての自然に聞こえる音声は感情に依存しており、それがプロソディ、リズム、ペース、強調、遷移を決定します。Voxtral TTSは、プロンプトのテキストコンテキストをネイティブに解釈して感情とボイススタイルを決定するため、追加の指示やボイスプロンプトを必要とせずに、自然な音声に対してモデルが本質的に優れています。

ボイスコードベンチ:品質対価格

BeSimple AIによって作成されたVoice Code Benchは、数字と固有の名前に関連するエンタープライズカスタマーサポートの失敗状態に焦点を当てています。

  • 他のTTS
  • Mistral

忠実なクリップ価格(100万文字あたりUSD)Eleven v4Eleven v4 TurboInworld TTS-2Inworld TTS-2 FlashFish Drama 3Gemini 3.8 Flash TTSQwen-Audio 3.1 FlashQwen-Audio 3.0 PlusCartesia Sonic 3.6Gemini 3.8 Flash Lite TTSDeepgram Flux TTSSpeechify Simba 3.2OpenAI gpt-4o-mini-ttsBreeze TTS 2StepFun StepAudio 2.5Voxtral TTS

左上に行くほど良い。

Voice Code Bench (BeSimple AI): 300の英語プロンプト、各システムに2つのボイス(女性と男性); ジャッジgemini-3.8-flash; ベンダーの価格ページからの価格; 2026-10-20生成。

発音制御:品質対価格

ターゲット単語が意図したとおりに発音されたクリップの割合、その音素付き

  • Mistral
  • 他のTTS

正確な発音価格(100万文字あたりUSD)Voxtral TTSInworld TTS-2Cartesia Sonic 3.6Inworld TTS-2 FlashFish Drama 3Qwen-Audio 3.1 FlashEleven v4 TurboEleven v4Deepgram Flux TTSQwen-Audio 3.0 Plus

内部評価。左上に行くほど良い。文書化された発音制御がないシステムはデータにリストされていますが、プロットされていません。

300の英語の文、それぞれに1つの珍しい単語または造語(150の易しい、150の難しい)、各システムに2つのボイス。ジャッジgemini-3.8-flashが、単語の意図されたIPAを聞きます。ベンダーの価格ページからの価格。2026-10-20生成。

多言語:品質対価格

11言語、各言語とシステムに1つのネイティブボイスでの平均ジャッジスコア

  • 他のTTS
  • Mistral

平均ジャッジスコア(11言語)価格(100万文字あたりUSD)Eleven v4Eleven v4 TurboCartesia Sonic 3.6Fish Drama 3Gemini 3.8 Flash Lite TTSGemini 3.8 Flash TTSInworld TTS-2Inworld TTS-2 FlashOpenAI gpt-4o-mini-ttsVoxtral TTS

内部評価。左上に行くほど良い。11言語未満をカバーするシステムはデータにリストされていますが、プロットされていません。

377のプロンプトがリリース用に選択され、11言語、各言語の平均ジャッジスコアの加重平均なし、1〜5のスケール。ジャッジgemini-3.8-flash。ベンダーの価格ページからの価格。2026-10-20生成。

表現力豊かな英語:品質対価格

one_evalでの平均ジャッジスコア、237のプロンプトがリリース用に選択

  • 他のTTS
  • Mistral

平均ジャッジスコア価格(100万文字あたりUSD)Eleven v4Cartesia Sonic 3.6Eleven v4 TurboInworld TTS-2Gemini 3.8 Flash Lite TTSGemini 3.8 Flash TTSInworld TTS-2 FlashFish Drama 3Speechify Simba 3.2Qwen-Audio 3.1 FlashBreeze TTS 2OpenAI gpt-4o-mini-ttsStepFun StepAudio 2.5Deepgram Flux TTSQwen-Audio 3.0 PlusVoxtral TTS

内部評価。左上に行くほど良い。

表現力豊かな英語(one_eval):237のプロンプトがリリース用に選択、各システムに2つのボイス(Voxtral TTS:SarahとJames)、1〜5のスケール。ジャッジgemini-3.8-flash。ベンダーの価格ページからの価格。2026-10-20生成。

Voxtralの表現力、数字、固有名称におけるヒルクライミングの例示。

プロンプト

Mistralにお電話いただきありがとうございます!AI Studioへのログインに問題があるとのこと、承知いたしました。メールアドレスをご確認いただけますか?elena.vance82@yahoo.comでよろしいでしょうか?

Voxtral 1

Voxtral 3

音声は35言語、50以上の方言でローカルに聞こえます。

Voxtral TTSは、35以上の言語と地域の方言をサポートしています。当社の多言語評価は、発音、フォーマル/インフォーマルなレジスター、スペル、冗長性、および地域慣習(時間、日付、温度、住所、通貨)における方言の違いを遵守しています。

Voxtral 3多言語ライブラリ

ボイスプリセットは18言語で利用可能です:アラビア語(UAE、現代標準)、ブラジル(ポルトガル語)、カタルーニャ語、中国語(北京語)、オランダ語、英語(アメリカ、イギリス)、フランス語(フランス)、ドイツ語、ギリシャ語、ヒンディー語、イタリア語、韓国語、ノルウェー語、ロシア語、スペイン語(スペイン)、ベトナム語。

音声エージェントが会話全体を制御します。

Voxtral 3は、LiveKit上に構築された音声エージェントSDKを導入しており、音声入力、推論、音声出力を1つのストリーミングパイプラインとして実行します。Voxtral Mini Transcribe Realtime 3は、発信者が話し終えたタイミングを聞き取り、検出します。Mistral Smallのような汎用モデルは推論とツール呼び出しを行い、Voxtral Speech 3はそれまでの会話のトーンで応答します。各ステージは前のステージを待たないため、各ターンは1秒未満で完了し、発信者が割り込んできたときにエージェントは話し終えます。

通話中、エージェントは発信者の身元を確認したり、請求書を確認したり、予定を予約したりできます。これには、関数呼び出し、Web検索、および独自のシステムを介した検索を利用します。SIP経由で通話に応答および発信し、WebRTC経由でブラウザやアプリで実行し、既存の電話、IVR、コンタクトセンターソフトウェアに接続します。

[画像: 音声エージェントのアーキテクチャを示す図]

各ステージは独立したモデルであるため、エージェントを書き直すことなくLLM、ボイス、または言語を変更でき、スタック全体をヨーロッパのMistral APIで実行するか、独自のインフラストラクチャで実行できます。

始めましょう。

Voxtral 3は、当社のヨーロッパ、米国、およびグローバルエンドポイントを通じてホストされるMistral API経由で本日より利用可能です。

Studioプレイグラウンドで、音声エージェント、音声認識、音声合成、ボイスクローニングをテストできます。

Voxtralを今すぐ試す | 詳細はこちら

モデル価格
Voxtral Mini Transcribe 3 (バッチ)$0.0035/分
Voxtral Mini Transcribe Realtime 3$0.008/分
Voxtral Small Transcribe 3$0.0040/分
Voxtral Speech 3 (バッチおよびリアルタイム、同一API)$13/1M文字
Mistral Small 4による音声エージェントAPI(推論用)0.04$/分
その他の推論モデルによる音声エージェントAPI0.08$/分

フルスタックをオンプレミスまたはプライベートクラウドで実行するには、当社のチームにお問い合わせください。