テキスト音声合成モデルを50ミリ秒未満で応答させる方法
How We Made a Text-to-Speech Model Respond in Sub-50 ms (nari-labs.com)
要約
Nari Labsは、Qwen3-TTS 1.7B CustomVoiceの実装により、単一のNVIDIA H100 SXM上で毎秒10リクエスト(RPS)と95パーセンタイルで50ミリ秒未満の初回音声生成時間(TTFA)を達成し、リアルタイム再生を維持することに成功しました。このシステムは、他の主要な実装と比較して大幅に低遅延かつ低コストであり、その実装とベンチマーク結果はオープンソースとして公開されています。
全文翻訳
Qwen3-TTSの速度とコストのフロンティアを押し広げる
TL;DR
当社のQwen3-TTS 1.7B CustomVoice実装は、単一のNVIDIA H100 SXM上で毎秒10リクエスト(RPS)および95パーセンタイル(p95)で50ミリ秒未満の初回音声生成時間(TTFA)を達成し、リアルタイム再生を維持します。
[画像: RPSが増加するにつれてサービングエンジン間のp95聴覚TTFAを比較するベンチマークチャート]
ポアソン分布のオープンループトラフィック下で、当社実装、vLLM-Omni、SGLang-Omni△、VoxServe、M*の5つの実装を比較しました。低遅延ストリーミングのために各実装をチューニングした後、p95 TTFAで50ミリ秒未満を達成したのは当社の実装のみでした。10 RPSまでp95 TTFAを50ミリ秒未満に維持し、20 RPSでも100ミリ秒未満に抑えています。
実装[https://github.com/nari-labs/nari-qwen3-tts]とベンチマーク[https://github.com/nari-labs/benchmarks]をオープンソース化しました。当社の方法論については以下で説明します。
「リアルタイム」TTSの定義
まず、リアルタイムTTSサーバーが達成すべきことについて議論しましょう。これは4つの要素からなる問題だと考えています。
- 低い聴覚TTFA: リクエストのディスパッチから最初の聴覚サンプルまでの時間
- アンダーランゼロ: 再生が開始されたら、クライアントはバッファリングされたオーディオを使い果たしてはならない。
- 容量: 1と2はRPSが増加しても維持されなければならない。
- 不正な出力でない: 音声は聞き取れる必要がある。
私たちは、最も人気のあるTTSモデルの1つであり、寛容なライセンスを持つQwen3-TTS CustomVoice 1.7Bを選択しました。
上記の定義に基づき、単一のNVIDIA H100 SXM上で高RPSを維持しながら、低p95聴覚TTFAとアンダーランゼロを目標とします。
すべてのベンチマークは、Fireworks AIのLLMベンチマーク[https://github.com/fw-ai/benchmark]に従い、リアルなワークロードを近似するためにポアソン分布のオープンループトラフィック下で5分間実行されます。各エンジンは、HTTPリクエスト1件で完全なテキストを受け取りますが、オーディオ出力はストリーミングのままです。聴覚TTFAを検出し、受信したPCMから再生を再構築し、Deepgram STTを使用して完了したオーディオを評価します。
他のエンジンはどのようにパフォーマンスを発揮するか?
以下の表は、各エンジンにおける1 RPSでのアップストリーム/デフォルトの結果を示しています。この実行では互換性のためにのみ変更を加えています。
| Engine | p95 audible TTFA | p95 leading silence | Requests with underruns |
|---|---|---|---|
| vLLM-Omni | 277.883 ms | 90 ms | 100% |
| SGLang-Omni△ | 1,140.69 ms | 80 ms | 0% |
| VoxServe | 315.064 ms | 30 ms | 0% |
| M* | 1,159.956 ms | 90 ms | 0% |
これらのデフォルト設定には、大幅な改善の余地があります。各サービングエンジンを、それぞれの遅延、連続性、品質、および容量の要件に合わせてチューニングします。
1. 先行する無音の除去
モデルから返される最初のPCMには、最初の持続的な音声の前に数十ミリ秒の無音が含まれることがあります。このギャップは、聴覚TTFAを以下のように遅延させます。
[画像: TTS遅延用語の図: 初バイトまでの時間、先行する無音、聴覚TTFA]
動的なトリミングを追加します。これは、短いRMSウィンドウから持続的な音声を検出し、開始前のサンプルを削除し、残りのオーディオを通常通りストリーミングします。この変更によりTTFAは約80ms改善しますが、モデル推論自体が速くなるわけではありません。
2. フレーム蓄積のチューニング
デコードしてオーディオチャンクをリリースする前に、いくつのコーデックフレームを収集するかについてもチューニングします。
初期チャンクが小さいほどTTFAは短縮されますが、再生ヘッドルームは少なくなり、デコーダーの作業頻度が増加します。チャンクが大きいほどバッチ処理が容易になり、連続再生が安全になりますが、最初の聴覚出力が遅延します。したがって、有用な構成は、小さいチャンクから始まり、後続の出力のためにチャンクサイズを増加させることから始まります。
正確な設定はエンジンによって異なります。vLLM-Omniはcodec_chunk_framesやcodec_chunk_rampなどの設定を公開しています。他のエンジンは同等のチャンクまたはストライド制御を提供します。これらの値を繰り返し試して、低p95 TTFA、アンダーランゼロ、および負荷増加時の安定した動作に最も適した構成を見つけます。
チューニング後の既存サービングエンジンのパフォーマンス
以下の表は、先行無音およびフレーム蓄積チューニング後の、各エンジンにおける選択されたアンダーランゼロプロファイルを示しています。
| Engine | p95 TTFA (1 RPS) | p95 TTFA (6 RPS) |
|---|---|---|
| vLLM-Omni | 56.815 ms | 93.451 ms |
| SGLang-Omni△ | 120.879 ms | 273.700 ms |
| VoxServe | 49.3 ms | 363.2 ms |
| M* | 104.035 ms | 179.501 ms |
VoxServeは1 RPSで50ミリ秒未満のp95 TTFAに到達しますが、他の3つのエンジンは到達しません。約6 RPSになると、すべてのエンジンがp95 TTFAで約100ミリ秒以上になります1。
Qwen3-TTSを最適化した方法
まず、Qwen3-TTSのアーキテクチャを理解する必要があります。これは、階層的なマルチコードブック生成を実行する3つの部分からなるモデルです。Talkerは各オーディオフレームの最初のコードブックトークンを予測し、Code Predictorは残りの15個のコードブックトークンを生成し、因果的なCodecはコードブックトークンを波形サンプルに変換します。
各モジュールは独自の計算プロファイル、バッチ処理動作、および遅延要件を持っています。各モジュールを個別に最適化するのではなく、より広範な質問に焦点を当てます。それは、サービングシステムがこれらの異種タスクをどのように調整すべきかということです。
1. 3つのモジュールを1つのスケジューラの下に統合
ほとんどのQwen3-TTSサービング実装は2つのステージに分かれています。TalkerとCode Predictorは一緒に実行され、Codecは別々に実行されます。この分離により、トークン生成と波形デコードがリクエスト間でオーバーラップできるようになります。
私たちはこれをさらに進めます。Talker、Code Predictor、およびCodecを3つの独立してスケジューリング可能なタスクとして公開します。重要なのは、単にそれらを部分に分割することではなく、すべてを1つのスケジューラによって管理される共有スケジューリングサーフェスに配置することです。この設計はM*(arXiv)から着想を得ています。
このセットアップでは、スケジューラはTalkerを実行するか、Code Predictorを進めるか、または再生期限が近づいているCodecジョブを優先するかを決定できます。また、同じモジュールを待っているリクエストをバッチ処理することもできます。固定の実行順序に従うのではなく、緊急度に応じて作業を並べ替えることができます。
TalkerとCode Predictorを組み合わせると、中間的な境界がなくなるため、より効率的になるように見えるかもしれません。しかし、結合された操作は、より緊急性の高いCode PredictorまたはCodecジョブをブロックする、プリエンプト不可能な作業単位になる可能性があります。モジュールを分離しておくことで、より短い作業単位が作成され、スケジューラがリクエストをインターリーブする機会が増えます。
2. 音声ストリーミングのニーズに合わせたスケジューリング
音声ストリーミングには、緊急度に関する2つの異なる概念があります。
最初のオーディオチャンクが到着する前は、ミリ秒単位でTTFAが増加するため、このパスを優先する必要があります。しかし、再生が開始されたら、目標が変わります。次のチャンクは、現在のオーディオが再生を終える前に到着するだけでよいのです。それより早く生成しても、ユーザーには目に見える利点はありません。
したがって、最初のオーディオを生成していないリクエストに高い優先度を与えますが、確立されたストリームは再生期限に近づくまで緊急にはなりません。
緊急のリクエストをすべて単独で実行すると、バッチ処理の効率が低下します。代わりに、スケジューラは緊急のリクエストをアンカーとして選択し、残りのバッチを互換性のある作業で満たします。これにより、クリティカルなリクエストが期限を守りつつ、GPUを効果的に活用できます。
このポリシーは、3つのモジュールすべてがスケジューリングサーフェスを共有しているため、スケジューラがパイプラインステージだけでなくリクエストも選択できるため、特にうまく機能します。
3. Code Predictorの規則的な構造の活用
Code Predictorは自己回帰型トランスフォーマーですが、その実行は異常に規則的です。オーディオコードブックを埋めるために、フレームごとに常に固定されたステップ数(15)を実行します。
その固定構造を利用してKVキャッシュを事前割り当てし、フレーム生成ループ全体を単一のCUDAグラフとしてキャプチャします。また、その短く制限されたコンテキストに特化したTritonアテンションカーネルを使用します。
ホスト駆動のシーケンスを固定GPUプログラムに置き換えることで、遅延を削減し、実行システムを簡素化します。
4. キャッシュされた状態を中心にCodecを再構築
Qwen3-TTSのCodecは、トランスフォーマーとCNNで構成されています。次のオーディオチャンクの生成は、トランスフォーマーのコンテキストと以前のチャンクからの畳み込み状態の両方に依存します。
ナイーブな実装では、更新ごとに完全なフレーム履歴を再処理し、発話が長くなるにつれて古いオーディオを繰り返しデコードします。
これを回避するために、状態キャッシュベースのCodecを使用します。各リクエストは、次のチャンクに必要なトランスフォーマーコンテキストと畳み込み状態を保持します。増分デコーディングは、このキャッシュされた状態を再利用し、完全な履歴を再生する代わりに、新しく到着したフレームのみを処理します。
最初のフレームから状態キャッシュを初期化するとオーバーヘッドが発生し、TTFAが悪化します。そのため、最初のオーディオには完全なデコードを使用し、その後、効率的な持続再生のために状態キャッシュされた増分デコーディングに切り替えます。
同様に、リクエストの途中でチャンクサイズを変更します。小さいチャンクは再生を迅速に開始できますが、持続再生中のバッチ処理とGPU効率を向上させます。
5. 追加のサービング最適化
定義済みのバッチサイズセットに対してCUDAグラフをキャプチャします。準備完了したコホートがキャプチャされた最大バッチサイズを超える場合、イーガーモードにフォールバックするのではなく、スケジューリングターンに分割します。
また、不要なCPU-GPU同期を回避します。例えば、EOSが抑制されている間は生成を終了できません。そのため、EOSが有効になるまで終了チェックを延期します。これにより、CPUはGPUを待たずに次の作業を準備および送信できます。
最後に、モジュラー音声対音声システム用の入力ストリーミングをサポートします。アップストリームのLLMがトークンを生成すると、TTSモデルは完全な応答を受け取る前に音声を合成し始めることができ、エンドツーエンドの遅延を削減します。
今後の展望
Qwen3-TTSは、マルチモーダル推論における当社の取り組みの始まりにすぎません。画像、ビデオ、ワールドモデルへのスコープを拡張し、ファインチューニングも計画しています。私たちの究極のビジョンは、リアルタイムのマルチモーダル推論を通じて世界を1対1でシミュレートすることです。
私たちは、マルチモーダルAI研究とインフラストラクチャの専門家チームです。当社のオープンTTSモデル、Diaは200万回以上ダウンロードされ、Hugging Faceで1位を獲得しました。元YCおよび元KRAFTONのエンジニアからなる当社のチームは、NeurIPSやICLRで研究を発表し、3つのIOIおよびICPCワールドファイナル金メダルを獲得しました。Nari LabsはY Combinatorの支援を受けています。
マルチモーダルなことなら何でも一緒に働きたい方は、お気軽にご相談ください。
△ 2026年8月中旬のテスト時点では、SGLang-Omniのアップストリームサポートはまだ不完全でした。GitHub
1 設定ファイル外で行った唯一の変更は、先行無音のトリミングであることに注意してください。当社の努力にもかかわらず、わずかに当社を上回る設定が存在する可能性があります。