LLMのテールレイテンシに対するシンプルな修正策
A simple fix for LLM tail latency (engineering.myhoai.com)
要約
リアルタイム用途でLLMの応答が遅い場合、より高価なサービスティアへのアップグレードを検討しがちですが、よりシンプルな解決策があります。それは、すべてのリクエストを2回送信し、より速い応答を採用するというものです。この手法は、特に音声エージェントのような対話型アプリケーションにおいて、高価な優先サービスティアよりも優れたレイテンシ性能とコスト効率を実現できることが実験で示されました。
全文翻訳
LLMのテールレイテンシに対するシンプルな解決策
LLMの応答がリアルタイムユースケースにとって遅すぎる場合、より高速なサービスティアのためにコストを倍にする誘惑に駆られるかもしれません。AnthropicのPriority tier、OpenAIのpriority processing、Geminiのpriority inferenceなど、LLMプロバイダーが何と呼んでいようとも、よりシンプルな解決策があります。それは、すべてのリクエストを2回送信し、より速い方の応答を採用することです。
ボイスエージェントにとってテールレイテンシが重要な理由
HOAiのボイスエージェントは電話応対を行います。会話の各ターンでLLMリクエストが発生します。ほとんどの応答は1.5秒以内に返ってきますが、時折10秒から20秒かかることがあります。電話応対では、これは10秒間の気まずい沈黙を意味し、十分な沈黙の後には、発信者はエージェントを切電してしまいます。
これはあなたが思うよりも頻繁に起こります。通常の電話応対には20〜30ターンの会話があります。LLMリクエストの1%が壊滅的に遅い場合、25ターンの通話では約22%の確率で長い沈黙が発生します。
Priority tier vs. リクエストを2回送信する
私たちには2つの選択肢がありました。
- OpenAIのpriority tierにアップグレードし、より高速で一貫性のある応答のためにトークンあたりのコストを2倍にする。
- 標準ティアにとどまり、各リクエストを2回送信し、より速い応答を採用する。
私たちは、両方のセットアップに対して50件の実際のプロダクションリクエストを再生し、2つのメトリクスを追跡しました。最初のトークンまでの時間(エージェントが話し始める時間)と、応答完了までの時間(ツール呼び出しを実行できる時間)です。
最初のトークンまでの時間:
| Priority tier | Standard tier, sent twice | |
|---|---|---|
| median | 0.61s | 0.58s |
| p95 | 1.04s | 0.68s |
| p99 | 4.2s | 1.2s |
応答完了までの時間:
| Priority tier | Standard tier, sent twice | |
|---|---|---|
| median | 1.35s | 1.35s |
| p95 | 3.4s | 2.0s |
| p99 | 9.8s | 3.5s |
| worst | 9.8s | 3.5s |
リクエストを2回送信する方が、priority tierを明らかに上回りました。応答完了までの最悪時間は9.8秒から3.5秒に減少しました。最初のトークンまでの最悪時間も4.2秒から1.2秒に減少しました。個々のリクエストあたりの標準ティアは遅いにもかかわらず、メディアンでさえpriority tierと全く同じでした。
これは、遅い応答が稀で独立している場合に機能します。リクエストを2回送信すると、同じターンで両方のコピーが遅くなる可能性は低くなります。これにより、発信者が経験していた10秒間の沈黙が大幅に減少しました。
まとめ
リアルタイムインタラクティブなLLM製品を構築している場合、より高速なサービスティアに料金を支払う前に、リクエストを2回送信することと比較ベンチマークを取ってください。同じコストでより良いレイテンシが得られるかもしれません。