HN 日本語サマリー

← 一覧へ戻る
プログラミング

STT-LLM-TTS音声スタックは終了した

The STT-LLM-TTS voice stack is dead (skeptrune.com)

6 pointsby skeptrune1 コメント

要約

この記事は、音声合成(TTS)と音声認識(STT)を組み合わせた、大規模言語モデル(LLM)ベースの音声スタックの終焉について論じています。従来のLLMベースの音声スタックは、その複雑さとリソース要件から、現代のAI開発のペースに追いつけなくなっていると指摘されています。今後は、より効率的で特化したモデルが主流になると予測されています。

全文翻訳

STT-LLM-TTSボイススタックは死んだ

2026年10月2日、Nick Khami

@layersbio を通じて肌の分析を受けたところ、改善すべき点がいくつか見つかり、処方箋が必要になりました。それらを取得するために予約を取り始めましたが、エージェントが代わりに電話して予約を取ってくれないことにすぐに不満を感じました。そこで自然な流れで、この問題を解決する製品はないかとツイートしました。

[画像: 9月25日の私のツイート:「エージェントに電話して医療予約を取らせたい。これに最適なプロバイダーは誰?」続いて「とにかく動くものが欲しい」]

非常に残念なことに、まだ誰もこれを構築していませんでした。ボイスAI APIを開発したデブツール系の企業からいくつか返信がありましたが、私はマネージドソリューションを求めており、見つけることができませんでした。私と同じように多くのエージェントを使用しているが電話をかけるのが好きではない人が十分にいるだろうと考え、自分でツールを構築する価値があると思い、call4me をローンチしました。収益から判断すると、その直感は正しかったと感じています!

[画像: call4meの初週のStripeダッシュボード:9月26日から10月2日までの総売上高 $610.00、MRR $215.00、純売上高 $574.19]

何をするものか

エージェントに1つのMCP URLを追加します。その後、「歯医者に電話して、来週にクリーニングを予約を変更してほしい。午前中ならいつでもいい」のように言うと、エージェントが残りを処理します。

重要な設計上の決定は、発信者は与えられたことしか言えないということです。患者の生年月日を知らないことに気づくために電話をかけるのはひどい場所です。そのため、ダイヤルする前に、エージェントは通話に必要なすべての情報を収集する必要があります。

  • ビジネスが常に尋ねる情報(氏名、生年月日、電話番号、住所、保険、車)を保存したプロフィール。
  • カテゴリごとの通話ごとの要件。12種類(医療、歯科、レストラン、獣医、自動車サービス、インターネット、航空券変更など)があり、それぞれがそのビジネスの種類が尋ねるフィールドをリストアップしています。

何かが不足している場合、call4me_place_call は「まだ電話していません」と拒否し、ユーザーに尋ねるべきことを正確にリストアップします。エージェントは尋ね、再試行し、それから電話が鳴ります。

通話中、エージェントは進捗状況をポーリングします。ビジネスが発信者の知らないことを尋ねた場合、その質問がエージェントに表示され、エージェントが私に尋ね、私の答えが通話で話されます。ビジネスが私と話すことを主張する場合、私の電話が鳴り、1を押して参加し、スターを押して通話を返します。通話終了後、トランスクリプトから作成された要約がエージェントのコンテキストに記録されます。

アーキテクチャ

agent ──MCP──▶ worker ──POST /v2/calls──▶ Telnyx ──PSTN──▶ business
                  ▲                          │ media stream (μ-law, bidirectional)
                  │ webhooks                 ▼
                  └──────── VoiceSession (Durable Object) ◀──WS──▶ GPT-Live
                                                                    └─ back office (gpt-5.5):
                                                                       end_call · ask_user
                                                                       press_digits · connect_person

すべてCloudflare上で実行されます。サイト、MCPサーバー、API、Webフックはすべて1つのWorkerです。通話は別のWorkerで実行され、各ライブ通話は独自のDurable Objectとなります。D1はアカウント、通話、および追加専用のクレジット台帳を保持します。Stripeが支払い処理を行います。

TelnyxとGPT-Liveは同じオーディオを話す

私が最も満足しているのは、オーディオパスがほとんど何もしていないことです。Telnyx Call Controlが電話をかけ、WebSocket経由で双方向のメディアストリームを開きます。GPT-Liveは、電話回線がすでに運んでいるものと全く同じ、8kHzのG.711 μ-lawでオーディオを受け入れます。そのため、Durable Objectはフレームを双方向に、変更せずにリレーするだけです。

音声認識(Speech-to-Text)のステップも、音声合成(Text-to-Speech)のステップも、リサンプリングもありません。スキップする各ステージは、支払う必要のないレイテンシであり、発生しない障害モードです。ボイスモデルは、保留音や無音も含め、電話回線をそのままの状態で聞きます。

重要な小さな詳細:GPT-Liveセッションは、ダイヤル時ではなく、Telnyxが通話に応答したと伝えたときに開始されます。そうでなければ、モデルは呼び出し音を聞きながら待機し、誰かが回線にいるかどうかで混乱します。

カスケードされたボイススタックではない

ほとんどのボイスエージェントはカスケードされています:音声認識が相手側を文字起こしし、LLMが応答を作成し、音声合成がそれを読み上げます。call4meはそうではありません。オーディオパス上にはGPT-Liveというモデルが1つだけあり、オーディオを聞いてオーディオを直接話します。この後に出てくるテキストモデルは決定を下すだけです。ビジネスと音声の間に入ることは決してありません。

カスケードは、各コンポーネントが交換可能であり、中間のLLMはツールに長けた通常のテキストモデルであるため人気があります。しかし、各ホップはレイテンシを追加し、音声をテキストに変換することは、トーン、ためらい、相手が話している最中に話すこと、保留音と無音の違いなど、言葉以外のすべてを捨ててしまいます。電話では、それらが信号の大部分を占めます。

音声から音声への変換はうまくいきました。割り込みはほとんど自分で処理されます。GPT-Liveは、相手が話しているときに話すのをやめ、私が追加する必要があったのは、モデルがすでに放棄した文章の終わりをビジネスが聞かないように、Telnyxにキューイングされていたオーディオをフラッシュすることだけでした。コストも障害にはなりません:GPT-Liveは1分あたり約5セントで、call4meが請求する1分あたり25セントのわずかな一部です。

本当のトレードオフは、この記事の残りの部分で説明するものです。リアルタイムモデルはテキストモデルほど確実に動作しないため、ツールは使用しません。オーディオを聞いたときにのみ話すため、私が待っている間の無音は、私が埋めるべき問題です。カスケードからの切り替えを検討しているなら、それらが計画すべき2つのことです。

ボイスモデルはツールを持たない

GPT-Liveは会話には優れていますが、副作用を任せるには信頼性に欠けます。そのため、ツールは一切与えられません。代わりに、「バックオフィス」に委任します。これは、世界を変えるすべてのものを所有する通常のResponses APIモデルです。セッション設定は次のようになります。

this.sendLive({
  type: "session.start",
  session: {
    model: "gpt-live-1",
    instructions,
    audio: { format: { type: "audio/pcmu", rate: 8000 }, output: { voice: s.voice } },
    delegation: {
      type: "responses",
      responses: {
        model: "gpt-5.5",
        instructions: s.backOffice,
        tools: BACK_OFFICE_TOOLS, // end_call, ask_user, press_digits, connect_person
        parallel_tool_calls: false,
        reasoning: { effort: "low" },
        text: { verbosity: "low" },
      },
    },
  },
});

バックオフィスが考えている間、音声は話し続けます。ビジネスが「口座名義人の郵便番号はもらえますか?」と尋ね、発信者がそれを持っていない場合、音声は自然なことを言い、バックオフィスはask_userを呼び出します。その質問はMCP経由で私のエージェントに送られ、エージェントが私に尋ね、私の答えが直接ボイスモデルに注入されて大声で話されます。

この分割が製品全体です。高速モデルは会話を処理し、スマートモデルは決定を処理します。

大企業へのほとんどの電話は、まず電話メニューを通過しないと人に繋がりません。これは最も難しい部分であり、ボイスフォルダのコードのほとんどはこれのために存在します。

「2」と声に出しても何も起こらない

最初のバグは面白かったです。メニューが「請求については、2を押してください」と言い、GPT-Liveは自信を持って「2。」と大声で言います。電話メニューはキーパッドしか聞き取らないため、繰り返され、モデルは再び「2。」と言い、メニューが切断されるまでループになります。

ボイスモデルはバックオフィスに委任されることになっていますが、それがpress_digitsを呼び出すはずです。しかし、時にはそれがうまくいきません。委任イベントもなく、エラーもなく、何も実行されません。「すぐに確認します」と言って無音になったり、「さようなら!」と言って実際には切断しなかったりするのと同じです。

モデルを信頼できるものにできなかったため、セッションはトランスクリプト自体を監視します。一連のパターンが電話メニューと話された約束を検出します。

const KEYPAD_MENU = [
  new RegExp(String.raw`\bpress(?:ing)?\s+${KEY}\b`, "i"),
  new RegExp(String.raw`\bdial\s+${KEY}\b`, "i"),
  /\bmenu options\b/i,
  /\bappuyez\b[^.?!]{0,30}\b(?:sur|le)\b/i, // French menus too
];

const PROMISES = [
  /\b(?:let me|lemme) (?:check|see|look|find out)\b/i,
  /\bhang on\b/i,
  /\b(?:good)?bye\b/i,
];

メニューが話し終えた(3秒間の無音)か、発信者が約束をした(1.5秒間)のにハンドオフが続かない場合、セッションは独自にバックオフィスを開始し、何が欠けていたかを伝えます。

行き止まりからの回復

最初のキーを正しく押すだけでは不十分です。メニューは行き止まりにつながります:「入力がありませんでした」、「その選択は無効です」、あるいは最悪の場合、「ウェブサイトをご覧ください」と言って切断されます。

MenuRecoveryクラスは、トランスクリプトとは別に新しいメニューの音声を追跡し、キャリアが受け入れたすべてのキーと、それが応答していたプロンプトを記憶し、失敗フレーズを監視します。メニューが失敗した場合、バックオフィスは完全なキー履歴と1つの確実なルールを受け取ります:機能しなかったルートを繰り返さないこと。メインメニューに戻る、別の質問を試す、担当者を探す。

音声駆動メニューはそれ自体が問題でした。FPLとUPSは、発信者に魔法の言葉を教えるまで約8分間ループしました:担当者と言い、それがうまくいかない場合は、エージェントと言う。

海外で届かないキー入力

Telnyxのsend_dtmfは、帯域外RFC 2833イベントとしてキー入力を送信します。これは米国の電話メニューには機能します。ドバイオペラへの電話では、UAEルートがこれらのイベントをストリッピングしていたため、メニューは繰り返し続けました。

修正は、キャリアにキーを押すように依頼するのをやめ、自分で押すことでした。+1以外の番号については、発信者は現在、実際のキーパッドトーンを自身のオーディオで再生します:キーごとに2つのサイン波、120ミリ秒のトーンと80ミリ秒のギャップ、μ-lawにエンコードされ、アウトゴーイングフレームにスプライスされます。ボイスオーディオ内のトーンは、ボイスを運ぶ任意のルートを通過します。

その他壊れたもの

デプロイがライブ通話を中断させた

Durable Objectはデプロイ時にリセットされることがあります。ローンチ日、すべての通話が途切れたのは、それらのリセットのせいでした。修正は積み重なりました:Telnyxにストリームを再接続するように依頼する20秒のハートビート、トランスクリプトをそのままGPT-Liveに再開させてビジネスに二度挨拶しないようにすること、そして「ピックアップ後4秒でオーディオなし」を失われたストリームとして扱うこと。

本当の修正は、ブログのデプロイがユーザーのデモ通話を途中で切断した後に来ました。通話は現在独自のWorkerで実行され、そのWorkerのデプロイメントスクリプトは、バンドルが実際に変更され、通話がライブでない場合にのみ出荷されます。

私を通話にパッチングする

最初のバージョンでは、私をフルスピーキング権限を持つTelnyxスーパーバイザーとしてダイヤルしました。私のボイスメールが応答し、その挨拶がビジネス回線に再生され、ボイスメールが切断されたのは私が通話を返したように見え、システムは私を再度呼び出しました。ループになりました。

現在は私の電話はリスニング専用で鳴り、参加するには1を押す必要があります。30秒キー入力がない場合、ボイスメールになります。一度参加すると、私のキー入力もビジネスに転送されます。Experianのメニューが私のSSNを尋ねて、私のキーパッドが何も機能しなかったときに、それを苦労して見つけました。

私を待っている間の無音

ボイスモデルは、何かを聞いたときにのみ話します。そのため、ワンタイムコードを尋ねて私の返答を待っているとき、回線が切断されました。Spectrumの担当者は41秒の無音を聞いていました。現在、約15秒ごとに、発信者は「すみません、確認中です、少々お待ちください」と言って、返答が来るまで待ちます。

これを構築する人に伝えたいこと

  • 可能な限りすべてのオーディオ変換をスキップしてください。 キャリアのコーデックをエンドツーエンドで一致させることで、オーディオパスはシステムの最も退屈な部分になり、まさに望むところです。
  • ボイスと決定を分割してください。 ツールを持つリアルタイムモデルは、最終的には間違ったボタンを押します。推論モデルに委任するリアルタイムモデルは、制御がはるかに簡単です。
  • モデルに行動を委ねず、検証してください。 リポジトリで最も価値のあるコードは、ボイスが何かをすると言ったのにしなかったときに気づくいくつかの正規表現です。
  • ダイヤルする前にすべてを収集してください。 発信者は与えられたことしか言えません。

call4.me で試すことができます。通話は1分あたり25セントで、応答されなかった通話は無料です。