Launch HN: Speko (YC S26) – 音声AIのためのOpenRouter
Launch HN: Speko (YC S26) – OpenRouter for Voice AI (speko.ai)
要約
Spekoは、音声認識(STT)、LLM、音声合成(TTS)モデルの最適な組み合わせを、ユーザーの制約条件(精度、レイテンシ、コストなど)に基づいて見つけ出すプラットフォームです。このサービスは、音声エージェントが最新ではないモデルを使用し続けるという問題を解決し、API経由でモデルの評価と切り替えを自動化します。Spekoは、公開されたベンチマーク、オープンソースのゲートウェイ、および従量課金モデルを提供しています。
全文翻訳
皆さん、こんにちは HN!私は Speko の創業者である Bek です。Speko は、お客様の制約条件に基づいて、公開されているベンチマーク済みのオプションの中から、Speech-to-Text、LLM、Text-to-Speech モデルの最適な組み合わせを見つけ出し、その理由を提示するプラットフォームです。
デモ: https://www.youtube.com/watch?v=no2LY2gRh-c
典型的なプロダクション音声エージェントは、STT、LLM、TTS の 3 つのモデルのアンサンブルで構成されます。
これらの各レイヤーには、数十の信頼できるベンダーが存在し、毎月新しいモデルが登場しています。ほとんどのチームは一度評価を行い、好みのスタックを選択すると、それ以降は再確認しません。なぜなら、ベンダーを切り替えるには新たな統合作業と、数値に関する議論が必要になるからです。
その結果、より高性能で安価なオプションが存在するにもかかわらず、前四半期のモデルで稼働している音声エージェントを使用し続けることになります。
Speko を創業する前、私は 4 年間、アジアで 10 以上の言語に対応するエンタープライズ向け音声エージェントを構築する共同創業者兼 CTO として活動していました。新しい音声モデルが登場するたびに、私たちは同じ儀式を繰り返していました。ネイティブスピーカーの評価者を雇い、既存のスタックと比較してベンチマークを行い、改善が見られればプロダクションを更新していました。Speko はこのプロセスを API 化します。1 日に数千件の通話を行うチームは、「このダッシュボードにアクセスしてモデルを切り替えるだけで、それが自動的に行ってくれる」と述べています。
仕組み: 最適化基準(精度、レイテンシ、コスト、またはバランス)、言語、地域を指定してリクエストを送信します。ルーターは、指定された制約条件の組み合わせに対して測定済みのモデルをフィルタリングし、それらをベンチマークして最適なものを選択し、プロバイダー、モデル名、スコアを含むヘッダー付きの応答を返します。ゲートウェイは署名されたセッションプランをプリフェッチするため、新しいセッションはメモリから直接プロバイダーに接続されます。通話者が待機している間にコントロールプレーンの往復は発生しません。
フェイルオーバーは接続設定段階でのみ発生します。プロバイダーが接続試行を拒否した場合、次点のランナーアップへの接続を開始します。
顧客事例の一部: 何を選択すべきか全く分からなかった創業者に、ユースケースを提示してもらったところ、現在ではすべてプラットフォーム経由でルーティングされています。あるプロパティ管理 AI は LiveKit を Python で実行しており、ローンチ以来 STT や TTS を更新していませんでしたが、通話における STT のエラー率が高いこと、より良いオプションが存在すること、そして切り替えは常に R&D プロジェクトのように見えていたことに気づいていませんでした。あるチームは、スペイン語に適したモデルがどれか分かりませんでした。医療チームは、どの STT が医療用語を最もよく処理できるかを知りませんでした。これらのすべてのケースで、ベンチマークから適切なスタックを見つけるのを支援し、現在では私たち経由でルーティングされています。
測定部分は公開されています。私たちは、異なる日付の実行で、同じ入力を 1 つの地域内のすべてのモデルに渡し、私たちの選択が代替案よりも劣る場合の結果を含むボードを公開しています。30 秒のクリップのどちらがより良く聞こえるかという起動デモとは異なり、プロダクションでは 8 分間の会話にどのモデルが耐えられるかを問うため、私たちは自発的なスピーチ、お金や日付、10 分間の録音をテストし、ランキングは変化します。私たちは、ブラインドのヘッドツーヘッドリスニング投票に基づいて、TTS の自然さを自動評価するスコアラーをトレーニングしました。投票を見たことのないプロバイダーに対しても、評価者が互いに同意する頻度と同じくらいの頻度で、私たちの評価者と同じ勝者を選びます。
私たちはモデル自体をトレーニングしたり販売したりしません。それが、私たちのランキングが公平である理由です。
また、オーディオパスでの追加のネットワークホップを避けたいチームや、私たちのクラウドとキーを共有したくないチームのためにゲートウェイをオープンソース化しました(https://github.com/SpekoAI/gateway, MIT ライセンス)。これは、お客様のエージェントコンテナ内でサイドカーとして実行される単一の Go バイナリで、Unix ソケット経由でローカルプロトコルを話し、プロバイダーホストをピン留めし、お客様のキーをアタッチします。BYOK モードでは、私たちとは一切通信しません。
匿名でコンテンツを含まないテレメトリはデフォルトで有効になっており、環境変数 1 つで無効にできます。
コスト: ゲートウェイと BYOK セットアップは永久に無料です。ホストされたルーターと統合請求によるマネージドキーに対して料金を請求します。6 月下旬にバッチを開始して以来、外部利用は平均して週に約 25% 増加しており、ローンチ週に集中しています。
コミュニティからのフィードバックをいただけると幸いです。皆さんは現在、音声モデルをどのように選択していますか?また、サードパーティのベンチマークをどのように信頼していますか?