Launch HN: Agnost AI (YC S26) – エージェント会話からユーザーフィードバックを抽出

HNの皆さん、私たちはShubhamとParthです。幼馴染で、Agnost AI (<a href="https://agnost.ai">https://agnost.ai</a>) を開発しています。これはチャットおよび音声エージェントを構築するチーム向けのプロダクト分析ツールです。 私たちは本番環境の会話を読み込み、ユーザーがエージェントに対して激しいプロンプト（罵倒する）、同じ要求を繰り返し言い換える、エージェントを修正する、不足している機能について尋ねる、あるいは技術的には成功した回答の後でも離脱する、といった行動上の失敗を見つけます。 サインアップ不要のインタラクティブデモはこちらです: <a href="https://app.agnost.ai?demo=true">https://app.agnost.ai?demo=true</a> デモビデオはこちらです: <a href="https://www.tella.tv/video/agnost-ai-launch-hn-demo-9haa" rel="nofollow">https://www.tella.tv/video/agnost-ai-launch-hn-demo-9haa</a> 根本的な問題は、チャットおよび音声製品がWebアプリと同じようなメトリクスを持っていないことです。プロダクトインターフェースが言語である場合、クリック数やファネル分析はあまり有用ではなくなります。ユーザーは明示的なフィードバックをめったに与えず、与えたとしても通常は控えめです。私自身、ClaudeやCodexで「/feedback」と入力することはほとんどありません。ほとんどのユーザーはただ罵倒したり、もう一度尋ねたり、エージェントを修正したり、あるいは離脱したりします。そのため、プロダクトエンジニアはレイテンシ、エラー、トレースから技術的な可視性を得られますが、ユーザーが求めていたものを得られたかどうかは推測するしかありません。 私たちはこの1年間エージェント関連の開発を行ってきて、数人の創業者から、彼らが構築しているAIアシスタント向けの「会話版PostHog」のようなものを求めていると依頼されました。 私たちは、オブザーバビリティや評価（evals）の分野に進出しようとしているわけではありません。オブザーバビリティは技術的に何が起こったかを示します。評価は、すでに知っているケースを検証します。私たちは、ユーザーが何を求めていたか、どこでフラストレーションを感じたか、何を繰り返し求めたか、そしてどのような新しい評価が存在すべきか、といった発見の側面に重点を置いています。 チームはSDKまたはOTel経由でエージェントの会話メッセージを私たちに送信します。オプションで、アカウント、プラン、ソース、組織などのメタデータも一緒に送信されます。私たちは会話をプロダクト固有のインテントにクラスタリングします。機能リクエストとバグはデフォルトのカテゴリです。他のほとんどのクラスタは、顧客のデータから動的に作成され、時間とともに進化します。独自のクラスタをプレーンな英語で作成できます。クラスタが広くなりすぎると、分割します。新しいパターンが現れたら、それを提案します。 あるAIビデオ編集会社は、Agnost AIを使用してチャット内に隠された機能リクエストを発見しました。最も大きなものは、約70人のユーザーが自動字幕を求めていたことですが、ユーザーはそれを1回のセッションで12回「このフレームにこのテキストを追加して」と言い、さらに「キャプションを付けて」「音声のトランスクリプトを教えて」といったバリエーションを言語を跨いで使用していました。その後、チームはその機能を作成しました。 当初、すべてをLLMに送信せずに数百万のメッセージからこれを行うことが困難な部分でした。ClickHouseでは、「会話全体で時間順に最後の50イベントを取得する」と「この会話のすべてのイベントを取得する」では異なるソート順が必要になるため、ソートキー、パーティション、マテリアライズドビュー、プロジェクションを何度も繰り返し調整する必要がありました。 新しいクラスタを見つけるために、すべてをLLMに送信するのは遅すぎ、コストもかかりました。HDBSCANスタイルの埋め込みクラスタリングも、ペアワイズ比較のためにスケールが大きくなると厄介になります。私たちはまず、コサインドリフトに基づいて会話をセグメントに分割し、BIRCHを使用して候補空間を圧縮し、その後、より小さなセットに対してHDBSCANライクなクラスタリングを実行します。既存のクラスタを一致させるために、埋め込み、より小さな分類器/BERTスタイルのモデルを使用し、LLMはあいまいなケースのフォールバックとしてのみ使用します。 私たちは複数の企業と連携しており、現在1日に約100万件のチャットおよび音声メッセージを取り込んでいます。価格は公開されており、Starterは無料、Proは月額499ドル、Enterpriseはより高ボリューム、セキュリティ、保持ニーズに対応しています。お客様のデータは、そのお客様のためにのみ使用します。私たちはSOC 2 Type 1に準拠しており、Type 2は現在進行中です。SDKはPyPIとnpmで利用可能です。 HNコミュニティの皆さんや、チャットまたは音声エージェントを構築している方々からのフィードバックをぜひお聞かせください。皆さんは今日、これらのシグナルをどのように検出していますか？どのようなフィードバック方法がうまくいきましたか？そして、これらを試す上でどのようなことが障壁となりますか？質問や批判には喜んでお答えします。