Launch HN: Agnost AI (YC S26) – エージェント会話からユーザーフィードバックを抽出
Launch HN: Agnost AI (YC S26) – Extract user feedback from agent conversations (agnost.ai)
要約
Agnost AIは、チャットおよび音声エージェントを構築するチーム向けのプロダクト分析ツールです。会話を読み込み、ユーザーがエージェントに不満を感じる行動(例: 激しいプロンプト、同じ要求の繰り返し、エージェントの修正、機能不足の質問、成功した回答後の離脱)を特定します。これにより、開発者はユーザー体験の改善に必要なインサイトを得ることができます。
全文翻訳
皆さん、こんにちは HN。
私たちは Shubham と Parth です。幼馴染で、Agnost AI (https://agnost.ai) を開発しています。これは、チャットや音声エージェントを構築するチーム向けのプロダクト分析ツールです。
私たちは本番環境の会話を読み込み、ユーザーがエージェントに苛立って(罵倒して)いる、同じリクエストを繰り返し言い換えている、エージェントを訂正している、機能不足を訴えている、あるいは技術的には成功した回答を得た後でも離脱している、といった行動上の失敗を発見します。
サインアップ不要のインタラクティブデモはこちらです: https://app.agnost.ai?demo=true
デモ動画はこちらです: https://www.tella.tv/video/agnost-ai-launch-hn-demo-9haa
根本的な問題は、チャットや音声プロダクトがウェブアプリと同じようなメトリクスを持っていないことです。プロダクトのインターフェースが言語である場合、クリック数やファネル分析はあまり役に立たなくなります。また、ユーザーは明示的なフィードバックをめったに与えず、与えたとしても通常は丁寧な言葉遣いです。私自身、Claude や Codex で /feedback と入力することはほとんどありません。ほとんどのユーザーはただ罵倒したり、もう一度尋ねたり、エージェントを訂正したり、あるいは離脱したりします。そのため、プロダクトエンジニアはレイテンシ、エラー、トレースから技術的な可視性を得られますが、ユーザーが求めているものを得られたかどうかは推測するしかありません。
私たちはこの分野に1年間取り組んできた後、AIアシスタントを構築している数人の創業者から、AIアシスタント向けの会話分析ツールのようなものを求めていると依頼されたことから、この事業を始めました。
私たちは、オブザーバビリティやエバリュエーションの分野を目指しているわけではありません。オブザーバビリティは技術的に何が起こったかを示します。エバリュエーションは、すでにわかっているケースを検証します。私たちは、ユーザーが何を求めていたか、どこでフラストレーションを感じたか、何を繰り返し求めていたか、そしてどのような新しいエバリュエーションが存在すべきか、といった発見の側面に重点を置いています。
チームは、SDK または OTel を介してエージェントの会話メッセージを私たちに送信します。オプションで、アカウント、プラン、ソース、組織などのメタデータも一緒に送信されます。私たちは会話をプロダクト固有のインテントにクラスタリングします。機能リクエストやバグはデフォルトのカテゴリです。その他のほとんどのクラスタは、顧客のデータから動的に作成され、時間とともに進化します。プレーンな英語で独自のクラスタを作成することもできます。クラスタが広くなりすぎた場合は分割します。新しいパターンが現れた場合は、それを提案します。
あるAI動画編集会社は、Agnost AI を使用してチャット内に隠された機能リクエストを発見しました。最も大きなものは、約70人のユーザーが自動字幕を求めていたことでした。しかし、ユーザーはそれを「このフレームにこのテキストを追加して」と1回のセッションで12回、「キャプションを付けて」「音声のトランスクリプトをください」といったバリエーションで、様々な言語で表現していました。その後、そのチームはその機能を作成しました。
当初、数百万件のメッセージをLLMにすべて送信することなくこれを実行することが困難な部分でした。ClickHouse では、「会話をまたいだ直近50件のイベントを時間順に取得する」と「この会話内の全イベントを取得する」では異なるソート順が必要となるため、ソートキー、パーティション、マテリアライズされたビュー、プロジェクションについて多くのイテレーションを繰り返す必要がありました。
新しいクラスタを見つけるために、すべてをLLMに送信するのは遅すぎ、コストもかかりました。HDBSCAN スタイルの埋め込みクラスタリングも、ペアワイズ比較のためにスケールさせると問題が発生します。私たちはまず、コサインドリフトに基づいて会話をセグメントに分割し、BIRCH を使用して候補空間を圧縮し、その後、より小さなセットに対して HDBSCAN ライクなクラスタリングを実行します。既存のクラスタをマッチングするためには、埋め込み、より小さな分類器/BERT スタイルのモデルを使用し、曖昧なケースのみ LLM をフォールバックとして使用します。
私たちは複数の企業で稼働しており、1日あたり約100万件のチャットおよび音声メッセージを取り込んでいます。価格は公開されており、Starter は無料、Pro は月額499ドル、Enterprise はより高ボリューム、セキュリティ、保持ニーズに対応します。各顧客のデータは、その顧客のためだけにのみ使用します。私たちは SOC 2 Type 1 に準拠しており、Type 2 は現在進行中です。SDK は PyPI と npm で利用可能です。
HN コミュニティやチャットまたは音声エージェントを構築している方々からのフィードバックを歓迎します。現在、これらのシグナルをどのように検出していますか?どのようなフィードバック手法が有効でしたか?また、このツールを試す上で障害となることは何でしょうか?質問や批判には喜んでお答えします。