HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: エージェントセッションのプロダクトアナリティクス(および評価)をMCP上で提供

Show HN: Product analytics (and evals) for agent sessions on your MCP (armature.tech)

33 pointsby screm2 コメント

要約

Armatureは、MCP(Managed Cloud Platform)ツール呼び出しのエージェントセッション全体を再構築し、ユーザーの意図やエージェントの思考プロセスを可視化するプロダクトアナリティクスを提供します。SDKを数行追加するだけで、セッションの再構築、人気ユースケースのランキング、エージェントが遭遇する頻繁な問題の特定が可能になります。これにより、開発者はユーザー体験を深く理解し、改善につなげることができます。

全文翻訳

HNの皆さん、こんにちは!Armature(YC P26)の創業者であるTheodoreとLouisです。私たちは、受け取るMCPツールの呼び出しの背後にあるセッション全体を再構築し、ユーザーがエージェントに何を依頼したか、そしてエージェントが何を考えたかを含めて分析します。

3行のコード(TypeScript、Python、GoでSDKが利用可能)でMCPをラップするだけで、ダッシュボードで以下の情報が見られるようになります。

  • 再構築された全セッション:まるでClaudeやChatGPT内でユーザーが行った実際の会話を読んでいるかのようです!
  • セッションクラスタリングによって構築された、MCPで最も人気のあるユースケースのランキング
  • ユーザーのエージェントが頻繁に遭遇する問題の特定、それらを修正するために役立ちます。

簡単なデモはこちらです:[動画: https://youtu.be/ZFlvquhyNMQ]

この背景には、当初Armatureをスタンドアロンのテストツールとして立ち上げたことがあります(https://www.ycombinator.com/launches/QQc-armature-making-your-app-finally-usable-by-ai-agents)。これは自然な形でMCP自体を通じて使用できるものでした。しかし、私たちはユーザーがArmature MCPをどのように使用しているのか、満足しているのか、それとも不満を感じているのか、全く把握できていないことにすぐに気づきました。これは、以前の会社でも経験したことです。Louisは数百万人のユーザーに公開されるMCPを構築し、TheoはPalantirでForward Deployed Engineerを務めた後、Datadogのスピンオフ企業でFounding Engineerとして勤務しました。エージェントに製品を公開する際、テストとプロダクトアナリティクスは常に大きな課題でしたが、会話がユーザーのAIクライアント内に存在するため、アナリティクスについてはあまりできることがないと思っていました。

そこで閃きました。なぜエージェントに、なぜそのツール呼び出しを行っているのか尋ねてみたらどうだろう?そして、ユーザーの意図や潜在的な不満は何か?そこで私たちはMCPインストルメンテーションの実験を開始し、そのユースケースは私たちを驚かせました!最初のお客様の多くは、新しいテストをトリガーするためにCIにワークアラウンドを実装していたり、コーディングエージェントが効率的に結果を取得できるようにしていました。最初のお客様とは定期的に話していましたが、彼らはこのフィードバックを私たちに共有したことは一度もありませんでした。その後、ユースケースを自動的にクラスタリングし、頻繁に遭遇する問題を特定し、私たちのコーディングエージェントにそれらを修正させるための自動化を構築しました。CTOの友人たちがこれを聞いたとき、彼らは自分で試したいと言ったので、私たちの内部プロダクトのクローンバージョンへのアクセスを提供したところ、彼らは私たちの「実際の」プロダクトでは決して共有しなかったようなフィードバックを共有し始めました!

そこで、MCPアナリティクスを真剣にプロダクトとして開発することを決意しました。当初はMCPのパフォーマンスが低下するのではないかと恐れていましたが、インストルメンテーションなしの場合と全く同じ成功率(870回の実行のうち、89.17%対89.15%の合格率)に達するまでイテレーションを繰り返しました。次にプライバシーは明白な制約であったため、銀行データの取り扱いやログ内の機密データスキャン構築から学んだのと同じ方法を適用しました。現在、サーバーに到達する前にクライアントサイドでリダクションが実行されます。まだ完全に解決していないこともたくさんあります。すべてのフィールドがすべてのモデルで等しく埋められているわけではない、サーバーレス/ステートレスMCPのセッションフィンガープリンティングは完璧ではない、そしてユースケースクラスタリングは最適化が必要です。

しかし、私たちはついにアナリティクスプロダクトをすべての人に、セルフサービスでhttps://armature.techで公開します。セットアップは5分未満で完了し、寛大な無料ティアも用意されています。

そして今、私たちはループを完全に閉じるために取り組んでおり、評価(evals)を製品に統合することで、以下のことが可能になります。トップのワークフローと問題を特定する -> 修正と改善を推奨する -> 同じワークフローで、すべてのハーネスとモデルを横断してユーザーが実行したテストを大規模に実行する -> 修正を直接出荷するためにPRを開く。評価はセッションアナリティクスから自動生成できるため、すべてのリグレッションを捕捉し、出荷前にすべての改善の効果をすべてのモデルとハーネスでテストできます。

具体例を挙げましょう。10日前、数週間前から私たちが構築したものに早期アクセスしていたあるマーケティングオートメーションプラットフォームは、MCPアナリティクスのおかげで、ユーザーがキャンペーン作成後にターゲットオーディエンスを変更できないことに不満を感じていることを特定しました。そこで彼らはその機能をリリースし、Fable 5上でClaude Codeを使用してローカルでテストすることに成功しました。その後数日後、新しいMCPの公開リリースを準備する際に、彼らはArmatureで一連の評価を実行し、小規模なモデルがaudience_idsを幻覚する可能性があることを発見しました。これにより、MCPはデフォルトで彼らのすべての連絡先にキャンペーンを送信してしまう可能性がありました(これは明らかに本番環境で大惨事を引き起こす可能性があります)。このような話が、私たちが構築しているものが非常に役立つと感じさせてくれるのです!

現在、私たちにとって最も役立つフィードバックは、製品にまだ何が欠けているかを知ることです。それによって、皆さんが「エージェントエクスペリエンス」を完全にコントロールできていると感じられるようになります。そして、本番環境でMCPを実行している場合、私たちはまた知りたいと思っています。現在、エージェントが成功しているかどうか、そしてその背後にいるユーザーが満足しているかどうかを知るために、何をしていますか?