Show HN: エージェントセッションのプロダクトアナリティクス（および評価）をMCP上で提供

皆さん、こんにちは！Armature（YC P26）の創業者であるTheodoreとLouisです。 私たちは、受け取ったMCPツール呼び出しの背後にあるセッション全体を再構築します。これには、ユーザーがエージェントに何を依頼したか、そしてエージェントが何を考えたかが含まれます。 MCPを3行のコードでラップするだけで（SDKはTypescript、Python、Goで利用可能です）、ダッシュボードで以下を確認できるようになります。 - 再構築されたすべてのセッション：まるでClaudeやChatGPT内でユーザーが行った実際の会話を読んでいるかのようです！ - セッションクラスタリングから構築された、MCPで最も人気のあるユースケースのランキング - ユーザーのエージェントが頻繁に遭遇する問題の特定、それらを修正できます。 簡単なデモはこちらです: https://youtu.be/ZFlvquhyNMQ この背景には、当初Armatureをスタンドアロンのテストツールとしてローンチしたことがあります（https://www.ycombinator.com/launches/QQc-armature-making-your-app-finally-usable-by-ai-agents）。これは自然にMCP自体を通じて使用できるものでした。しかし、ユーザーがArmature MCPをどのように使用しているか、満足しているのか、それとも不満を感じているのかを全く把握できていないことにすぐに気づきました。これは、私たちの以前の会社でも経験したことでした。Louisは数百万人のユーザーに公開されたMCPを構築し、TheoはPalantirでForward Deployed Engineerを務めた後、Datadogのスピンオフ企業でFounding Engineerとして参加しました。エージェントに製品を公開する際、テストもプロダクトアナリティクスも常に大きな課題でしたが、会話がユーザーのAIクライアント内に存在するため、アナリティクスについてはあまりできることがないと思っていました。 そこでひらめきました。なぜエージェントに、このツール呼び出しを行った理由を尋ねないのだろうか？そして、ユーザーの意図や潜在的な不満は何か？そこでMCPインストルメンテーションの実験を始めると、ユースケースは私たちを驚かせました！最初のお客様の多くは、CIで新しいテストをトリガーしたり、コーディングエージェントが効率的に結果を取得したりするために、回避策を実装していました。最初のお客様とは定期的に話していましたが、彼らはこのフィードバックを私たちに共有したことはありませんでした。その後、ユースケースを自動的にクラスタリングし、頻繁に遭遇する問題を特定し、私たち自身のコーディングエージェントにそれらを修正させるための自動化を構築しました。CTOの友人たちがこれを聞いたとき、彼ら自身で試したいと言ったので、私たちの内部製品のクローンバージョンへのアクセスを提供したところ、彼らは私たちの「実際の」製品では決して共有しなかったようなフィードバックを共有し始めました！ そこで、MCPアナリティクスを製品として真剣に開発することにしました。当初はMCPパフォーマンスの低下を恐れていましたが、インストルメンテーションなしの場合と全く同じ成功率（870回の実行のうち89.17% vs 89.15%のパス率）に達するまでイテレーションを重ねました。次にプライバシーが明らかな制約となったため、銀行データの取り扱いから学んだ方法や、ログ内の機密データスキャンを構築する際に適用した方法を適用しました。現在、リダクションはサーバーに到達する前にクライアントサイドで実行されます。まだ完全に解明できていないこともたくさんあります。すべてのフィールドがすべてのモデルで等しく埋められているわけではない、サーバーレス/ステートレスMCPのセッションフィンガープリンティングは完璧ではない、そしてユースケースクラスタリングは最適化が必要です。 しかし、私たちはついにアナリティクス製品をすべての人にセルフサービスで提供します。セットアップは5分未満で完了し、寛大な無料ティアも用意しています。 そして今、私たちはループを完全に閉じることに取り組んでおり、評価を製品に戻すことで、以下が可能になります。トップワークフローと問題を特定する → 修正と改善を推奨する → ユーザーが実行したのと同じワークフローで、すべてのハーネスとモデル全体で修正を大規模にテストする → 修正を直接出荷するためにPRを開く。 評価はセッションアナリティクスから自動生成できるため、すべてのリグレッションを捕捉し、出荷前にすべての改善の実際のインパクトをすべてのモデルとハーネス全体でテストできます。 具体例を挙げると：10日前に、数週間前から私たちの製品を早期に利用していたあるマーケティングオートメーションプラットフォームは、MCPアナリティクスのおかげで、ユーザーがキャンペーン作成後にターゲットオーディエンスを変更できないことに不満を感じていることを特定しました。そこで彼らはその機能を出荷し、Fable 5のClaude Codeでローカルでテストを成功させました。その後数日後、新しいMCPの公開リリースを準備する際に、Armatureで一連の評価を実行したところ、小規模なモデルがaudience_idsを誤って生成する可能性があり、その結果、MCPがデフォルトですべての連絡先にキャンペーンを送信してしまう（これは明らかに本番環境で大惨事を引き起こす可能性がある）ことに気づきました。このようなストーリーが、私たちが構築しているものが非常に役立つと感じさせてくれます。 今、私たちにとって最も役立つフィードバックは、私たちの製品にまだ何が欠けているかを知ることです。それによって、あなたが「エージェント体験」を完全にコントロールできていると感じられるようになります。 そして、MCPを本番環境で実行している場合、今日、エージェントが成功しているか、そしてそれらの背後にいるユーザーが幸せかどうかを知るために何をしていますか？