Show HN: CATT 0.2.1: CIでMuse/Instinct風のエージェント/サービスをテストする

HNの皆さん、最近、MuseやInstinctのようなプロプライエタリなアシスタントに対してチームがサービスをテストするのを支援するため、Consumer Agent Testing Toolをオープンソース化しました。私たちは、これらのエージェントが消費するMCP/APIを構築する際のフラストレーションを軽減するために、これを開発しました。

問題：これらのツールに対するテストは困難です！エージェントのメモリとアカウントの状態管理により、エージェントとそれらがやり取りするAPI/MCPの間で、再現可能で信頼性の高い結果を得るための再現性が非常に困難になります。

解決策：CATTを使用すると、開発者はMuseまたはInstinctのエージェント（いずれかの企業とは無関係です）のサロゲートに対してサービスをテストできます。テスターは、サービスの開始条件、承認、および成功条件を定義します。CATTは、エージェントが報告するものと実際に行われたことの違いを比較するために、完全なインタラクション（ツール呼び出し、応答を含む）を記録します。実行は、ローカルビルドまたはCIで、LLMのバックアップあり/なしでテストできます。

CATTは、パーソナルアシスタントのインタラクションの重要な部分をエミュレートするように設計されています。以下の機能が含まれています：

• ツール呼び出しとコマンドラインツールへのアクセス
• サービスアクションのシミュレートされた承認
• 結果の追跡と比較
• 非公式のMuseテンプレートに基づくオプションのMCPプロファイル

異なるアシスタント固有の動作について、私たちが知っていることには限界があるため、ツールは開発者のレビューのために、その仮定を「documented（文書化済み）」、「unofficial（非公式）」、「assumed（仮定）」、「unknown（不明）」としてラベル付けします。これらのアシスタントの内部動作に関する新しい洞察が得られ次第、ツールを最新の状態に保つよう最善を尽くします。これは活発な研究と関心の分野であり、InstinctがWeb検索にExaを使用している方法に関する最近のレポート0が良い例です。

コネクタまたはMCPを構築していますか？もしそうなら、ぜひお聞かせください！アシスタントが首尾一貫性のない動作をしたり、古い情報を使用したり、証拠なしに成功を宣言したりしたことはありますか？他にどのようなテストを追加すべきでしょうか？

始めるのに最適な方法は…コーディングアシスタントをリポジトリに向け、ツールをCIまたはローカルテストパイプラインに統合するように依頼することです！

お役に立てば幸いです！