Show HN: AIエージェントにクリック箇所を示すオン・スクリーンガイドを提供する

皆さん、こんにちは。私はFrigade（YC W23）の共同創業者であるChristianです。多くのインアプリAIエージェントが、自身が存在する製品を実際に理解するのに苦労していることに気づきました。 例えば、ユーザーが特定のSaaS製品で何かを行う方法をエージェントに尋ねたとしましょう。理想的なケースでは、そのエージェントがタスクを実行するツールを持っていると返答し、その作業を完全に自動化してくれるかもしれません。それは素晴らしい結果です。 しかし、そうでない場合もよくあります。その特定のタスクにツールコールがない場合や、ユーザーの質問が特定のUIワークフローやインターフェースで最もよく解決される場合があります。このような場合、多くのエージェントは基本的なRAG（Retrieval-Augmented Generation）をヘルプセンターに対して行うか、時には自身の製品を理解するためにインターネットを検索することに頼りがちです。これは非常に遅いプロセスになる可能性があり、ほとんどの場合、製品は進化してもヘルプセンターの記事はそれについていけず、時代遅れになっています。さらに悪いことに、長い箇条書きを読んで、それをUIにマッピングすることを好む人はいません。 私のツール（Assist API）は、次のように定義された単一のツールコールでこのギャップを解決します。 <pre><code> const frigade_guide_tool = { description: '製品の質問に答えたり、タスクを通じてユーザーをガイドしたりするためにこのツールを呼び出してください。', parameters: { query: { type: 'string', description: 'ユーザーが尋ねていること、またはやりたいこと', }, }, run: ({ query }) => frigade.assist({ query }), } </code></pre> Vercel AI SDKでこれを設定する方法のデモを録画しました： https://www.youtube.com/watch?v=9WQ0UbLjC6I ツールが呼び出されると、次のようになります。 1) ユーザーが画面で見ているもの、権限、フィーチャーフラグなどのコンテキストを収集します。その後、以下のいずれかを行います。 2a) 解決可能な場合：特定の問題を修正する方法についてのオン・スクリーンガイドを生成します。 2b) 概念的な場合：親エージェントに問題の解決方法を説明するテキストを返します。 2c) 拒否（つまり、支援できない）。 ツールはどうやって何をするかを知るのでしょうか？ ツールは、ブラウザベースのエージェントを使用して、特定のアプリケーションUIを学習します。テストアカウントをソフトウェア（ステージングまたはプレビュー）に提供すると、ブラウザエージェントがログインし、製品全体を探索します。その後、アプリケーションがどのように機能するか独自のマップを作成し、製品に関するあらゆる質問や、UIでAからBへ移動する方法についてクエリできるようになります。また、このマップから独自のドキュメントを作成します。エージェントはスケジュールに基づいて再実行されるか、CI/CDを通じてトリガーできます。 ドキュメントと詳細はこちら： https://frigade.com/assist-api