Show HN: AIエージェントにクリック箇所を示すオン・スクリーンガイドを提供する

皆さん、こんにちは。Frigade（YC W23）の共同創業者であるChristianです。多くのインアプリAIエージェントは、自身が存在する製品を実際に理解するのに苦労していることに気づきました。

例えば、ユーザーが特定のSaaS製品で何かを行う方法をエージェントに尋ねたとしましょう。理想的なケースでは、そのエージェントがタスクを実行するツールを持っていると返答し、ユーザーのためにその作業を完全に自動化してくれるかもしれません。それは素晴らしい結果です。

しかし、そうでない場合もよくあります。その特定のタスクに対するツールコールがない場合や、ユーザーの質問が特定のUIワークフローやインターフェースで解決するのが最も良い場合があります。このような場合、多くのエージェントは基本的なRAG（Retrieval-Augmented Generation）をヘルプセンターにフォールバックするか、時には自身の製品を理解するためにインターネットを検索することさえあります。これは非常に遅いプロセスになる可能性があり、ほとんどの場合、製品は進化のスピードが速いため、ヘルプセンターの記事は時代遅れになっています。さらに悪いことに、長い箇条書きを読んで、それをUIにマッピングするのが好きな人はいません。

私のツール（Assist API）は、次のように定義された単一のツールコールでこのギャップを解決します。

  const frigade_guide_tool = {
    description: 'Call this tool to answer product questions or guide the user through a task.',
    parameters: {
      query: {
        type: 'string',
        description: 'What the user is asking or wants to do',
      },
    },
    run: ({ query }) => frigade.assist({ query }),
  }

Vercel AI SDKでセットアップする方法のデモを録画しました。こちらをご覧ください：https://www.youtube.com/watch?v=9WQ0UbLjC6I

ツールが呼び出されると、次のことを行います。

1. ユーザーが画面で何を見ているか、権限、フィーチャーフラグなどのコンテキストを収集します。その後、次のいずれかを行います。

2a) 解決可能な場合：特定の問題を修正する方法のオン・スクリーン・ガイドを生成します。

2b) 概念的な場合：親エージェントに問題を解決する方法を説明するテキストを返します。

2c) 拒否（つまり、支援できない）。

ツールはどのようにして何をするかを知るのでしょうか？

ツールは、ブラウザベースのエージェントを使用して、特定のアプリケーションUIを学習します。ソフトウェア（ステージングまたはプレビュー）にテストアカウントを提供すると、ブラウザエージェントがログインし、製品全体を探索します。その後、アプリケーションがどのように機能するか独自のマップを作成し、製品関連の質問やUIでAからBへ移動する方法についてクエリを実行できます。また、このマップから独自のドキュメントを作成します。エージェントはスケジュールで再実行されるか、CI/CDを通じてトリガーできます。

ドキュメントと詳細はこちら：https://frigade.com/assist-api