AI・機械学習
HN投稿: Webアプリをエージェントツールにリバースエンジニアリングする
Show HN: Reverse-engineering web apps into agent tools
要約
この投稿では、認証済みのWebアプリ内で動作し、アプリ自身のAPI呼び出しを監視して自動的にエージェントツールに変換するブラウザベースのエージェントが紹介されています。このエージェントは、既存のWebアプリケーションのAPIを学習し、それらをLLMが利用できる「レシピ」として生成することで、最小限の労力でAIアシスタントを製品に深く統合することを可能にします。これにより、コードのメンテナンスなしに、より高度で高速なアプリケーション操作が実現します。
全文翻訳
HNの皆さん、こんにちは!認証済みのWebアプリ内で動作し、アプリが自身のAPIをどのように呼び出すかを監視し、それらを自動的にエージェントツールに変換するブラウザベースのエージェントを構築しました。これは、ホストアプリが変更されても自己更新される、自動生成されたMCPサーバーと考えてください。
その結果、最小限の労力で、チャットやRAGだけでなく、あらゆる製品に深く統合できる、熟練したAIアシスタントが生まれます。
以下の短いデモで、おそらく皆さんがよく知っているソフトウェアでエージェントがどのように動作するかをご覧ください。
- Jira: https://demo.frigade.com/hn?skill=jira
- Spotify: https://demo.frigade.com/hn?skill=spotify
- Hacker News (笑): https://demo.frigade.com/hn?skill=hackernews
- フルデモ: https://demo.frigade.com/hn?skill=full-demo
例で見られるように、ポイント&クリックで通常できることよりも、はるかに多くのこと(そしてより速く)ができます。そして、私たちはこれらの製品のソースコードに一切触れていません!
なぜこれを行うのか?
理想的な世界では、すべてのアプリケーションにMCPサーバーまたはAIエージェントが利用できる、消化しやすいAPIが用意されているはずです。実際には、非常にモダンなソフトウェアでさえ、AIエージェントがそのままでは使用できない、混乱したAPIとサービスのクモの巣を持っていることがわかりました。セキュリティも大きな問題となります。なぜなら、アプリケーションはエンドポイントの保護方法について、さまざまな(しばしば自社開発の)標準(JWT/Cookie/両方の組み合わせ)を持っているからです。最後に、実際のブラウザエージェントがユーザーの代わりにアプリケーションを使用して(つまり、コンピューターの使用)、あまりにも脆く、遅く、そして多くのトークンを消費します。
私たちは、既に認証済みアプリケーションの使用と学習に訓練された既存のブラウザエージェントを使用し、アプリの認証済みAPIを「レシピ」に自動的に変換する追加ステップを追加しました。レシピは以下の要素の組み合わせです。
- APIエンドポイント + メソッド
- 認証方法(およびリフレッシュ認証トークン/Cookieの取得方法)
- レスポンススキーマ
- 入力スキーマ(POST/PUTの場合)
- ツールが何をするかの人間が読める説明
これらをすべて組み合わせることで、コードを記述または維持することなく、LLMのための再利用可能なツールになります。APIが変更されても、私たちのエージェントはそれを検出し、ツールのレシピを更新されたバージョンに置き換えます。
このようにして、AIエージェントにツールを追加するのは非常に簡単になります。
- 私たちのエージェントはアプリでトレーニングを行い、レシピを構築します。
- アプリの所有者は、ダッシュボードから検出されたツールを有効にします。
- エージェントは、サードパーティを介さずに、ユーザーの代わりに直接アプリケーション内でアクションを実行できるようになります。例えば、「ワークスペースにチームメイトを招待して」と言うと、プロキシやサードパーティを介さずに、ユーザーを招待するための既存のAPIエンドポイントが安全に呼び出されます。
もちろん、これを試みるときに遭遇するエッジケースはたくさんあります。多くの「標準」が存在するにもかかわらず、すべてのアプリケーションは本質的に異なります。豆知識:graphqlは、レシピの標準化において最も扱いにくいAPIでした。
フィードバック/コメントを楽しみにしています!