HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Launch HN: Coasty (YC S26) – コンピュータ使用エージェントのためのAPI

Launch HN: Coasty (YC S26) – An API for computer-use agents (coasty.ai)

39 pointsby nkov4715 コメント

要約

Coastyは、APIを持たないレガシーデスクトップソフトウェアやWebアプリケーション内でワークフローを完了できる、コンピュータ使用エージェントを構築するサービスです。開発者は自然言語でタスクを指示し、エージェントがスクリーンショット、マウス、キーボード入力を通じてインターフェースを操作し、結果を検証して構造化された実行記録を返します。従来のRPAとは異なり、画面の状態を観察して次のアクションを決定するため、インターフェースの変更や予期せぬ状態にも対応できます。

全文翻訳

皆さん、こんにちは HN。

私たちは Coasty (https://coasty.ai/computer-use) の創業者である Nitish と Prateek です。私たちは、APIが利用できないレガシーなデスクトップソフトウェアやウェブアプリケーション内で、ワークフローを完了できるコンピューター操作エージェントを開発しています。

開発者は、私たちのコンシューマーアプリまたはAPIを通じて自然言語でタスクを送信し、マシンまたはブラウザ環境、および関連する認証情報やファイルを指定します。エージェントは、スクリーンショット、マウス、キーボード入力を通じてインターフェースを操作し、結果を検証し、スクリーンショット、アクション、出力、エラーを含む構造化された実行記録を返します。

以下は、レガシーアプリケーションでワークフローを完了するエージェントの生のデモです(モックアップです): https://drive.google.com/file/d/1ZghU_3vsAYhHVz1bsvE0pkvZYk7OUnb1/view?usp=sharing

多くの重要なソフトウェアは、依然として自動化が困難です。医療チームはペイジャーポータルを通じて事前承認を提出し、会計チームはデスクトップアプリケーションにデータを入力し、オペレーションチームは内部システム、スプレッドシート、リモートデスクトップ間で情報を移動させます。これらのアプリケーションの多くはAPIを持たないか、APIが不完全であるか、あるいは統合に数ヶ月かかる場合があります。

一般的な代替手段はRPA(Robotic Process Automation)ですが、これはクリックのシーケンスを記録して再生するものです。インターフェースとワークフローが予測可能であれば機能しますが、ボタンの位置が変わったり、ポップアップが表示されたり、ページ読み込みが遅かったり、アプリケーションが予期しない状態になったりすると、しばしば失敗します。

Coastyは異なるアプローチを採用しています。エージェントは現在の画面を観察し、実行すべきアクションを決定し、それを実行し、次に状態を観察してから続行します。DOMアクセス、アクセシビリティツリー、セレクター、またはアプリケーション固有の統合を必要としないため、同じAPIでブラウザ、リモートデスクトップ、古いWindowsアプリケーションを操作できます。

簡略化されたリクエストは、おおよそ以下のようになります:

  run = coasty.runs.create(
      environment="vm_123",
      task="""
      請求ポータルで患者レコードを開く。
      添付された承認データを入力する。
      メンバーIDまたは処方コードが一致しない場合は送信しない。
      確認番号を返す。
      """,
      files=["authorization.pdf"],
      approval_required=["final_submission"]
  )

レスポンスには、最終ステータス、抽出された出力、リプレイURL、およびタイムスタンプ付きイベントログが含まれます:

  {
    "status": "completed",
    "output": {
      "confirmation_number": "PA-184392"
    },
    "replay_url": "...",
    "events": [
      {
        "type": "verification",
        "field": "member_id",
        "result": "matched"
      }
    ]
  }

APIは、実行を一時停止して人間の承認を求めたり、チェックポイントから再試行したり、ワークフローが予期しなかった条件に遭遇したときに開発者に制御を返したりすることもできます。

私たちは昨年の夏からこの作業を開始しました。モデルがビジョンにおいて改善されているのを見ていましたが、コンピューター操作のデモと、本番ワークフローに必要な信頼性の間にはギャップがあることを常に認識していました。エージェントに一度タスクを完了させることは比較的簡単です。しかし、そのタスクを繰り返し実行させ、予期しない状態から回復させ、誤ったデータをサイレントに入力するのを避け、実行したことの証拠を生成させることは、はるかに困難です。

基盤となるコンピューター操作モデルの周りに、いくつかのレイヤーを構築しました。システムはワークフローの期待される状態を追跡し、アプリケーションがその状態から逸脱したときに検出し、盲目的に続行するのではなく再計画することができます。開発者は、「患者名はソースドキュメントと一致しなければならない」や「承認なしでは決して送信しない」といった不変条件を定義でき、エージェントは実行中にこれらの条件をチェックします。

各実行は、分離された仮想マシンで行われます。環境のプロビジョニング、ファイルのアップロード、タスクの開始、イベントのストリーミング、人間の承認の挿入、および完全なリプレイと監査証跡の取得のためのAPIを公開しています。アプリケーションに長いログインフローや永続的なローカル状態がある場合、環境は実行間で維持しておくことができます。

まだ取り組んでいる問題の1つは、速度と信頼性のトレードオフです。エージェントは、観測と検証ステップを少なくすることでより速く動作できますが、患者記録、支払い、または規制当局への提出を伴うワークフローではリスクが高まります。現在、より多くのチェックを伴う遅い実行を優先しており、開発者が承認ポイントと検証ポリシーを設定できるようにしています。

私たちは当初、医療オペレーションチームと協力しています。彼らのワークフローは、ペイジャーポータル、EHR、PDF、スプレッドシート、リモートデスクトップ、そして静かな間違いが高価になるアクションなど、最も困難な条件の多くを組み合わせています。また、独自の剤や垂直自動化製品を構築しているチームのために、同じインフラストラクチャを開発者APIを通じて公開しています。

現在、エージェントの実行時間とワークフローの量に基づいて課金しており、専用環境とエンタープライズデプロイメントには別途料金を設定しています。

特に、ブラウザエージェント、RPAシステム、デスクトップ自動化、またはエージェントインフラストラクチャを構築または使用したことがある方からのフィードバックをいただけると幸いです。APIのどの部分を直接制御したいか、どの部分でより高レベルな抽象化を好むか、そしてご自身の自動化システムで最も困難だった障害モードは何か、知りたいと思っています。

このようなソフトウェアの自動化で奇妙な障害モードに遭遇したことがあるなら、ぜひ教えてください。一日中、質問に答えたりメモを取ったりします!