Launch HN: Coasty (YC S26) – コンピュータ使用エージェントのためのAPI

皆さん、私たちはCoasty（https://coasty.ai/computer-use）の創設者であるNitishとPrateekです。私たちは、APIを持たないレガシーデスクトップソフトウェアやWebアプリケーション内でワークフローを完了できるコンピュータ使用エージェントを構築しています。 開発者は、コンシューマーアプリまたはAPIを通じてCoastyに自然言語のタスクを送信し、マシンまたはブラウザ環境、および関連する認証情報やファイルを指定します。エージェントは、スクリーンショット、マウス、キーボード入力を通じてインターフェースを操作し、結果を検証して、スクリーンショット、アクション、出力、エラーを含む構造化された実行記録を返します。 レガシーアプリケーションでワークフローを完了するエージェントの生のデモはこちらです（モックアップです）: https://drive.google.com/file/d/1ZghU_3vsAYhHVz1bsvE0pkvZYk7OUnb1/view?usp=sharing 多くの重要なソフトウェアは、依然として自動化が困難です。医療チームはペイヤーポータルを通じて事前承認を提出し、会計チームはデスクトップアプリケーションにデータを入力し、オペレーションチームは内部システム、スプレッドシート、リモートデスクトップ間で情報を移動します。これらのアプリケーションの多くはAPIを持たないか、APIが不完全であるか、または構築に数ヶ月かかる統合を持っています。 通常の代替手段はRPAです。一連のクリックを記録して再生します。これは、インターフェースとワークフローが予測可能であれば機能しますが、ボタンが移動したり、ポップアップが表示されたり、ページが遅く読み込まれたり、アプリケーションが予期しない状態に入ったりすると、しばしば壊れます。 Coastyは異なるアプローチを取ります。エージェントは現在の画面を観察し、どのアクションを取るかを決定し、それを実行し、次に結果の状態を観察してから続行します。DOMアクセス、アクセシビリティツリー、セレクタ、またはアプリケーション固有の統合を必要としないため、同じAPIでブラウザ、リモートデスクトップ、および古いWindowsアプリケーションを操作できます。 簡略化されたリクエストは、おおよそ次のようになります。 <pre><code> run = coasty.runs.create( environment="vm_123", task=""" 請求ポータルで患者レコードを開きます。 添付された承認データを入力します。 メンバーIDまたは処置コードが一致しない場合は送信しないでください。 確認番号を返します。 """, files=["authorization.pdf"], approval_required=["final_submission"] ) </code></pre> レスポンスには、最終ステータス、抽出された出力、リプレイURL、およびタイムスタンプ付きイベントログが含まれます。 <pre><code> { "status": "completed", "output": { "confirmation_number": "PA-184392" }, "replay_url": "...", "events": [ { "type": "verification", "field": "member_id", "result": "matched" } ] } </code></pre> APIは、実行を人間の承認のために一時停止したり、チェックポイントから再試行したり、ワークフローが予期しない条件に遭遇したときに開発者に制御を返したりすることもできます。 私たちは昨年の夏からこれに取り組み始めました。モデルはビジョンにおいて改善されていましたが、コンピュータ使用のデモと本番ワークフローに必要な信頼性の間にはギャップがあるのを見ていました。エージェントに一度タスクを完了させることはかなり簡単です。それを繰り返し実行させ、予期しない状態から回復させ、誤ったデータをサイレントに入力するのを避け、何をしたかの証拠を生成させることは、はるかに困難です。 基盤となるコンピュータ使用モデルの周りにいくつかのレイヤーを構築しました。システムはワークフローの期待される状態を追跡し、アプリケーションがその状態から逸脱したときに検出し、盲目的に続行するのではなく再計画できます。開発者は「患者名はソースドキュメントと一致しなければならない」または「承認なしでは決して送信しない」といった不変条件を定義でき、エージェントは実行中にそれらの条件をチェックします。 各実行は分離された仮想マシンで行われます。環境のプロビジョニング、ファイルのアップロード、タスクの開始、イベントのストリーミング、人間の承認の挿入、および完全なリプレイと監査トレイルの取得のためのAPIを公開しています。アプリケーションに長いログインフローや永続的なローカル状態がある場合、環境は実行間で維持できます。 まだ取り組んでいる問題の一つは、速度と信頼性のトレードオフです。エージェントは、観察と検証ステップを少なくすることでより速く動くことができますが、患者レコード、支払い、または規制当局への提出を含むワークフローではリスクが高まります。現在、より多くのチェックを伴う遅い実行を優先しており、開発者が承認ポイントと検証ポリシーを設定できるようにしています。 私たちは、ペイヤーポータル、EHR、PDF、スプレッドシート、リモートデスクトップ、そして静かな間違いが高価になるアクションなど、最も困難な条件の多くを組み合わせた医療オペレーションチームと初期に協力しています。また、独自のカスタムエージェントや垂直自動化製品を構築するチームのために、同じインフラストラクチャを開発者APIを通じて公開しています。 現在、エージェントの実行時間とワークフローボリュームに基づいて課金しており、専用環境とエンタープライズデプロイメントには別途料金がかかります。 ブラウザエージェント、RPAシステム、デスクトップ自動化、またはエージェントインフラストラクチャを構築または使用したことがある方からのフィードバックを特に歓迎します。APIのどの部分に直接制御を求めたいか、どこでより高レベルの抽象化を好むか、そしてあなたの自動化システムで最も困難だった障害モードは何かを知りたいです。 このようなソフトウェアの自動化で奇妙な障害モードに遭遇したことがあるなら、ぜひ教えてください。一日中質問に答え、メモを取ります！