Launch HN: Momentic (YC W24) – アプリを使ってバグを見つけるエージェント

Launch HN: Momentic (YC W24) – アプリを使ってバグを見つけるエージェント

皆さん、こんにちは。Wei-WeiとJeffです。私たちはMomenticを開発しています。Momenticは、Web、iOS、Android、そして間もなくデスクトップアプリのコントロールやユーザーフローを自律的に計画、探索、バグ発見し、バグを検出するQAエージェントです。

デモはこちらです: https://youtu.be/BFsM-Se1Fh8

私たちは共に、Robinhood、Retool、WeWork、Qualtricsなどの企業で開発ツールやインフラに携わってきたソフトウェアエンジニアです。テストは常に面倒な作業（特にPlaywrightやSelenium）だったので、私たち自身のためにエージェントを構築しました。

現代のソフトウェアには多くのバグがあり、コーディングエージェントの採用が拡大するにつれて、変更失敗率はさらに速く増加しています。LLMはコード生成に非常に優れていますが、自身の仮定を強化し、大量の無駄なテストを作成し、視覚的な理解が苦手です。DeepSWE v1.1では、Sonnet 5.5はテスト作成を禁止された場合、66.2%の合格率を達成しましたが、許可された場合は65.3%でした。

Playwright、Selenium、MaestroなどのOSSのエンドツーエンドテストフレームワークは、テストにXPath、テキスト、aria-*属性のような実装の詳細をハードコードすることを強制します。エージェントを使用しても、これらを構築・維持するにはかなりの時間とトークンが必要です。

2023年、Nat Friedmanがnatbot経由でGPT-3を使ってブラウザを操作するのを見て、この技術を使ってソフトウェアエンジニアリングの最も苦痛で退屈な部分であるテストを自動化することに触発されました。私たちはLLMを使ってPlaywrightを生成・維持することから始めましたが、すぐにそれらのプリミティブがエージェントのSDLC（Software Development Life Cycle）と根本的に一致しないことに気づきました。私たちはQAの未来は、スクリプトを書くことではなく、エージェントが自身をテストすることだと考えています。

Moは、Momenticの過去3年間の経験と複雑で実世界のアプリケーションから得られた数百万のテストトレースを基盤とした、バグ検出のためのカスタムエージェントハーネスです。Moはリコール（検出漏れを防ぐこと）のために構築されています。最もリアルなバグを見つけますが、Codexは86%対84%でやや精度が高いです。トレードオフはコストです。Moはバグあたり$2.67ですが、Codexは$0.80であり、Claude CodeやDevinよりも安価です。

• 自己組織化エージェントグラフ: Moは探索中に有向非巡回グラフ（DAG）を構築します。大規模な製品領域は自動的に並列サブエージェントに分岐し、それぞれが独自のブラウザまたはデバイスを持ち、並行して実行されます。
• ドメイン固有タスクのための専門エージェント: プランナーエージェントはスクリーンショットとビデオを分析して推論し、専用のロケーターエージェントはページの構造を検査して平易な英語のインタラクションターゲットを解決します。その他には、画像分析、ビデオ理解、音声生成などがあります。
• 並列エージェントは協調的なリソースリースを通じて調整: エージェントは、重複するリソースやフィクスチャを「使用中」または「変更中」であることを通知できます。「使用中」のクレームは複数共存できますが、「変更中」のクレームは1つだけアクティブにできます。
• スケーリングされたインフラストラクチャ: Moには、ユーザーがプライベートサイトやローカルアプリをホストされたエージェントとインフラに公開できるトンネルが付属しています。単一のバグバッシュで数百のブラウザとデバイスを同時に起動できます。

私たちは、4つの人気のあるオープンソースアプリケーション（Gitea (58.8k stars)、Metabase、Twenty (YC)、Saleor）で、1,396個の人手でラベル付けされたバグを用いて、Moをコーディングエージェントと比較ベンチマークしました。各エージェントは同じ指示、新しいE2Bサンドボックスを与えられ、ソースコードへのアクセスはありませんでした。CodexとClaude CodeはホストされたBrowserbaseブラウザを使用し、Devinは組み込みブラウザを使用しました。評価者には、LLMをジャッジ（GPT-6.1 Sol）として、人間のレビュアーと共に実装しました。

時間制限60分間の実行結果:

• Mo: 269件のバグ、検出率19.3%、精度84%、バグあたり$2.67
• Codex (GPT-6.1 Sol + Playwright MCP): 86件のバグ、検出率6.2%、精度86%、バグあたり$0.80
• Claude Code (Opus 5.5 + Playwright MCP): 59件のバグ、検出率4.2%、精度80%、バグあたり$4.09
• Devin: 27件のバグ、検出率1.9%、精度84%、バグあたり$3.89

Moは、時間が増えるほど多くのバグを見つけます。30分から60分にかけて、バグ数は177件から269件（+52%）に増加しましたが、Codexはわずか16%の増加でした。

結果: https://momentic.ai/qa-bench

解説記事: https://momentic.ai/blog/qa-bench

データセット: https://huggingface.co/datasets/momentic/qa-bench

ハーネス: https://github.com/momentic-ai/qa-bench

VercelとCloudflareのデプロイプレビュー向けのPRテストをリリースしたばかりで、新規登録者全員にMoの利用クレジット$250を無料で提供しています。有料プランには、より高いインフラ容量と利用料金が含まれており、追加チャージのオプションもあります。

ぜひお試しいただき、フィードバックをお寄せください。コメント欄で一日中お待ちしております！