HN 日本語サマリー

← 一覧へ戻る
プログラミング

Show HN: Sentinel – コードを読むオープンソースQAエージェント

Show HN: Sentinel – open-source QA agent that reads your code before it clicks (blog.simbastack.com)

10 pointsby asenna1 コメント

要約

Sentinelは、コードベースを読み込み、ビジネスフローを理解して、フロントエンドとバックエンド全体でエンドツーエンドのテストを実行するオープンソースのQAエージェントです。従来のQAエージェントとは異なり、コード構造を分析してテスト計画を自動生成し、UIだけでなくAPIレベルでのバグも検出します。設計レビュー機能も備え、開発ライフサイクル全体で品質保証を支援します。

全文翻訳

Sentinel: コードを読むオープンソースQAエージェント

  1. クリックと理解のギャップ
  2. 実際のアプリと指示なしで試した結果
  3. 仕組み
  4. ここに至るまで
  5. Mimoを選んだ理由と最初の実行で壊れたもの
  6. 難しい課題: ログインすらできないアプリのQA
  7. スタック
  8. まだできないこと
  9. 試してみる

Sentinelはコードベースを読み込み、実際のビジネスフローを把握し、フロントエンドとバックエンドを横断してエンドツーエンドでテストを実行します。MITライセンスのオープンソースです。

クリックと理解のギャップ

典型的なAIエージェントをアプリに適用すると、ページを開き、いくつかのボタンをクリックし、要素のずれやコンソールエラーを検出し、それで完了とします。これはスモークテストのように役立ちますが、エージェントは製品が実際に行っていることのモデルを持っていません。

雇う価値のあるQAエンジニアは、ただクリックするだけではありません。彼らはまず製品を学び、それについて推論します。これはホテルシステムなので、シングル予約、グループ予約、部屋を解放するキャンセル、チェックイン、チェックアウト、ナイト監査をテストする必要があります。そして、UIが正常に見えることを信頼するだけでなく、それぞれがサーバーに実際に永続化されたことを確認する必要があります。

実際のアプリと指示なしで試した結果

私たちはSentinelを、Next.jsフロントエンド、独立したAPIサービス、Postgresデータベースを持つ、動作中のフルスタックホテルPMS(プロパティマネジメントシステム)に向けました。このPMSは私たちの製品であるKaribuKitです。そのため、エージェントに一時的なテストテナントの管理者認証情報を提供できました。それ以外は何も与えませんでした。テストプランも、フローのリストもありません。

Sentinelはコードを読み込み、製品がブティックおよびサファリホテルPMSであると結論付け、独自の判断で9つの重要なビジネスフローを導き出しました。すなわち、完全な予約ライフサイクル、グループ予約、リードから提案へのパイプライン、料金管理、ゲストセルフサービス、滞在中客室変更、ナイト監査、請求書から返金までの支払い、そしてAIコパイロットです。キャンセルも含まれていますが、この実行ではそれらを他のフロー内のエッジケースおよびバックエンドチェックとして折り込み、独立したフローとして導き出すことはしませんでした。これは、人間のQAリードが初日に書くリストに近く、エージェントに何も指示されていませんでした。

[画像: ホテルPMSに対するSentinel QA実行のターミナル出力] 実行自体: リポジトリから導出された計画、上位2つのフローがそれぞれ2回深くテストされ、その後、訪問したすべての画面に対するビジョンパス。

その後、それらのフローの上位2つをそれぞれ2回実行し、そのトレースは人の作業を見ているようでした。

  • GET /api/availabilityを呼び出し、400を受け取り、不足しているパラメータを特定し、adults=2&children=0で再試行して200を得ました。
  • POST /api/reservations (201)で実際の予約を作成し、正しい部屋と料金が永続化されたことを確認するために再度取得しました。
  • ステータスライフサイクルをたどり、チェックインエンドポイントを試行錯誤で見つけました(/checkinは404、/check-inは400、その後有効な呼び出しで200を返しました)、そしてフォリオを確認しました。

[画像: エージェントが検証した予約フォリオ、利用可能な部屋がないというエラーを示すトーストが表示されている] 検証中のフォリオ: 3泊分の部屋チャージが178ドル、残高534ドル。角の赤いトーストはライブでキャッチされたバグです。「利用可能な部屋がありません」というメッセージは、すでに部屋を確保している予約に対して表示されました。

UIだけでは見つけられないバグが表面化しました。

  • 予約の確認がNO_AVAILABILITYと返されましたが、同じ予約はすでに部屋を確保していました。バックエンドの状態遷移バグで、UIは一方の試行で誤解を招く「利用可能な部屋がありません」というトーストになり、もう一方ではフィードバックが全くありませんでした。
  • カレンダーには、すでに予約が存在する部屋が利用可能と表示されていました。APIとUIは一致せず、両方のレイヤーをチェックして初めて検出できました。
  • チェックインは200を返しましたが、ゲストのregistrationStatusはサーバー上でNONEのままでした。これは状態遷移が半分しか完了しなかったことを意味します。

[画像: 実行中のホテルPMSカレンダー、テスト予約で埋め尽くされている] 実行中のカレンダー、エージェントが作成した予約で埋め尽くされており、仮予約と確定予約が並んでいる。

仕組み

QAエージェントの最も深いエンジンであるflowはパイプラインです。

  1. リポジトリを読む。決定論的な偵察パス(grepとfind、モデル呼び出しなし)が構造を抽出します:フロントエンドルート、APIルートモジュール、サービス、データベースエンティティ。モデルは、モノレポを盲目的にクロールするのではなく、そのダイジェストを推論します。これは遅く、見落としもあります。
  2. フローを導出する。piエージェントハーネスで決定を行うために実行するXiaomiモデルであるMimoは、ダイジェストを優先順位付けされたエンドツーエンドのビジネスフローのリストに変換します。各フローにはUIステップ、バックエンドアサーション、エッジケースが含まれます。計画はコミットごとにキャッシュされるため、コードが変更された場合にのみ再導出されます。
  3. 各フローをエージェントループとして実行する:モデルが次のアクションを決定し、Playwrightがブラウザを駆動し、ファーストクラスのapi_requestツールが各ステップでサーバーの状態をチェックします。これは、ページ内でfetchを実行し、フロントエンド自体が送信したAuthorizationヘッダーをリプレイすることによって行われます。モデルはブラウザとAPIツールのみを受け取り、シェルやファイルシステムは受け取りません。ハードバジェットが各試行を制限します。90回のツール呼び出しを超えると、アクションツールは動作を拒否し、残された唯一の移動はfinishです。
  4. 複数回実行する。自律エージェントは非決定論的です。あるフローで、1回の試行でバグがゼロ、別の試行で5つ見つかったことを測定しました。そのため、各フローはデフォルトで2回実行され(FLOW_ATTEMPTS、調整可能)、結果は統合されます。いずれかの試行で見つかったバグはレポートに含まれ、各フローは試行全体での最悪の判定を保持します。
  5. デザインを評価する。エージェントが訪問する各ユニークな画面(URLで重複排除、デフォルトで実行あたり最大8つ)は、マルチモーダルモデルによるビジョンパスも受け取り、視覚的階層、スペーシング、WCAGコントラストに失敗する可能性のあるテキスト、タイポグラフィ、および壊れた状態をスコアリングします。これはDOMのみのチェックでは見えないレイヤーです。

[画像: Sentinelのフローエンジンがパイプラインとして機能する様子:リポジトリから偵察ダイジェストへ、フロー導出、Mimo、Playwright、api_requestの各フローのエージェントループ(90コールキャップ付き)、試行全体での結果の統合、ビジョンパス、1つの統合レポート] 偵察とレポートはプレーンコードです。モデルは、フローの導出、各次のアクションの決定、画面の評価など、判断が必要な場所にのみ配置されます。

これらのどれもホテルについては何も知りません。偵察パスは、一般的なJSスタック(Next.jsルート、ExpressおよびFastifyルートモジュール、Prisma、Drizzle、またはプレーンSQLスキーマ)のリポジトリをダイジェストし、下流のすべてがダイジェストを推論するため、ホテルPMSは単に手元にあったデモでした。他のスタックは、偵察パッチで対応可能です。

すべてがスケジュールで実行されます。15分ごとのlaunchdティックが各リポジトリをチェックし、必要なものを実行します。レビューは新しいコミットごとに行われ、QAは設定した間隔( oursでは12時間または24時間ごと)で実行されます。QAエージェントには3つの兄弟がいます:各新しい差分を読むコードレビューエージェント、Markdownをコードに合わせるドキュメント同期エージェント、そして各リポジトリで変更された内容を共有チームナレッジリポジトリに要約するブレインシンクエージェントです。書き込みを行う2つのエージェントは、分離されたワークツリーで作業し、PRを開きます。どちらも自分の変更をマージすることはありません。

ここに至るまで

Mimoでの開始は、最も戦略的ではない理由でした。マシン上のpiエージェントハーネスがすでにそれに向けられていたからです。未解決の疑問は、安価なモデルがブラウザを十分にうまく駆動できるかということでしたが、バージョン1では答えはノーでした。

バージョン1は決定論的なNodeループでした。スクリプトが制御フローを所有し、Mimoをツールなしのワンショットブレインとして、ステップごとに1回呼び出しました。「これがDOMです。次の単一のアクションを名前付けしてください」という指示に対し、ループはPlaywrightでそれを実行しました。単純なものでは機能しました。小さな製品検索アプリ(写真をアップロードすると、視覚的に類似したアイテムが表示される)では、実際のバグをわずかなコストで見つけました。3セントの実行で、「₹4,19」のような切り詰められた価格や、カットオフされた製品カードを発見しました。最も安価な実行は0.0044ドルでした。

しかし、ループが限界でした。モデルは、前のステップを取った理由の記憶なしに、一度に1ステップしか見ることができなかったため、数回の移動以上のフローをテストするのに十分なコンテキストを蓄積できませんでした。単一ページ内でのクリック操作しかできませんでした。

そこで、ループをモデルに渡しました。pi-nativeと呼ぶバージョン2は、Playwrightバックのブラウザツールをpi拡張機能として登録し、Mimoがpi自身のエージェントループ内で、完全なセッションメモリとともに、それらを駆動できるようにしました。これは単一の目標に対してより深く掘り下げました。しかし、それでも目標が必要であり、手動で目標を書くことは、削除しようとしていたまさにその作業でした。

バージョン3は、上記で説明したフローエンジンです。リポジトリを読み、フローを導出し、それぞれをブラウザとバックエンドに対して実行します。

Mimoを選んだ理由と最初の実行で壊れたもの

デザインレビューを追加したとき、モデルの選択はより興味深いものになりました。UI/UXパスのためにMimoにスクリーンショットを送ったところ、実行していたモデルmimo-v2.5-proはテキストのみだったため、ナンセンスな結果が返ってきました。修正は、Xiaomi APIが実際に提供するものを読むことでした。テキストモデルと並んで、mimo-v2-omniというマルチモーダルモデルがあります。そのため、ビジョンコールはプレーンなOpenAI互換API経由で直接omniに送られ、1回のスクリーンショットあたり1コールです。ルーブリックスコア付きのワンショットはエージェントハーネスを必要としません。

そしてmimo-v2-omniは推論モデルであるため、JSONの判定を出力する前に頻繁にカットオフするため、バジェットを最大6,000トークンに引き上げる必要がありました。午後を費やした小さな問題です。

他のモデルも実行していますが、ホットループではありません。claudeは、精度が価格よりも重要で、実行頻度が低い保護されたワークツリー内で、ドキュメント同期およびブレインシンクエージェントの外科的なMarkdown編集を行います。codex(gpt-5.5上)は、より遅く、より深いセカンドオピニオンが必要な場合に、オプションの読み取り専用レビューエンジンとして機能します。常にオンの作業でMimoをデフォルトにしたままにしたのは、その量です。前提は、すべての新しいコミットを再レビューし、すべてのリポジトリに対してQAをスケジュールで再実行するフリートであり、その量ではコストが設計上の制約となります。Mimoの決定はセントの数分の1、浅いQA実行は数セント、ホテルPMSでの最も深いマルチアtempt実行は364ステップで1.95ドルでした。

フィールドベンチマークは行っていませんが、Mimoはデフォルトで、すでに存在し、十分であることが判明したためであり、最適であると証明されたからではありません。全体はプロバイダーに依存しません(試すセクションにノブがあります)。フィールドレポートで知りたい数値は、1ドルあたりのバグ発見数です。異なるモデルが同じリポジトリでより少ないコストでより多くを見つける場合は、数値を添えてイシューを開いてください。

実際のフルスタックアプリに対する最初の完全な実行は、統合バグが存在する場所であり、それらはモデルのせいではありませんでした。

  • 私たちのブートラッパーは開発サーバーのセッションを切り離し、next devは静かに終了しました。プロセスツリー全体をリピートするテイクダウンを備えた、プレーンなバックグラウンドブートに戻しました。
  • PlaywrightはReactがハイドレーションする前にログインフォームに入力し、空の送信は400を返しました。フィールドが実際に値を保持していることを検証するハイドレーションセーフなリタイプで修正しました。
  • フロントエンドがlocalhostに話しかけ、エージェントが127.0.0.1を使用したため、CORSがすべての呼び出しをブロックしました。1行の設定に1時間費やしました。
  • バックエンドアサーションは401を返しましたが、認証トークンを再構築するのをやめ、フロントエンドがすでに送信していたAuthorizationヘッダーを単純に再利用しました。

すべてが地味でした。それが実際の作業のほとんどでした。

難しい課題: ログインすらできないアプリのQA

多くのアプリにはログインフォームがありません。代わりに「ウォレットを接続」ボタンがあり、その先のすべてはMetaMaskやRabbyによってゲートされています。ヘッドレスエージェントはブラウザ拡張機能のポップアップをクリックできないため、しばらくの間、それらのアプリは手の届かないところにありました。

その方法は予想以上にクリーンで、アプリのコードには一切触れませんでした。Web3アプリは標準インターフェース(window.ethereum、または新しいアプリではウォレットがページにブロードキャストするEIP-6963アナウンス)を通じてウォレットと通信します。そのため、ページがロードされる前に、SentinelはNodeに保持している使い捨ての秘密鍵をバックエンドとする、そのインターフェースの独自のインプリメンテーションを注入します。アプリから見れば通常のMetaMaskですが、エージェントが駆動できるウォレットです。アプリは接続し、チェーンを読み取り、署名します。これは実際の人々が行うのと同じように行われ、鍵がページに渡ることはありません。

[画像: 注入されたウォレットの仕組み: バーナーキーはNodeに留まり、ページは標準のEIP-6963プロバイダーを表示し、許可リストを読み取り、ブロードキャストは拒否される] アプリは標準プロバイダーを表示します。キーとメソッドフィルターはNodeに留まり、メソッドはそこで停止します。

ただし、これらは実際のチェーン上の実際のマネーを持つ実際のアプリです。資金のあるウォレットをライブ取引所に向けた場合、「QA」は静かに「レバレッジポジションを開いた」になる可能性があります。そのため、ウォレットは新しく生成された、資金のないバーナーであり、設定ミス下でも支出を不可能にしました。トランザクションを送信するメソッドは、ネットワークに転送されることは決してありません。

その約束の穴を探す敵対的なパスを実行し、元を取りました。最初のカットではウォレットの残高をチェックし、資金があれば終了しましたが、残高ルックアップが失敗した場合はチェックは静かにパスしました。これはまさに停止したい瞬間です。失敗時に閉じるように修正し、残高を全く信頼しないようにしました。ブロードキャストはメソッド名でブロックされ、明示的な読み取り専用許可リストにないものはすべて拒否されるため、予期しない送信バリアントも通過できません。読み取りは通過し、送信は決して通過しません。使用されたことのあるキーは実行を中止します。

次に、パーペチュアル取引所に向けました。そのフロントエンド、具体的には使い捨てのgitワークツリーからローカルで起動されたアプリで、実際のバックエンドは実行されず、オンチェーンの読み取りはライブチェーンに向けられました。アプリはウォレットホワイトリストでアクセスをゲートするため、Sentinelはネットワークレイヤーでゲートエンドポイントをスタブし、ホワイトリストスタブは楽しいものです。それはバーナーのアドレスをアプリ自身のキーで暗号化し、アプリはそれを復号化してバーナーがすでにホワイトリストに登録されていることを確認します。

退屈な問題が予定通り発生しました。

  • ランディングページはサーバーレンダリング中にバックエンドを取得したため、バックエンドがないと500を返し、ヘルスチェックは緑になりませんでした。代わりに取引ルートでエージェントを開始しました。
  • パブリックRPCは不正なCORSヘッダー(ブラウザが拒否する'*','*'という二重ワイルドカード)を返したため、アプリ自身のオンチェーン読み取りはすべて失敗しました。7ステップの実行で71,597件のコンソールエラーと35,797件の失敗したリクエストが発生し、コストは1.16ドルでしたが、機能的なバグはゼロでした。アプリのRPC呼び出しをCORSが適用されず、不安定なものをリトライできるNode経由でルーティングしました。
  • プレースホルダープロジェクトIDを持つウォレットSDKがエラーを発生させ、フレームワークのフルスクリーン開発オーバーレイがトリップしました。オーバーレイはすべてのクリックを静かに飲み込んだため、エージェントはページ全体が壊れていると宣言しました。オーバーレイを解体し、エラーストリームをキャップして、ノイズの多いアプリが実行を埋もれさせないようにしました。

結果として実際のレポートが得られました。資金のないバーナーで、エージェントは接続し、分離マージン取引画面を開き、テスターのようにフォームを操作しました。

  • 「ポジションを開く」ボタンはクリック時にハングしました(8秒のタイムアウト、確認モーダルは表示されず)。
  • 担保入力後の注文プレビューなし、スリッページコントロールもUIのどこにもなし。
  • 残高チェックなし:999,999と入力してもフォームは無反応でした。
  • マージンモードを切り替えると、ウォレット接続が静かに切断されました。
  • レバレッジスライダーが内部ID(slider-ex-2)をラベルとして表示しました。
  • 検証が半分しかキャッチしなかった負の金額。

61ステップのセッションで9つの機能バグと13のデザイン所見を発見し、コストは0.28ドル、チェーンにトランザクションは一切送信されませんでした。

[画像: ある実行の成果物のディレクトリリスト:ステップごとのスクリーンショットとレポート] すべての実行はディスクに証拠を残します:ステップごとのスクリーンショット、構造化されたレポート、およびビジョン所見。

スタック

Sentinelは、運用が意図的に地味です。bash、Node、TypeScriptで約2,500行、launchdスケジューラ、およびシェルアウトするCLIで構成されています。ホストするサービスもなく、独自のデータベースもありません。1日で全体を読むことができます。これは意図的です。すべてを実行できることを読めずに、エージェントを無人で実行させるわけにはいきません。

マシンから出るものについても同様です。リポジトリのコード、DOM、または差分をモデルに送信することは、ターゲットごとにオプトイン(ai_allowed)されるため、ワークリポジトリが誤って一緒に送信されることはありません。

まだできないこと

  • 探索は実行ごとにまだ変動します。そのため、各フローは複数回実行されます。
  • 複雑なスタックのブートには適切な設定(ポート、認証、テストデータベース)が必要であり、書き込み可能なQAを本番データに向けるべきではありません。
  • 深さは時間とコストとトレードオフになります。すべてがノブで調整可能です:実行ごとのフロー数、フローごとの試行数、試行ごとのステップ数。
  • ウォレットアプリの場合、資金のないバーナーを駆動するため、決済直前までのすべてをテストしますが、実際の取引の約定まではテストしません。ローカルのanvilフォーク(FoundryのローカルEthereumノード)は、引用するための実際のチェーン状態を提供しますが、ブロードキャストブロックはそこでもオンのままです。フォークで実際に取引を約定することは、まだ構築していないことです。

試してみる

SentinelはMITライセンスでGitHubで公開されています:github.com/Simbastack-hq/sentinel。

git clone https://github.com/Simbastack-hq/sentinel.git && cd sentinel
npm install && ( cd pi-ext/qa-browser && npm install )
cp config/sentinel.env.example config/sentinel.env
cp config/targets.json.example config/targets.json   # プレースホルダーターゲットが含まれています。独自のリポジトリを追加してください。
bin/sentinel doctor && bin/sentinel run <your-app> qa

唯一の必須要件は、プロバイダーが設定されたpi CLIです。Mimo(Xiaomiキーで認証済み)がデフォルトです。切り替えは設定で行います:QA_PROVIDER/QA_MODELおよびVISION_*変数は、決定とビジョンパスを任意のOpenAI互換エンドポイント、OpenRouter、およびローカルモデルに向けます。doctorは不足しているものを教えてくれます。

examples/にはコピー可能なターゲットレジストリがあり、プレースホルダーのtargets.jsonには上記の取引実行のような完全なWeb3ウォレットdAppサンプルが含まれています。

実際のものに向けて、何が見つかるか確認してください。PRとイシューは歓迎します。

— Hemanshu, Sentinel および KaribuKit を SimbaStack で開発中