2026年の最新AIエージェントに対するボット検出システムのベンチマーク
Benchmarking Bot Detection Systems Against Modern AI Agents in 2026 (research.poh.org)
要約
この記事は、2026年における最新のAIエージェント（ブラウザ操作やタスク実行能力を持つ）に対し、Proof of Human、Google reCAPTCHA v3、hCaptcha、Cloudflare Turnstileなどの主要なボット検出システムがどの程度効果的かを評価したベンチマーク結果を報告しています。従来の自動化ツールに対する検出率は高かったものの、AIエージェントに対しては検出率が大きく低下するシステムがあり、ボット検出の新たな課題が浮き彫りになっています。
全文翻訳
2026年の最新AIエージェントに対するボット検知システムのベンチマーク
1年前、私たちは5つの主要なボット検知システム（Proof of Human、Google reCAPTCHA v3、hCaptcha、Fingerprint Pro、Cloudflare Turnstile）を、定義されたタスクセットを完了するようにプログラムされた自動化ブラウザに対して評価しました。検知率は33%から87%まで大きくばらつきました。デバイスレベルのシグナルに加えて行動シグナルを組み込んだシステムは、デバイス情報のみに依存するシステムよりも一般的に優れたパフォーマンスを示しました。
それ以来、ブラウザの自動化は著しく進歩しました。最新のAIエージェントは、ウェブページを解釈し、アクションを計画し、ますます高性能なブラウザ環境を通じてインターフェースと対話できるようになりました。そのため、私たちは従来のブラウザ自動化、ステルスブラウザ、AI搭載ブラウジングエージェントを含む、より広範な敵対者セットでベンチマークを再訪し、同様の検知システムセット（Proof of Human、Google reCAPTCHA v3、hCaptcha、Cloudflare Turnstile、Cloudflare Bot Management）をテストしました。その結果、検知パフォーマンスにも同様に広いばらつきが見られました。
この記事では、各システムがどのようにパフォーマンスを発揮し、どこで失敗したのか、そしてこれらの結果が、ますます高性能になるAIエージェントと人間を区別する上での課題について何を意味するのかを検証します。
方法論
私たちのタスクでは、複数の選択肢と自由回答形式の質問を組み合わせた5つの質問からなるアンケートを使用しました。5つの敵対者（すなわちAIエージェント）それぞれがアンケートを20回試行し、検知システムごとに最大100セッションが生成されました。一部の検知システムはセッション完了前に失敗またはクラッシュしたため、各システムで評価可能なセッション数は89から100の間となりました。
以下の表は、ベンチマークに含まれる検知システムと、各システムが自動アクティビティを識別するために使用するシグナルをまとめたものです。
| 検知システム | 説明 |
|---|---|
| Proof of Human | タイピング、マウスの動き、クリック、スクロールなどの行動シグナルとデバイスシグナルの両方に基づいて、セッションを人間または自動化されたものとして分類するために機械学習モデルを使用します。 |
| Google reCAPTCHA v3 | 各セッションに0から1までのスコアを割り当て、ユーザーが人間である可能性を示します。これは可視的なチャレンジなしで動作し、ブラウザの整合性とGoogle側の評判シグナルを考慮します。サイトがセッションを受け入れるためのしきい値を決定します。 |
| hCaptcha | 「私は人間です」チェックボックスを表示し、ブラウザのリスクプロファイルを評価します。結果に応じて、セッションを即座に検証するか、完了する必要のある画像ベースのチャレンジを表示します。 |
| Cloudflare Turnstile | バックグラウンドでブラウザの整合性チェックを実行し、セッションがパスすると検証トークンを発行します。通常はパズルなしで動作しますが、シグナルが曖昧な場合はユーザーインタラクションを要求することがあります。 |
| Cloudflare Bot Management | Cloudflareのネットワーク全体で学習されたヒューリスティックと機械学習モデルを使用してリクエストを評価します。完全なシステムは1（自動化）から99（人間）までのスコアを割り当てますが、Proティアの実装は、likely_human、likely_automated、automated、verified_botなどのより広範な分類を返します。 |
私たちの敵対者のセットは、ますます洗練された自動化の形態をカバーしています。従来のスクリプト化されたブラウザ、自動化シグナルを隠蔽するように設計されたステルスブラウザ、そして自律的にウェブページをナビゲートしてタスクを完了できるAIエージェントです。
使用された敵対者
| 敵対者 | 説明 |
|---|---|
| Chromium | PlaywrightとChrome DevTools Protocolを通じて自動化された標準的なChromiumブラウザで、ステルス変更は行われていません。navigator.webdriverやCDP関連のアーティファクトなど、自動化の一般的なインジケーターを保持しており、ベースラインの「明白なボット」として機能します。 |
| CloakBrowser | ブラウザのフィンガープリント（GPU、キャンバス、WebGL、オーディオ、フォント、ユーザーエージェント、TLSシグナルなど）をソースコードレベルで変更する、ステルスに焦点を当てたChromiumフォークです。住宅用プロキシを介して、オプションの人格化機能（マウスとキーボード入力）を有効にして実行しました。 |
| Browser Use | LLM（この設定ではClaude Opus）と視覚的なページ情報を使用してアクションを計画し、クラウドインフラストラクチャから未変更のブラウザを操作するオープンソースAIエージェントフレームワークです。 |
| Perplexity Comet | LLMと視覚情報を使用してウェブページをナビゲートしタスクを完了する、PerplexityのAI搭載ブラウザです。 |
| Grok | LLMと視覚情報を使用してウェブタスクをナビゲートおよび完了する、xAIのブラウザ使用エージェントです。 |
結果
システム間で検知パフォーマンスに大きなばらつきがあることがわかりました。すべての敵対者を合計すると、Proof of Humanは自動化セッションの99%を検知し、次いでreCAPTCHA v3が69.4%、hCaptchaが44.3%、Cloudflare Turnstileが42.1%、Cloudflare Bot Managementが9.1%でした。
［画像: Bot benchmarking results］
図1: ボットベンチマーク結果。各バーは、5つの敵対者すべてを合計した、指定された検知システムによって識別された自動化セッションの割合を示しています。
敵対者によってパフォーマンスは大きく異なりました。最も明確な分岐は、スクリプト化されたブラウザとAIエージェントの間でした。hCaptchaとCloudflare Turnstileは、ほぼすべてのスクリプト化されたChromiumおよびCloakBrowserセッションを捕捉しましたが、AIエージェントセッションはほとんど捕捉できませんでした。reCAPTCHA v3は逆のパターンを示し、ほとんどのエージェントセッションを識別しましたが、CloakBrowserからのセッションはゼロでした。Cloudflare Bot Managementは、どの敵対者からも少数のセッションしか捕捉できず、Proof of Humanは全体で少なくとも95%のセッションを検知しました。
［画像: Detection rates by detection system and adversary］
図2: 各検知システムと敵対者の組み合わせごとに、自動化されたと識別されたセッションの割合。緑色のセルは捕捉された敵対者、赤色のセルは検知システムを回避した敵対者を示します。
ほとんどの検知システムはブラックボックスであるため、どのシグナルが各結果を生み出したかを直接特定することはできません。しかし、システムの観察された動作と公開されているドキュメントを組み合わせると、この失敗のいくつかの可能性のある原因が示唆されます。
- reCAPTCHA v3は、標準的なChromiumとクラウドホストのエージェントからのほとんどのセッションを検知しましたが、CloakBrowserは検知しませんでした。CloakBrowserは、ソースレベルで変更されたブラウザのフィンガープリントと住宅用IPアドレスを組み合わせた唯一の敵対者でした。私たちの結果では、ブラウザのフィンガープリント、住宅用IP、またはその両方の組み合わせのどちらがその成功に主に責任があったかを判断できません。
- hCaptchaはChromiumとCloakBrowserの両方にチャレンジを表示しましたが、どちらも画像ベースのタスクを確実に完了できませんでした。対照的に、視覚能力のある3つのエージェント（Browser Use、Grok、Perplexity Comet）は、画像グリッドを解釈して解決することができ、ほとんどのセッションを通過させました。
- Cloudflare Turnstileは、両方のスクリプト化されたブラウザの敵対者を検知しました。ChromiumとCloakBrowserは、30秒の待機時間後でも検証トークンを受け取ることができませんでした。しかし、3つのAIエージェントのいずれも検知せず、これらのセッション中にチャレンジさえ発行しませんでした。
- Cloudflare Bot Managementは、全体として比較的少数のセッションを検知しました。このパターンは、ステルスブラウザとクラウドエージェントがクリーンなブラウザレベルのシグナルを提示していることと一致していますが、Grokの検知率の高さは、IPやTLSの評判など、Cloudflareが使用するインフラストラクチャレベルのシグナルを反映している可能性があります。
制限事項
これらの結果を解釈する際には、いくつかの制限事項を考慮する必要があります。
- 一部のシステムは完了前にクラッシュまたは失敗したため、条件によってサンプルサイズがわずかに異なります。
- エンタープライズバージョンではなく、利用可能な製品ティアを評価しました。これらは追加のシグナルやより高度な検知機能を含んでいる可能性があります。
- 自動化セッションの検知率を測定しましたが、人間による応答の誤検知率（false-positive rates）は評価していません。
- reCAPTCHAを含む一部のシステムは、より多くのトラフィックを観測し、ウェブサイトの評判を確立するにつれて、より適切に調整される可能性があります。したがって、より長期的な展開では検知率が異なる可能性があります。
結論
私たちの結果は、ボット検知が新しい段階に入っていることを示唆しています。従来の自動化シグナルはスクリプト化されたブラウザに対して依然として有効ですが、本物のブラウザ環境をインテリジェントに扱うAIエージェントに対しては信頼性が低下しています。インタラクティブなチャレンジは、視覚能力のあるエージェントがそれらを解釈して完了できる場合、限定的な保護を提供する可能性があります。そして、ブラウザレベルのインジケーターを回避することが容易になるにつれて、セッション全体でのユーザーの行動が、人間のアクティビティと自動化を区別する上でますます重要になります。
将来のベンチマークでは、より大量のトラフィックをテストし、誤検知率を測定するために人間の参加者を含め、より複雑なタスクと新興エージェントを評価する必要があります。Proof of Humanでは、これらの変化を追跡し、この進化する脅威ランドスケープにおける方法論を開発し続けます。Proof of Humanをご自身のアプリケーションでテストするには、poh.orgをご覧ください。