AIボットを偽装した大規模脆弱性スキャンが実行されている
Someone is running mass vulnerability scans, spoofing AI bots like ClaudeBot (knownagents.com)
要約
インターネットは人間中心から機械中心へと急速に進化しており、AIエージェントやボットによるトラフィックが全体の35%を占め、そのうち28%がAI関連です。この記事では、AIボットを偽装した脆弱性スキャンが実行されている現状と、ウェブサイトへのAIエージェントの活動状況を分析しています。
全文翻訳
エージェント型ウェブインデックス
概要
Agent Analytics および AI Chat Referral Tracking を利用する 5,000 以上のウェブサイトにおける、主要なエコシステム指標。
ボット対人間トラフィック
34%
↓ 0%
過去 90 日間と比較
既知のエージェントと人間のページビュー数
エージェント化
29%
↑ 2%
過去 90 日間と比較
AI関連のボットトラフィックの割合
AIチャット参照トラフィック量
0.1%
↑ 23%
過去 90 日間と比較
人間のウェブサイトページビューのうち、AIチャットからの割合
robots.txtの有効性
93.7%
ボットがrobots.txtルールに従う頻度
エージェントタイプ別トラフィック
AIエージェント
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
AIアシスタント
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
AIコーディングエージェント
AIコーディングエージェント
ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する
AIデータプロバイダー
AIデータプロバイダー
AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする
AIデータスクレイパー
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
AI検索クローラー
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
アーカイバー
アーカイバー
長期的なデジタル保存のために、ウェブサイトのスナップショットをキャプチャして保存する
自動化エージェント
自動化エージェント
直接的な人間の監視なしに、プログラムでブラウザ操作を自動化する
デベロッパーヘルパー
デベロッパーヘルパー
ウェブサイト機能のテスト、デバッグ、および保証を支援する
フェッチャー
フェッチャー
リンクプレビューやフィードなどのアプリ機能を強化するために、ウェブページのメタデータを取得する
インテリジェンスギャザラー
インテリジェンスギャザラー
ブランドセーフティ、競合インサイト、広告ターゲティングのためにウェブコンテンツを分析する
スクレイパー
スクレイパー
しばしばウェブサイトの明示的な許可なしに、大量のウェブデータを抽出する
検索エンジンクローラー
検索エンジンクローラー
検索結果に含めるために、ウェブページを体系的にスキャンおよびインデックス化する
セキュリティスキャナー
セキュリティスキャナー
ウェブサイトのセキュリティ脆弱性、脅威、および設定上の弱点をスキャンする
SEOクローラー
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
未分類
未分類
まだタイプが割り当てられていない
文書化されていないAIエージェント
文書化されていないAIエージェント
目的を開示せずにウェブサイトをクロールし、未知のAI用途のためにデータを収集する
各エージェントタイプについて、その機能に関する詳細情報をホバーして確認してください。
トップエージェントタイプ
最もアクティブなエージェントタイプ
トップ訪問エージェント
SRCH
検索エンジンクローラー
検索結果に含めるために、ウェブページを体系的にスキャンおよびインデックス化する
8.8%
DEV
デベロッパーヘルパー
ウェブサイト機能のテスト、デバッグ、および保証を支援する
7.4%
SEO
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
6.7%
SRCH
検索エンジンクローラー
検索結果に含めるために、ウェブページを体系的にスキャンおよびインデックス化する
6.6%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
3.4%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
3.2%
FTCH
フェッチャー
リンクプレビューやフィードなどのアプリ機能を強化するために、ウェブページのメタデータを取得する
2.8%
SEO
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
2.8%
SRCH
検索エンジンクローラー
検索結果に含めるために、ウェブページを体系的にスキャンおよびインデックス化する
2.6%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
2.2%
SEO
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
1.9%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
1.8%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
1.8%
SEO
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
1.7%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
1.6%
最もアクティブなエージェント
トップオペレーター
最もアクティブなオペレーター
AIトレーニングアクティビティ
これらのボットは、AIモデルのトレーニングのためにウェブサイトコンテンツをスクレイピングします。一部はAI企業に属し、その他はデータを再販するサードパーティサービスに属しています。Automatic Robots.txt は不要なスクレイピングをブロックできます。対象となるエージェントタイプには、AIデータプロバイダー および AIデータスクレイパー が含まれます。
エージェントタイプ別トラフィック
AIデータプロバイダー
AIデータプロバイダー
AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする
AIデータスクレイパー
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
エージェントタイプ別のAIトレーニングアクティビティの推移
トップ訪問ウェブサイトカテゴリ
オンラインコミュニティ
8.0%
ゲーム
6.8%
コンピュータおよびエレクトロニクス
6.8%
ビジネスおよび産業
6.1%
法律および政府
6.0%
インターネットおよび通信
5.9%
ホーム&ガーデン
5.8%
美容とフィットネス
5.5%
ペットと動物
5.4%
求人および教育
5.3%
ショッピング
5.2%
金融
5.1%
趣味とレジャー
5.0%
最もアクティブなウェブサイトカテゴリ
トップエージェント
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
23.9%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
16.5%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
13.3%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
6.2%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
6.0%
PVDR
AIデータプロバイダー
AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする
6.0%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
5.5%
PVDR
AIデータプロバイダー
AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする
3.7%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
2.5%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
2.3%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
2.0%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
1.2%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
1.2%
PVDR
AIデータプロバイダー
AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする
1.2%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
1.0%
AIトレーニングを最も多く行っているエージェント
トップオペレーター
AIトレーニングを最も多く行っているオペレーター
AIフェッチアクティビティ
これらのボットは、AIアシスタント、コーディングエージェント、その他の検索拡張生成(RAG)タスクを強化するために、リアルタイムでウェブサイトコンテンツを取得します。ページは、アシスタントが記事を要約したり、コーディングエージェントがドキュメントを参照したりする際に、その場で応答を形成します。対象となるエージェントタイプには、AIアシスタント および AIコーディングエージェント が含まれます。
エージェントタイプ別トラフィック
AIアシスタント
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
AIコーディングエージェント
AIコーディングエージェント
ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する
エージェントタイプ別のAIフェッチアクティビティの推移
トップ訪問ウェブサイトカテゴリ
参考資料
2.2%
金融
1.9%
科学
1.7%
コンピュータおよびエレクトロニクス
1.6%
インターネットおよび通信
1.5%
美容とフィットネス
1.5%
自動車および車両
1.4%
旅行および交通
1.3%
ビジネスおよび産業
1.3%
不動産
1.0%
ショッピング
1.0%
法律および政府
1.0%
求人および教育
1.0%
最もアクティブなウェブサイトカテゴリ
トップエージェント
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
76.1%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
10.7%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
7.1%
CODE
AIコーディングエージェント
ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する
3.9%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
0.6%
CODE
AIコーディングエージェント
ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する
0.4%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
0.3%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
0.3%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
0.2%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
0.1%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
0.1%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
0.0%
CODE
AIコーディングエージェント
ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する
0.0%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
0.0%
ASST
AIアシスタント
ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める
0.0%
AIフェッチを最も多く行っているエージェント
トップオペレーター
AIフェッチを最も多く行っているオペレーター
AI検索インデックス作成アクティビティ
これらのボットは、AI検索エンジンやAI生成回答で表示できるように、ウェブサイトコンテンツをクロールします。これらの回答には、しばしば引用やソースページへのリンクが含まれます。対象となるエージェントタイプには、AI検索クローラー が含まれます。
エージェントタイプ別トラフィック
AI検索クローラー
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
エージェントタイプ別のAI検索インデックス作成アクティビティの推移
トップ訪問ウェブサイトカテゴリ
旅行および交通
7.6%
参考資料
7.2%
科学
6.2%
法律および政府
6.1%
書籍および文学
5.7%
食品と飲料
5.6%
健康
5.5%
求人および教育
5.4%
コンピュータおよびエレクトロニクス
5.3%
趣味とレジャー
5.2%
芸術とエンターテイメント
5.0%
ビジネスおよび産業
4.8%
人々および社会
4.7%
最もアクティブなウェブサイトカテゴリ
トップエージェント
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
25.8%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
13.5%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
12.0%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
12.0%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
10.9%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
10.6%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
6.0%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
4.7%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
3.3%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
0.4%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
0.3%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
0.2%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
0.2%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
0.1%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
0.0%
AI検索インデックス作成を最も多く行っているエージェント
トップオペレーター
AI検索インデックス作成を最も多く行っているオペレーター
AIブラウジングアクティビティ
これらのボットはブラウザを使用してウェブサイトを自律的にナビゲートし、ページを遷移し、タスクを完了するための決定を行います。エージェント型UXベストプラクティス および Google PageSpeed Insights は、ウェブサイトがそれらをどの程度サポートしているかを評価するのに役立ちます。対象となるエージェントタイプには、AIエージェント が含まれます。
平均セッション時間
2分
↑ 111%
過去 90 日間と比較
セッションの平均時間
セッションあたりの平均リクエスト数
15.8
↑ 141%
過去 90 日間と比較
セッションあたりの平均訪問ページ数
エージェントタイプ別トラフィック
AIエージェント
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
エージェントタイプ別のAIブラウジングアクティビティの推移
トップ訪問ウェブサイトカテゴリ
法律および政府
0.2%
コンピュータおよびエレクトロニクス
0.1%
ショッピング
0.1%
ビジネスおよび産業
0.0%
芸術とエンターテイメント
0.0%
健康
0.0%
自動車および車両
0.0%
インターネットおよび通信
0.0%
金融
0.0%
旅行および交通
0.0%
ホーム&ガーデン
0.0%
人々および社会
0.0%
不動産
0.0%
最もアクティブなウェブサイトカテゴリ
トップエージェント
AGNT
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
62.1%
AGNT
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
31.3%
AGNT
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
6.1%
AGNT
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
0.5%
AGNT
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
0.0%
AGNT
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
0.0%
AGNT
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
0.0%
AGNT
AIエージェント
実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する
0.0%
AIブラウジングを最も多く行っているエージェント
トップオペレーター
AIブラウジングを最も多く行っているオペレーター
robots.txt & コンプライアンス
どのrobots.txtルールがウェブ全体で設定されており、エージェントがそれらにどの程度従っているかを確認します。エージェントのrobots.txt有効性は、ブロック後にトラフィックがどの程度減少するかを推定することで、そのエージェントに対するDisallowルールの有効性を測定します。
有効性(全体)
93.7%
すべてのエージェントタイプにわたるすべてのエージェントがrobots.txtルールに従う頻度
トップルール遵守エージェント
INT
インテリジェンスギャザラー
ブランドセーフティ、競合インサイト、広告ターゲティングのためにウェブコンテンツを分析する
100.0%
SEO
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
100.0%
PVDR
AIデータプロバイダー
AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする
100.0%
DEV
デベロッパーヘルパー
ウェブサイト機能のテスト、デバッグ、および保証を支援する
100.0%
SEO
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
99.9%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
99.8%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
99.8%
INT
インテリジェンスギャザラー
ブランドセーフティ、競合インサイト、広告ターゲティングのためにウェブコンテンツを分析する
99.7%
SRCH
AI検索クローラー
AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する
99.6%
INT
インテリジェンスギャザラー
ブランドセーフティ、競合インサイト、広告ターゲティングのためにウェブコンテンツを分析する
99.6%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
99.3%
SEO
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
99.3%
SEO
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
99.3%
SEO
SEOクローラー
SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する
99.1%
SCRP
AIデータスクレイパー
LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする
99.0%
最高のrobots.txt有効性パーセンテージを持つエージェント
トップブロックエージェント
最も多くのトップウェブサイトによってブロックされたエージェント
偽装とセキュリティ
どのエージェントが最も頻繁に偽装されているか、および偽装アクティビティが時間とともにどのように変化するかを確認します。訪問は、認識されたエージェントIDを主張するが、そのエージェントがサポートする認証方法(検証済みIPまたはHTTPメッセージ署名(Web Bot Auth))に失敗した場合に偽装されたと見なされます。
アクティブな脅威: AIボット偽装キャンペーン
AIボットを偽装してウェブサイトの脆弱性をスキャンする、広範なキャンペーンが観測されています。攻撃者は、AIコーディングツールが使用する認証情報および設定パスを標的としているようです。詳細についてはお問い合わせいただくか、ご自身のトラフィックを検査してください。
エージェントID別の偽装トラフィック
エージェントIDごとの偽装ウェブサイトトラフィックの割合の推移
トップ偽装エージェントID
最も偽装されているエージェントID
最近のトップターゲットパス
/.config/anthropic/credentials/default.json
/.claude/settings.json
/.claude.json
/.hermes/.env
/.openclaw/.env
/.codex/config.toml
/.continue/config.json
/.aider.conf.yml
/service-account.json
/serviceaccountkey.json
/service_account.json
/firebase-adminsdk.json
/firebase-service-account.json
/.aws/credentials
/.aws/config
/.s3cfg
/.boto
/.npmrc
/.env.example
/.env.local
/.env.production
/.env.backup
/.env.old
/backend/.env
/api/.env
/admin/.env
/dockerfile
/docker-compose.yaml
/.docker/config.json
/terraform.tfstate
/credentials.json
/secrets.json
/secrets.yml
/key.json
/rclone.conf
最近のトップターゲットリクエストパスの例
AIチャット参照
ChatGPT、Perplexity、GeminiなどのAIプラットフォームがどのウェブサイトを引用し、人間からの参照トラフィックを送信しているかを確認します。引用は推定値です。Googleのガイドでは、ウェブサイトがAIチャット応答でより目立つようにコンテンツを最適化する方法(GEO)を説明しています。
AIチャットプラットフォーム別トラフィック
ChatGPT
Claude
Copilot
DeepSeek
Gemini
Meta AI
Mistral
Perplexity
AIチャットプラットフォーム別の参照アクティビティの推移
トップ言及(引用)ウェブサイトカテゴリ
参考資料
2.2%
金融
1.8%
科学
1.7%
コンピュータおよびエレクトロニクス
1.5%
美容とフィットネス
1.5%
インターネットおよび通信
1.4%
自動車および車両
1.3%
旅行および交通
1.3%
ビジネスおよび産業
1.3%
不動産
1.0%
ショッピング
1.0%
法律および政府
1.0%
求人および教育
1.0%
健康
0.9%
ニュース
0.9%
AIチャット応答で最も頻繁に引用されるウェブサイトカテゴリ
トップクリック(参照)ウェブサイトカテゴリ
スポーツ
0.3%
旅行および交通
0.3%
コンピュータおよびエレクトロニクス
0.2%
自動車および車両
0.2%
美容とフィットネス
0.2%
人々および社会
0.1%
金融
0.1%
ホーム&ガーデン
0.1%
ビジネスおよび産業
0.1%
健康
0.1%
不動産
0.0%
ショッピング
0.0%
求人および教育
0.0%
インターネットおよび通信
0.0%
参考資料
0.0%
AIチャットから最も多くの参照を受けるウェブサイトカテゴリ
方法論
データスコープ
インデックスは、Agent Analytics および AI Chat Referral Tracking を使用する 5,000 以上のウェブサイトからのトラフィック、セキュリティ、および参照データを、完了した日のデータを使用して毎日更新します。パーセンテージの変更は、同期間で比較されます。エージェントデータは Agent Directory から取得され、ウェブサイトカテゴリは Google AdSense に従います。参加しているウェブサイトはランダムサンプルではなく、適格セットは時間とともに変化するため、結果はグローバルなウェブトラフィックのセンサスではなく、観察された方向性トレンドを示します。
適格性と集計
最小限のアクティビティとデータ品質の要件を満たすウェブサイトの日のみが含まれます。内部、テスト、不完全、異常なデータは除外されます。ボットのパーセンテージは全ページビューを使用し、AIチャット参照のパーセンテージは特定されたボットを除外した後の推定人間ページビューを使用します。レートはウェブサイト日ごとに計算され、その後平均化され、トラフィックに関係なく各ウェブサイトに均等な重みが与えられます。日次チャートは、自然な季節性を保持するために平滑化されていません。
robots.txt有効性の測定
robots.txt有効性は、Disallow: / を使用してエージェントをサイト全体でブロックすることに関連するトラフィック削減を推定します。各エージェントと日について、ベースラインの許可レートには、ゼロエージェントページビューを持つものも含め、それを許可するすべての適格ウェブサイトが含まれます。
r = meanallowed websites(agent pageviewstotal pageviews)
ブロックされた各ウェブサイトについて、期待されるページビューは次のようになります。
E = r × total pageviews
観測されたDisallowページビュー O が与えられた場合、スコアは次のようになります。
S = 100 × max(0, 1 − O/E)
0%のスコアはページビューが期待値と一致またはそれを超えたことを意味し、50%は期待値の半分、100%は観測されなかったことを意味します。
スコアは、過去28日間のうち少なくとも14日間、複数の許可およびブロックされたウェブサイトにわたる意味のあるアクティビティを必要とします。各適格ウェブサイトの日には均等な重みが与えられ、ヘッドラインスコアは各適格エージェントに均等な重みを与えます。認証をサポートするエージェントについては、検証済みのページビューのみがカウントされます。この観測スコアは、意図や因果関係ではなく、結果を測定します。
トップブロックボットは、Similarwebのトップ1,000ウェブサイトのrobots.txtスキャンとは別に計算されます。
偽装ボットの特定
偽装統計は、既知のエージェントのIDを主張するが、IP検証やHTTPメッセージ署名(Web Bot Auth)などのサポートされている認証方法に失敗したページビューをカウントします。各エージェントの日次レートは、ウェブサイトあたりの総ページビューに対して計算され、その後ウェブサイト間で平均化されます。失敗はなりすましを示唆しますが、実際のソフトウェアやオペレーターを特定するものではありません。サポートされている認証がないエージェントは除外されます。
AIチャットの引用と参照
AIチャット参照は、参照元またはキャンペーンソースに認識されたAIプラットフォームがある人間の訪問をカウントします。そのようなデータがない訪問は帰属できません。引用の推定は、AIプラットフォームのためにコンテンツを取得するエージェントからのリクエストを使用します。これらのリクエストは応答に影響を与える可能性がありますが、ユーザーが引用を見たことを証明するものではないため、引用結果は正確な数ではなく方向性を示します。
よくある質問
ジャーナリストやメディア組織はこのデータを使用できますか?
はい、もちろんです。このページへのリンクと出典の明記があれば、The Agentic Web Indexを引用できます。インタビュー、事実確認、背景情報、またはストーリーのためのより具体的な内訳については、お問い合わせいただき、締め切りをお知らせください。
研究者と協力していますか?
はい、もちろんです。エージェントとボットがウェブをどのように変えているかについての思慮深い研究を歓迎します。研究の質問 、期間、および意図された使用方法についてお聞かせください。範囲とデータの制約によっては、追加のコンテキストを提供したり、アプローチを比較したり、共同分析を検討したりできる場合があります。
特定の分析をリクエストできますか?
はい。ここに表示されていないエージェント、オペレーター、アクティビティタイプ、ウェブサイトカテゴリ、または期間ごとの内訳が必要な場合は、お問い合わせください。基になるデータがそれをサポートする場合、質問を調査し、的を絞った分析を提供できます。
自分のウェブサイトでこれらのトレンドを確認するにはどうすればよいですか?
Agent Analytics は、どのエージェントとボットがあなたのウェブサイトを訪問し、何にアクセスし、それらのアクティビティが時間とともにどのように変化するかを示します。AI Chat Referral Tracking は、AIチャットプラットフォームから到着する人間トラフィックを測定します。Automatic Robots.txt は、どのボットがコンテンツにアクセスできるかを管理するのに役立ちます。