HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIボットを偽装した大規模脆弱性スキャンが実行されている

Someone is running mass vulnerability scans, spoofing AI bots like ClaudeBot (knownagents.com)

284 pointsby gavinhking215 コメント

要約

インターネットは人間中心から機械中心へと急速に進化しており、AIエージェントやボットによるトラフィックが全体の35%を占め、そのうち28%がAI関連です。この記事では、AIボットを偽装した脆弱性スキャンが実行されている現状と、ウェブサイトへのAIエージェントの活動状況を分析しています。

全文翻訳

エージェント型ウェブインデックス

概要

Agent Analytics および AI Chat Referral Tracking を利用する 5,000 以上のウェブサイトにおける、主要なエコシステム指標。

ボット対人間トラフィック

34%

↓ 0%

過去 90 日間と比較

既知のエージェントと人間のページビュー数

エージェント化

29%

↑ 2%

過去 90 日間と比較

AI関連のボットトラフィックの割合

AIチャット参照トラフィック量

0.1%

↑ 23%

過去 90 日間と比較

人間のウェブサイトページビューのうち、AIチャットからの割合

参照トレンドを見る ↓

robots.txtの有効性

93.7%

ボットがrobots.txtルールに従う頻度

エージェント別を見る ↓

エージェントタイプ別トラフィック

AIエージェント

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

AIアシスタント

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

AIコーディングエージェント

AIコーディングエージェント

ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する

AIデータプロバイダー

AIデータプロバイダー

AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする

AIデータスクレイパー

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

AI検索クローラー

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

アーカイバー

アーカイバー

長期的なデジタル保存のために、ウェブサイトのスナップショットをキャプチャして保存する

自動化エージェント

自動化エージェント

直接的な人間の監視なしに、プログラムでブラウザ操作を自動化する

デベロッパーヘルパー

デベロッパーヘルパー

ウェブサイト機能のテスト、デバッグ、および保証を支援する

フェッチャー

フェッチャー

リンクプレビューやフィードなどのアプリ機能を強化するために、ウェブページのメタデータを取得する

インテリジェンスギャザラー

インテリジェンスギャザラー

ブランドセーフティ、競合インサイト、広告ターゲティングのためにウェブコンテンツを分析する

スクレイパー

スクレイパー

しばしばウェブサイトの明示的な許可なしに、大量のウェブデータを抽出する

検索エンジンクローラー

検索エンジンクローラー

検索結果に含めるために、ウェブページを体系的にスキャンおよびインデックス化する

セキュリティスキャナー

セキュリティスキャナー

ウェブサイトのセキュリティ脆弱性、脅威、および設定上の弱点をスキャンする

SEOクローラー

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

未分類

未分類

まだタイプが割り当てられていない

文書化されていないAIエージェント

文書化されていないAIエージェント

目的を開示せずにウェブサイトをクロールし、未知のAI用途のためにデータを収集する

各エージェントタイプについて、その機能に関する詳細情報をホバーして確認してください。

トップエージェントタイプ

最もアクティブなエージェントタイプ

トップ訪問エージェント

bingbot

SRCH

検索エンジンクローラー

検索結果に含めるために、ウェブページを体系的にスキャンおよびインデックス化する

8.8%

Known Agent

DEV

デベロッパーヘルパー

ウェブサイト機能のテスト、デバッグ、および保証を支援する

7.4%

AhrefsBot

SEO

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

6.7%

Googlebot

SRCH

検索エンジンクローラー

検索結果に含めるために、ウェブページを体系的にスキャンおよびインデックス化する

6.6%

PetalBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

3.4%

ClaudeBot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

3.2%

facebookexternalhit

FTCH

フェッチャー

リンクプレビューやフィードなどのアプリ機能を強化するために、ウェブページのメタデータを取得する

2.8%

SemrushBot

SEO

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

2.8%

Baiduspider

SRCH

検索エンジンクローラー

検索結果に含めるために、ウェブページを体系的にスキャンおよびインデックス化する

2.6%

meta-externalagent

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

2.2%

DotBot

SEO

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

1.9%

meta-webindexer

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

1.8%

Amazonbot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

1.8%

MJ12bot

SEO

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

1.7%

Applebot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

1.6%

最もアクティブなエージェント

トップオペレーター

最もアクティブなオペレーター

AIトレーニングアクティビティ

これらのボットは、AIモデルのトレーニングのためにウェブサイトコンテンツをスクレイピングします。一部はAI企業に属し、その他はデータを再販するサードパーティサービスに属しています。Automatic Robots.txt は不要なスクレイピングをブロックできます。対象となるエージェントタイプには、AIデータプロバイダー および AIデータスクレイパー が含まれます。

エージェントタイプ別トラフィック

AIデータプロバイダー

AIデータプロバイダー

AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする

AIデータスクレイパー

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

エージェントタイプ別のAIトレーニングアクティビティの推移

トップ訪問ウェブサイトカテゴリ

オンラインコミュニティ

8.0%

ゲーム

6.8%

コンピュータおよびエレクトロニクス

6.8%

ビジネスおよび産業

6.1%

法律および政府

6.0%

インターネットおよび通信

5.9%

ホーム&ガーデン

5.8%

美容とフィットネス

5.5%

ペットと動物

5.4%

求人および教育

5.3%

ショッピング

5.2%

金融

5.1%

趣味とレジャー

5.0%

最もアクティブなウェブサイトカテゴリ

トップエージェント

ClaudeBot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

23.9%

meta-externalagent

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

16.5%

Amazonbot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

13.3%

Bytespider

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

6.2%

GPTBot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

6.0%

ShapBot

PVDR

AIデータプロバイダー

AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする

6.0%

ReflectionBot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

5.5%

YouBot

PVDR

AIデータプロバイダー

AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする

3.7%

CCBot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

2.5%

GoogleOther

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

2.3%

DeepSeekBot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

2.0%

QwenBot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

1.2%

MoonshotBot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

1.2%

Bravebot

PVDR

AIデータプロバイダー

AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする

1.2%

ChatGLM-Spider

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

1.0%

AIトレーニングを最も多く行っているエージェント

トップオペレーター

AIトレーニングを最も多く行っているオペレーター

AIフェッチアクティビティ

これらのボットは、AIアシスタント、コーディングエージェント、その他の検索拡張生成(RAG)タスクを強化するために、リアルタイムでウェブサイトコンテンツを取得します。ページは、アシスタントが記事を要約したり、コーディングエージェントがドキュメントを参照したりする際に、その場で応答を形成します。対象となるエージェントタイプには、AIアシスタント および AIコーディングエージェント が含まれます。

エージェントタイプ別トラフィック

AIアシスタント

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

AIコーディングエージェント

AIコーディングエージェント

ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する

エージェントタイプ別のAIフェッチアクティビティの推移

トップ訪問ウェブサイトカテゴリ

参考資料

2.2%

金融

1.9%

科学

1.7%

コンピュータおよびエレクトロニクス

1.6%

インターネットおよび通信

1.5%

美容とフィットネス

1.5%

自動車および車両

1.4%

旅行および交通

1.3%

ビジネスおよび産業

1.3%

不動産

1.0%

ショッピング

1.0%

法律および政府

1.0%

求人および教育

1.0%

最もアクティブなウェブサイトカテゴリ

トップエージェント

ChatGPT-User

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

76.1%

Claude-User

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

10.7%

DuckAssistBot

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

7.1%

Claude-Code

CODE

AIコーディングエージェント

ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する

3.9%

Google-NotebookLM

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

0.6%

opencode

CODE

AIコーディングエージェント

ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する

0.4%

Shap-User

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

0.3%

Perplexity-User

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

0.3%

MistralAI-User

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

0.2%

GoogleAgent-URLContext

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

0.1%

meta-externalfetcher

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

0.1%

amazon-QBusiness

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

0.0%

Code

CODE

AIコーディングエージェント

ソフトウェア構築を支援するために、ドキュメントやその他のリソースを取得する

0.0%

Amzn-User

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

0.0%

Gemini-Deep-Research

ASST

AIアシスタント

ユーザーのプロンプトに応答してウェブサイトコンテンツを取得し、AI生成の回答に含める

0.0%

AIフェッチを最も多く行っているエージェント

トップオペレーター

AIフェッチを最も多く行っているオペレーター

AI検索インデックス作成アクティビティ

これらのボットは、AI検索エンジンやAI生成回答で表示できるように、ウェブサイトコンテンツをクロールします。これらの回答には、しばしば引用やソースページへのリンクが含まれます。対象となるエージェントタイプには、AI検索クローラー が含まれます。

エージェントタイプ別トラフィック

AI検索クローラー

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

エージェントタイプ別のAI検索インデックス作成アクティビティの推移

トップ訪問ウェブサイトカテゴリ

旅行および交通

7.6%

参考資料

7.2%

科学

6.2%

法律および政府

6.1%

書籍および文学

5.7%

食品と飲料

5.6%

健康

5.5%

求人および教育

5.4%

コンピュータおよびエレクトロニクス

5.3%

趣味とレジャー

5.2%

芸術とエンターテイメント

5.0%

ビジネスおよび産業

4.8%

人々および社会

4.7%

最もアクティブなウェブサイトカテゴリ

トップエージェント

PetalBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

25.8%

meta-webindexer

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

13.5%

Applebot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

12.0%

Claude-SearchBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

12.0%

Amzn-SearchBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

10.9%

OAI-SearchBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

10.6%

ExaSearchBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

6.0%

LinkupBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

4.7%

PerplexityBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

3.3%

AIWebIndex

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

0.4%

AzureAI-SearchBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

0.3%

TalarionSearchBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

0.2%

xAI-SearchBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

0.2%

Google-CloudVertexBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

0.1%

Kimi-SearchBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

0.0%

AI検索インデックス作成を最も多く行っているエージェント

トップオペレーター

AI検索インデックス作成を最も多く行っているオペレーター

AIブラウジングアクティビティ

これらのボットはブラウザを使用してウェブサイトを自律的にナビゲートし、ページを遷移し、タスクを完了するための決定を行います。エージェント型UXベストプラクティス および Google PageSpeed Insights は、ウェブサイトがそれらをどの程度サポートしているかを評価するのに役立ちます。対象となるエージェントタイプには、AIエージェント が含まれます。

平均セッション時間

2分

↑ 111%

過去 90 日間と比較

セッションの平均時間

セッションあたりの平均リクエスト数

15.8

↑ 141%

過去 90 日間と比較

セッションあたりの平均訪問ページ数

エージェントタイプ別トラフィック

AIエージェント

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

エージェントタイプ別のAIブラウジングアクティビティの推移

トップ訪問ウェブサイトカテゴリ

法律および政府

0.2%

コンピュータおよびエレクトロニクス

0.1%

ショッピング

0.1%

ビジネスおよび産業

0.0%

芸術とエンターテイメント

0.0%

健康

0.0%

自動車および車両

0.0%

インターネットおよび通信

0.0%

金融

0.0%

旅行および交通

0.0%

ホーム&ガーデン

0.0%

人々および社会

0.0%

不動産

0.0%

最もアクティブなウェブサイトカテゴリ

トップエージェント

ChatGPT Agent

AGNT

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

62.1%

Google-Agent

AGNT

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

31.3%

Manus-User

AGNT

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

6.1%

Kimi-Agent

AGNT

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

0.5%

NovaAct

AGNT

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

0.0%

GoogleAgent-Mariner

AGNT

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

0.0%

AmazonBuyForMe

AGNT

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

0.0%

TwinAgent

AGNT

AIエージェント

実際のウェブブラウザを使用し、人間のユーザーに代わって複雑なタスクを自律的に実行する

0.0%

AIブラウジングを最も多く行っているエージェント

トップオペレーター

AIブラウジングを最も多く行っているオペレーター

robots.txt & コンプライアンス

どのrobots.txtルールがウェブ全体で設定されており、エージェントがそれらにどの程度従っているかを確認します。エージェントのrobots.txt有効性は、ブロック後にトラフィックがどの程度減少するかを推定することで、そのエージェントに対するDisallowルールの有効性を測定します。

有効性(全体)

93.7%

すべてのエージェントタイプにわたるすべてのエージェントがrobots.txtルールに従う頻度

トップルール遵守エージェント

proximic

INT

インテリジェンスギャザラー

ブランドセーフティ、競合インサイト、広告ターゲティングのためにウェブコンテンツを分析する

100.0%

serpstatbot

SEO

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

100.0%

YouBot

PVDR

AIデータプロバイダー

AIシステムに構造化コンテンツをサードパーティサービスとして供給するためにウェブサイトをクロールする

100.0%

Known Agent

DEV

デベロッパーヘルパー

ウェブサイト機能のテスト、デバッグ、および保証を支援する

100.0%

AhrefsSiteAudit

SEO

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

99.9%

meta-externalagent

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

99.8%

LinkupBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

99.8%

meta-externalads

INT

インテリジェンスギャザラー

ブランドセーフティ、競合インサイト、広告ターゲティングのためにウェブコンテンツを分析する

99.7%

Claude-SearchBot

SRCH

AI検索クローラー

AI搭載検索結果の引用として含めるために、ウェブサイトコンテンツを体系的にインデックス化する

99.6%

Dataprovider.com

INT

インテリジェンスギャザラー

ブランドセーフティ、競合インサイト、広告ターゲティングのためにウェブコンテンツを分析する

99.6%

Amazonbot

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

99.3%

Barkrowler

SEO

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

99.3%

SERankingBacklinksBot

SEO

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

99.3%

AhrefsBot

SEO

SEOクローラー

SEO改善の機会を特定するために、ウェブサイトの構造とコンテンツを分析する

99.1%

GoogleOther

SCRP

AIデータスクレイパー

LLMなどのAIモデルのトレーニングに使用されるデータセットに含めるために、ウェブサイトコンテンツをダウンロードする

99.0%

最高のrobots.txt有効性パーセンテージを持つエージェント

トップブロックエージェント

最も多くのトップウェブサイトによってブロックされたエージェント

偽装とセキュリティ

どのエージェントが最も頻繁に偽装されているか、および偽装アクティビティが時間とともにどのように変化するかを確認します。訪問は、認識されたエージェントIDを主張するが、そのエージェントがサポートする認証方法(検証済みIPまたはHTTPメッセージ署名(Web Bot Auth))に失敗した場合に偽装されたと見なされます。

アクティブな脅威: AIボット偽装キャンペーン

AIボットを偽装してウェブサイトの脆弱性をスキャンする、広範なキャンペーンが観測されています。攻撃者は、AIコーディングツールが使用する認証情報および設定パスを標的としているようです。詳細についてはお問い合わせいただくか、ご自身のトラフィックを検査してください。

エージェントID別の偽装トラフィック

エージェントIDごとの偽装ウェブサイトトラフィックの割合の推移

トップ偽装エージェントID

最も偽装されているエージェントID

最近のトップターゲットパス

/.config/anthropic/credentials/default.json

/.claude/settings.json

/.claude.json

/.hermes/.env

/.openclaw/.env

/.codex/config.toml

/.continue/config.json

/.aider.conf.yml

/service-account.json

/serviceaccountkey.json

/service_account.json

/firebase-adminsdk.json

/firebase-service-account.json

/.aws/credentials

/.aws/config

/.s3cfg

/.boto

/.npmrc

/.env.example

/.env.local

/.env.production

/.env.backup

/.env.old

/backend/.env

/api/.env

/admin/.env

/dockerfile

/docker-compose.yaml

/.docker/config.json

/terraform.tfstate

/credentials.json

/secrets.json

/secrets.yml

/key.json

/rclone.conf

最近のトップターゲットリクエストパスの例

AIチャット参照

ChatGPT、Perplexity、GeminiなどのAIプラットフォームがどのウェブサイトを引用し、人間からの参照トラフィックを送信しているかを確認します。引用は推定値です。Googleのガイドでは、ウェブサイトがAIチャット応答でより目立つようにコンテンツを最適化する方法(GEO)を説明しています。

AIチャットプラットフォーム別トラフィック

ChatGPT

Claude

Copilot

DeepSeek

Gemini

Meta AI

Mistral

Perplexity

AIチャットプラットフォーム別の参照アクティビティの推移

トップ言及(引用)ウェブサイトカテゴリ

参考資料

2.2%

金融

1.8%

科学

1.7%

コンピュータおよびエレクトロニクス

1.5%

美容とフィットネス

1.5%

インターネットおよび通信

1.4%

自動車および車両

1.3%

旅行および交通

1.3%

ビジネスおよび産業

1.3%

不動産

1.0%

ショッピング

1.0%

法律および政府

1.0%

求人および教育

1.0%

健康

0.9%

ニュース

0.9%

AIチャット応答で最も頻繁に引用されるウェブサイトカテゴリ

トップクリック(参照)ウェブサイトカテゴリ

スポーツ

0.3%

旅行および交通

0.3%

コンピュータおよびエレクトロニクス

0.2%

自動車および車両

0.2%

美容とフィットネス

0.2%

人々および社会

0.1%

金融

0.1%

ホーム&ガーデン

0.1%

ビジネスおよび産業

0.1%

健康

0.1%

不動産

0.0%

ショッピング

0.0%

求人および教育

0.0%

インターネットおよび通信

0.0%

参考資料

0.0%

AIチャットから最も多くの参照を受けるウェブサイトカテゴリ

方法論

データスコープ

インデックスは、Agent Analytics および AI Chat Referral Tracking を使用する 5,000 以上のウェブサイトからのトラフィック、セキュリティ、および参照データを、完了した日のデータを使用して毎日更新します。パーセンテージの変更は、同期間で比較されます。エージェントデータは Agent Directory から取得され、ウェブサイトカテゴリは Google AdSense に従います。参加しているウェブサイトはランダムサンプルではなく、適格セットは時間とともに変化するため、結果はグローバルなウェブトラフィックのセンサスではなく、観察された方向性トレンドを示します。

適格性と集計

最小限のアクティビティとデータ品質の要件を満たすウェブサイトの日のみが含まれます。内部、テスト、不完全、異常なデータは除外されます。ボットのパーセンテージは全ページビューを使用し、AIチャット参照のパーセンテージは特定されたボットを除外した後の推定人間ページビューを使用します。レートはウェブサイト日ごとに計算され、その後平均化され、トラフィックに関係なく各ウェブサイトに均等な重みが与えられます。日次チャートは、自然な季節性を保持するために平滑化されていません。

robots.txt有効性の測定

robots.txt有効性は、Disallow: / を使用してエージェントをサイト全体でブロックすることに関連するトラフィック削減を推定します。各エージェントと日について、ベースラインの許可レートには、ゼロエージェントページビューを持つものも含め、それを許可するすべての適格ウェブサイトが含まれます。

r = meanallowed websites(agent pageviewstotal pageviews)

ブロックされた各ウェブサイトについて、期待されるページビューは次のようになります。

E = r × total pageviews

観測されたDisallowページビュー O が与えられた場合、スコアは次のようになります。

S = 100 × max(0, 1 − O/E)

0%のスコアはページビューが期待値と一致またはそれを超えたことを意味し、50%は期待値の半分、100%は観測されなかったことを意味します。

スコアは、過去28日間のうち少なくとも14日間、複数の許可およびブロックされたウェブサイトにわたる意味のあるアクティビティを必要とします。各適格ウェブサイトの日には均等な重みが与えられ、ヘッドラインスコアは各適格エージェントに均等な重みを与えます。認証をサポートするエージェントについては、検証済みのページビューのみがカウントされます。この観測スコアは、意図や因果関係ではなく、結果を測定します。

トップブロックボットは、Similarwebのトップ1,000ウェブサイトのrobots.txtスキャンとは別に計算されます。

偽装ボットの特定

偽装統計は、既知のエージェントのIDを主張するが、IP検証やHTTPメッセージ署名(Web Bot Auth)などのサポートされている認証方法に失敗したページビューをカウントします。各エージェントの日次レートは、ウェブサイトあたりの総ページビューに対して計算され、その後ウェブサイト間で平均化されます。失敗はなりすましを示唆しますが、実際のソフトウェアやオペレーターを特定するものではありません。サポートされている認証がないエージェントは除外されます。

AIチャットの引用と参照

AIチャット参照は、参照元またはキャンペーンソースに認識されたAIプラットフォームがある人間の訪問をカウントします。そのようなデータがない訪問は帰属できません。引用の推定は、AIプラットフォームのためにコンテンツを取得するエージェントからのリクエストを使用します。これらのリクエストは応答に影響を与える可能性がありますが、ユーザーが引用を見たことを証明するものではないため、引用結果は正確な数ではなく方向性を示します。

よくある質問

ジャーナリストやメディア組織はこのデータを使用できますか?

はい、もちろんです。このページへのリンクと出典の明記があれば、The Agentic Web Indexを引用できます。インタビュー、事実確認、背景情報、またはストーリーのためのより具体的な内訳については、お問い合わせいただき、締め切りをお知らせください。


研究者と協力していますか?

はい、もちろんです。エージェントとボットがウェブをどのように変えているかについての思慮深い研究を歓迎します。研究の質問 、期間、および意図された使用方法についてお聞かせください。範囲とデータの制約によっては、追加のコンテキストを提供したり、アプローチを比較したり、共同分析を検討したりできる場合があります。


特定の分析をリクエストできますか?

はい。ここに表示されていないエージェント、オペレーター、アクティビティタイプ、ウェブサイトカテゴリ、または期間ごとの内訳が必要な場合は、お問い合わせください。基になるデータがそれをサポートする場合、質問を調査し、的を絞った分析を提供できます。


自分のウェブサイトでこれらのトレンドを確認するにはどうすればよいですか?

Agent Analytics は、どのエージェントとボットがあなたのウェブサイトを訪問し、何にアクセスし、それらのアクティビティが時間とともにどのように変化するかを示します。AI Chat Referral Tracking は、AIチャットプラットフォームから到着する人間トラフィックを測定します。Automatic Robots.txt は、どのボットがコンテンツにアクセスできるかを管理するのに役立ちます。