AIボットを偽装した大規模脆弱性スキャンが実行されている

エージェンティックWebインデックスインターネットは、主に人間向けに構築された環境から、ますます機械によって利用される環境へと急速に進化しています。AIエージェント、クローラー、スクレイパー、その他のボットが、ウェブ全体で情報の発見、アクセス、利用の方法をどのように再形成しているかをご覧ください。 概要エージェント分析とAIチャット参照トラッキングを使用して、5,000以上のウェブサイトにわたる主要なエコシステム指標を分析します。 ボット対人間のトラフィック35%↓ 2%過去90日間と比較してボットと人間の訪問量の比較 エージェント化28%↑ 11%過去90日間と比較してAI関連のボットトラフィックの割合 AIチャット参照ボリューム0.1%↓ 9%過去90日間と比較してAIチャットからの人間のウェブサイト訪問の割合 参照トレンドを見る↓ robots.txtの有効性98.5%ボットがrobots.txtルールに従う頻度 エージェントごとに見る↓ エージェントタイプ別のトラフィック AIエージェントAIエージェント人間のユーザーに代わって複雑なタスクを自律的に実行するために実際のWebブラウザを使用します AIアシスタントAIアシスタントユーザーのプロンプトに応答してウェブサイトのコンテンツを取得し、AI生成の回答に含めます AIコーディングエージェントAIコーディングエージェントソフトウェアの構築を支援するためにドキュメントやその他のリソースを取得します AIデータプロバイダーAIデータプロバイダーAIシステムにサードパーティサービスとして構造化コンテンツを供給するためにウェブサイトをクロールします AIデータスクレイパーAIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします AI検索クローラーAI検索クローラーAI搭載検索結果の引用として含めるためにウェブサイトのコンテンツをインデックス化します アーカイバーアーカイバー長期的なデジタル保存のためにウェブサイトのスナップショットをキャプチャして保存します 自動エージェント自動エージェント直接の人間による監視なしにプログラムでブラウザの操作を自動化します 開発者ヘルパー開発者ヘルパーウェブサイトのテスト、デバッグ、および機能の確保を支援します フェッチャーフェッチャーリンクプレビューやフィードなどのアプリ機能を強化するためにウェブページのメタデータを取得します インテリジェンスギャザラーインテリジェンスギャザラーブランドセーフティ、競合インサイト、広告ターゲティングのためにウェブコンテンツを分析します スクレイパー スクレイパー明示的なウェブサイトの許可なしに大量のウェブデータを抽出します 検索エンジンクローラー検索エンジンクローラー検索結果に含めるためにウェブページを体系的にスキャンおよびインデックス化します セキュリティスキャナーセキュリティスキャナーウェブサイトのセキュリティ脆弱性、脅威、設定ミスをスキャンします SEOクローラーSEOクローラーSEO改善の機会を特定するためにウェブサイトの構造とコンテンツを分析します 未分類未分類まだタイプが割り当てられていません 不明なAIエージェント不明なAIエージェント目的を開示せずにウェブサイトをクロールし、未知のAI用途のためにデータを収集します 各エージェントタイプにカーソルを合わせると、その機能に関する詳細情報が表示されます トップエージェントタイプ検索エンジンクローラー22.8% SEOクローラー19.7% AI検索クローラー12.4% 開発者ヘルパー11.0% AIデータスクレイパー10.9% フェッチャー7.0% 未分類エージェント6.1% AIアシスタント3.8% インテリジェンスギャザラー2.7% AIデータプロバイダー1.0% セキュリティスキャナー0.8% スクレイパー0.8% 自動エージェント0.4% アーカイバー0.3% 不明なAIエージェント0.2% 最もアクティブなエージェントタイプ トップ訪問エージェント bingbot SRCH検索エンジンクローラー体系的にウェブページをスキャンおよびインデックス化して検索結果に含めます8.2% Googlebot SRCH検索エンジンクローラー体系的にウェブページをスキャンおよびインデックス化して検索結果に含めます7.9% AhrefsBot SEO SEOクローラーウェブサイトの構造とコンテンツを分析してSEO改善の機会を特定します6.2% Known Agent DEV開発者ヘルパーウェブサイトのテスト、デバッグ、および機能の確保を支援します5.5% ChatGPT-User ASST AIアシスタントユーザーのプロンプトに応答してウェブサイトのコンテンツを取得し、AI生成の回答に含めます3.3% ClaudeBot SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします3.2% PetalBot SRCH AI検索クローラーAI搭載検索結果の引用として含めるためにウェブサイトのコンテンツをインデックス化します3.2% SemrushBot SEO SEOクローラーウェブサイトの構造とコンテンツを分析してSEO改善の機会を特定します3.0% facebookexternalhit FTCHフェッチャーリンクプレビューやフィードなどのアプリ機能を強化するためにウェブページのメタデータを取得します2.6% meta-externalagent SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします2.3% Amazonbot SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします2.3% MJ12bot SEO SEOクローラーウェブサイトの構造とコンテンツを分析してSEO改善の機会を特定します2.2% Amzn-SearchBot SRCH AI検索クローラーAI搭載検索結果の引用として含めるためにウェブサイトのコンテンツをインデックス化します2.2% DotBot SEO SEOクローラーウェブサイトの構造とコンテンツを分析してSEO改善の機会を特定します2.1% Applebot SRCH AI検索クローラーAI搭載検索結果の引用として含めるためにウェブサイトのコンテンツをインデックス化します2.1% 最もアクティブなエージェント トップオペレーター Google 10.5% Microsoft 8.9% Ahrefs 7.8% Meta 6.8% OpenAI 6.4% Known Agents 5.9% Anthropic 5.1% Amazon 4.8% Semrush 3.9% Huawei 3.4% Moz 2.3% Majestic 2.3% Baidu 2.2% Apple 2.2% Automattic 2.1% 最もアクティブなオペレーター AIスクレイピングアクティビティこれらのボットはAIモデルのトレーニングのためにウェブサイトのコンテンツをスクレイプします。一部はAI企業に属し、その他はデータを再販するサードパーティサービスに属します。自動robots.txtは不要なスクレイピングをブロックできます。含まれるエージェントタイプはAIデータスクレイパーとAIデータプロバイダーです。 エージェントタイプ別のトラフィック AIデータプロバイダーAIデータプロバイダーAIシステムにサードパーティサービスとして構造化コンテンツを供給するためにウェブサイトをクロールします AIデータスクレイパーAIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします エージェントタイプ別のAIスクレイピングアクティビティの推移 トップ訪問ウェブサイトカテゴリ 法律と政府5.0% オンラインコミュニティ5.9% 家庭と園芸5.5% コンピュータとエレクトロニクス5.3% ショッピング5.2% 仕事と教育5.2% ペットと動物5.1% ビジネスと産業5.0% 自動車と車両4.8% ゲーム4.8% 趣味とレジャー4.6% インターネットと通信4.5% 美容とフィットネス4.1% 最もアクティブなウェブサイトカテゴリ トップエージェント ClaudeBot SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします27.0% meta-externalagent SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします19.5% Amazonbot SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします19.2% GPTBot SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします9.4% Bytespider SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします7.3% ShapBot PVDR AIデータプロバイダーAIシステムにサードパーティサービスとして構造化コンテンツを供給するためにウェブサイトをクロールします5.6% GoogleOther SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします3.9% CCBot SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします2.3% Timpibot SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします1.8% YouBot PVDR AIデータプロバイダーAIシステムにサードパーティサービスとして構造化コンテンツを供給するためにウェブサイトをクロールします1.4% VelenPublicWebCrawler SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします0.8% Diffbot PVDR AIデータプロバイダーAIシステムにサードパーティサービスとして構造化コンテンツを供給するためにウェブサイトをクロールします0.5% DeepSeekBot SCRP AIデータスクレイパーLLMなどのAIモデルのトレーニングに使用されるデータセットに含めるためにウェブサイトのコンテンツをダウンロードします0.4% TerraCotta PVDR AIデータプロバイダーAIシステムにサードパーティサービスとして構造化コンテンツを供給するためにウェブサイトをクロールします0.3% AIWebIndex PVDR AIデータプロバイダーAIシステムにサードパーティサービスとして構造化コンテンツを供給するためにウェブサイトをクロールします