HN 日本語サマリー

← 一覧へ戻る
その他

私のウェブサイトのトラフィックの99%はボットでした

99% of My Website Traffic Is Bots (patronview.com)

369 pointsby petercooper349 コメント

要約

この記事は、ウェブサイトへのトラフィックの大部分がボットによって生成されているという問題に焦点を当てています。ボットトラフィックの増加は、分析の正確性を歪め、リソースを浪費する可能性があります。この現象の背後にある原因と、その影響について考察しています。

全文翻訳

私のウェブサイトのトラフィックの99%はボットです

私のデータを盗もうとしているなら、ここから始めてください!私がどのようなファイアウォールルールを導入しているかを正確に伝えれば、それらを回避しやすくなるでしょう。

冗談です。ウェブクローラーがこのようなヒントを得るためにブログ記事を読むかどうかさえ分かりません。

しかし、私は1年間、私の慈善寄付者データベースであるPatronViewでボットと戦ってきました。誰も、このようなことを教えてくれません。そこで、私が学んだことを共有します。

以下に私が学んだことの一部を紹介します:

  • 私のサイトは、ある1日で中国のボットから360万リクエストを受け取りました。
  • Cloudflareによると、Anthropicのクローラーは訪問者1人あたり約3,000回のクロールを行います。私は自分のサイトでそれを35,000:1と測定しました。
  • 2日前にAmazonのAI検索クローラーをブロックしました。それは1日あたり117,000ページを読み込んでいましたが、私には一度も訪問者をもたらしませんでした。
  • 私のCAPTCHA解決率は0.24%です。ボットは試みることさえしません。
  • そして、私が実行しているすべてのファイアウォールルールは一番下に記載されています。

人間1人あたり214回のボットによるページロード

この記事を公開した週、私のサーバーは外部から250万リクエストに応答し、128万ページを完全に提供しました。しかし、私の訪問者統計には5,977ページビューしか記録されていません。

つまり、私が認識しているページロード1回につき、私が認識していないページロードがさらに214回発生していることになります。

これがタイトルの由来です。128万ページ提供のうち5,977回の人間によるページビューは、全体の0.5%未満です。もしそうなら、99%がボットだと呼ぶのは切り捨てていることになります。

青い四角は私が確認できるトラフィックです。灰色の四角は実際に私のサーバーに負荷をかけているものです。私は分析のために自己ホスト型のPlausible Community Editionを使用しており、JavaScriptを実行する訪問者のみをカウントします。ボットはほとんど実行しません。

私の訪問者統計は、1日あたり約500人の訪問者という、整然とした小さなサイトを示しています。しかし、私のサーバーは毎週数百万もの実際のリクエストに応答しています。

PlausibleやFathom、Google AnalyticsのようなJavaScriptツールからの訪問者統計のみを見ている場合、何がサーバーにヒットしているのか全く分からないでしょう。私もそうでした。

最初のボットネット

PatronViewは、私が様々なレベルの知性で作り上げたアメリカの慈善家たちのカスタムデータベースです。IRSの990フォーム、公開されている寄付者リスト、そして年次報告書から構築された150万件の個人プロフィールページ(こちらやこちら、こちらのようなもの)があります。

そしてはい、私のサイトは公開文書をスクレイピングしてデータを取得しています。だから、私はスクレイパーでありながらスクレイパーについて不満を言うブログ記事を書いているのです。それがどのように聞こえるかは認識しています。記録のために言っておくと、私は年に数回しかソースをスクレイピングせず、1日に数千回も行っていません。

最初から、SemrushBot、AhrefsBot、MJ12bot、DataForSEOBotのようなSEOクローラーがサイトを叩き、すべてのページを何度も何度もクロールしていました。robots.txtでブロックし、その後Cloudflareレベルでセキュリティルールでブロックすることが、これらすべてへの私の入り口でした。

そして2025年11月、数日の間に4,000人の「訪問者」が現れました。それぞれが正確に1ページを訪問し、直帰率は99%でした。さらに示唆的だったのは、リファラーがなかったことです。これは私がボットを特定する最も簡単な方法です。そして、彼らは私のファンドページ(こちらやこちら、こちらのようなもの)だけをクロールしていました。これは実際の訪問者の10%しか見ないページです。しかし、その4,000人のボットは単なるウォーミングアップでした。

中国が到来した日

4月22日、私のサイトは1日で360万リクエストを受け付けました。それらは361,844のユニークIPアドレスから来ており、そのほとんどが中国にありました。

[画像: 提督ビューとマークされた新古典主義の美術館の建物を囲むように這う手描きの中国の龍。龍の体全体は、鼻から尾まで繋がった何百もの小さな赤いロボットで構成されており、一部は小さな赤い旗を運んでいます。下の階段には、青い服を着た小さな人間が一人立っています。]

私は、それらの中国のボットがすべてどのように見えたかを想像しようとしました。陳腐な赤い龍への許しを乞います!!

Cloudflareのマネージドチャレンジ(彼らの目に見えないCAPTCHA)は、最初の10時間でそのうち118万件を吸収しました。それでも、これらの中国のボットの驚くべき数がチャレンジを通過していました。

01M2M3MApr 10Apr 15Apr 20Apr 22Apr 25Apr 30Apr 22: 3.62Mリクエスト、361KユニークIP

2026年4月の1日あたりのリクエスト数。4月23日に中国全土のブロックを実装し、すぐに緩和が見られました。

[画像: 118万件のマネージドチャレンジの合計を示すCloudflareセキュリティイベントチャート。線は15:00頃までゼロで平坦ですが、その後14,000から25,000イベント/間隔のギザギザの帯にジャンプし、一晩中そこに留まります。]

フラッド中のCloudflareセキュリティイベント:約10時間で118万件のマネージドチャレンジ。

そこで私は、やってはいけないことをしました:国全体である中国をエッジでブロックしました。数日後、ベトナムからの模倣波が始まったので、ベトナムもブロックしました。そしてシンガポールも。

私のサイトはアメリカの美術館の寄付者のデータベースであり、英語です。私の実際の検索トラフィックは95.9%がアメリカ合衆国、1.3%がカナダです。

中国のウェブトラフィックの洪水についてツイートしたところ、返信で皆がこれと戦っていると聞きました:

  • MarketBeatのMatt Paulson:「ロシアもリストに追加するのを忘れないでください。」
  • Fathom AnalyticsのJack Ellis:「過去6ヶ月間、中国からの大量のスパムトラフィックを見ました。中国からのトラフィックは完全に減少したと顧客から聞いています。」
  • Jeremy Brandt:「私たちのすべてのサイトのCloudflareでの国別ブロックリストは…広範囲にわたります。」
  • Chris Lewicki:「戦うのをやめることにしました。私の対策は私の人生に過度の複雑さをもたらしていました。」
  • Rodrigo Rocco:「最近はクレイジーです。彼らは数千の住宅用IPを使用して、それぞれ1回の呼び出ししか行わないため、停止するのが非常に困難です。」

Rodrigoの最後のコメントを覚えておいてください。後で私に跳ね返ってきます。

クロード比率

Cloudflareによると、Anthropicのクローラーは訪問者1人あたり約3,000ページをクロールします。6月に私はそれを測定しました:35,000対1。

それが何を意味するかを明確にするために言います:Claudeが私に送った訪問者1人につき、そのクローラーは私のページを35,000ページ読みました。

[画像: 1人の人間(ラベル:訪問者1人)を片方の手のひらに乗せ、もう片方の手で紙の塔がフレームの上部から外れるほど高く積み上げられたカート(ラベル:35,000ページ)を引いている手描きのロボット。]

著作権で訴えられないようにClaudeのロゴは使いませんでした!しかし、このボットの名前をClaudeだと想像してください。

私はそれをCloudflareのAIクローラーダッシュボードで見つけました。以下に示します。Claude-SearchBot、Anthropicの検索クローラーは、1週間で420,680ページをリクエストしていました。同じ週、Claudeは私に12人の人間の訪問者(Claudeがページを取得するように要求した実際の人間が使用する別のユーザーエージェントであるClaude-Userで測定)を送ってきました。これは下部の平坦な線です。

[画像: 6月のある週のCloudflare AIクローラーダッシュボード。Claude-SearchBot:420.68kリクエスト、1時間あたり約1,500から3,500の間で変動する密な線。Claude-User:12、下軸に固定された平坦な線。]

帯域幅タブはさらに悪かったです。その週、私はボットに4.63 GBを、それが送ってきた人間には175 KBを提供しました:

[画像: 同じダッシュボードの帯域幅タブ。Claude-SearchBot:4.63 GB、1週間中約20 MBから40 MB/時の間で実行される線。Claude-User:175.56 kB、下軸に対して平坦。]

私はAnthropicとClaudeが大好きです。私のウェブサイトはClaude Codeで構築され、Claude Codeを使ってCloudflare APIのセキュリティルールを洗練させました。Claudeを使って構築したサイトをClaudeがスクレイピングしていることについて不満を言うのは、私が受け入れた皮肉のレベルです。

しかし、AnthropicとClaudeは私にトラフィックを送りません。そこで、私はファイアウォールでClaude-SearchBotをブロックしました。

そして彼らはそれを尊重しました!クローラーは1日60,000リクエストから1日あたり約25試行に減少しました。礼儀正しいAI企業は本当に403(ウェブの「アクセス拒否」応答)を受け入れます。

訪問者1人あたりのクロールページ数

そのブロックにより、私が今すべてに使用している指標が得られました:訪問者1人あたりのクロールページ数。Googleは自分の仕事に見合うだけの価値があります。Bingは9倍悪いですが、まだ許容範囲です。LLMをトレーニングしているAIクローラーは、それに匹敵しません:

訪問者1人あたりのクロールページ数(対数スケール)。少ないほど良い。
10
100
1,000
10,000
100K
Googlebot
46:1
Bingbot
406:1
Claude-SearchBot
35,000:1
Amzn-SearchBot
∞

私が測定したクロール対紹介比率。Google:訪問者1人あたり46クロール。Amazon:無限。

あのAmazonのバーについて。この記事を調査している間に、Amzn-SearchBot、AmazonのAI検索クローラーが、現在私のトップクローラーであり、1日あたり約117,000リクエストを生成していることが分かりました。これは6月のClaudeのペースのほぼ2倍です。これはRufusやAlexaの回答に情報を提供するため、ウェブトラフィックを送り、私のニュースレターに登録させたり、ましてや私に帰属表示やバックリンクを提供したりすることはないでしょう。

そこで2日前に、同じ方法でそれをブロックしました。2分かかりました。

CloudflareのマネージドAIクロールコントロールも、ここで多くの重労働を担っています。これは宣言されたトレーニングボット(GPTBot、ClaudeBot、CCBot、Bytespider)を、私のルールが実行される前にブロックします。

同じダッシュボードは、680人の訪問者に対して158,610リクエストのBingbotを示しています。私のBingの紹介は実際に増加しているので、彼らがクロールし続けることを嬉しく思います。そして、それは私のブロック以来Anthropicを47リクエストに減少させていることを示しています。(クロールダッシュボードのスクリーンショットはこちらをクリックしてください:https://patronview.com/images/blog/bots/AI-Crawl-Control-crawlers.png)。

アメリカのデータセンター波

7月、新しい誰かがノックしてきたか、あるいはそれらのスクレイパーが私の地理的ルールに適応したかのどちらかでした。彼らはアメリカ合衆国から来ました。

AWS上のヘッドレスChromeブラウザの安定した波です。これらはJavaScriptを実行し、何千もの偽の「訪問者」で私の統計を汚染しました。

[画像: 手描きの美術館の建物にPatronViewとラベルが付けられ、あらゆる方向から漫画のロボットが群がっており、柱や階段を登り、大きな赤い矢印が端から侵入しています。青い服を着た小さな男性が屋根の上にひざまずき、頭に手を当てて汗をかき、パニックになっています。]

私、漫画で、ロボットに攻撃されている美術館の上にいます。

修正は、私が構築した最も耐久性のあるルールでした:すべてのデータセンターにチャレンジする。

実際の読者はComcastやT-Mobileからブラウズし、AWS us-east-1のIPアドレスからブラウズすることはほとんどありません。例外はクラウドデスクトップやVPNを使用している人々ですが、だからこそこのルールはブロックではなくチャレンジなのです。

CAPTCHAをオフにした日

Cloudflareの「JavaScript Detections」機能は、1年間、すべてのページにチャレンジスクリプトを挿入していました。いつかオンにしたのだと思いますか?そして、それは役立つはずだったのでしょうか?しかし、サイトの速度スコアを改善しようとしているときにそれを見つけました。

そのスクリプトは、中程度の電話で2,875ミリ秒かかりました。私のサイト自身のJavaScript全体は278ミリ秒で実行されます。それが私のモバイルLighthouseスコアが58だった最大の理由であり、私のCloudflareプランではその結果はファイアウォールルールで読み取ることさえできませんでした。そのため、誰も読めないテレメトリのために40ポイントのパフォーマンス税を支払っていました。

8月5日、それをオフにし、1時間以内にLighthouseスコア99を達成しました。

5時間後、Microsoft Azure上のスクレイパーは、80以上のIPアドレスから1時間あたり23,000ページを消費しました。各IPアドレスは、私のレート制限を下回るように丁寧に維持されていました。だから、JavaScript Detectionsは機能していたのだと思います。しかし、それをオフにした後、新しい計画が必要になりました。

そして、Chrome 118から120になりすました住宅用IPのボットネットが現れました。2023年のブラウザバージョンで、ダウンロードしたスクレイピングツールキットでフリーズしていました。

住宅用ボットネット

住宅用ボットネットとは、プロキシ会社からリクエストごとにレンタルされた、何千もの通常の家庭用インターネット接続を経由してルーティングされるスクレイピングトラフィックのことです。すべてリクエストは実際のISP上の実際の人物からのように見えます。

[画像: 5つの普通の玄関ドアの手描きの列。各ドアマットの上に、棒についた同じ笑顔の人間の顔の段ボールの切り抜きを持っている小さなロボットが立っています。一番端のロボットはマスクを下げており、その下にロボットが見えます。青い服を着た男性が歩道から見ています。]

これらの住宅用ボットネットはワイルドです。もし遭遇したことがなければ、ぜひ読んでみてください!

私はこのパターンを以前にも見たことがありました。2025年11月、訪問者統計に奇妙なことに気づきました:同じ日にほぼ同じ数の訪問者が私のサイトを訪れている、数十カ国。私の分析からのスクリーンショットはこちらです:

[画像: 国別の訪問者分析テーブル。アメリカ合衆国 640 (31.9%)、ドイツ 215、ベトナム 100、ロシア 91、イタリア 77、カナダ 74、イギリス 70、その後、インドネシア、日本、チリ、ブラジル、香港など、約12カ国が33から36の間で数人の訪問者の差で並んでいる長いテール。]

私の2025年11月のツイートからの国別内訳。分布を見てください:インドネシア、日本、チリ、ブラジル、香港がほぼ均等に分割されています。

40カ国にわたるこの均等な分布は、レンタルされたプロキシネットワークの署名です:何千もの本物に見える接続がすべて同じ顧客のために働いています。まさにRodrigoがツイートの返信で警告していたことです。

9ヶ月後、同じパターンが戻ってきました。今回はアメリカの家庭用インターネット接続で。私の最良の2つのルールは、トラフィックを発生元でソートします。1つは北米以外のすべてにチャレンジします。もう1つは大規模なクラウドプロバイダーからのすべてにチャレンジします。このトラフィックはどちらでもありません。オハイオ州のSpectrumの家から到着するので、両方のルールがそれを通過させます。7月に私のサイトにヒットした1日あたりのユニークIPアドレスのこのチャートで、それがどのように増加したかを見ることができます:

025K50K75K100K125KJul 7Jul 14Jul 21Jul 28Aug 1Jul 31: 124KユニークIP
ベースライン ~18K/日

7月の1日あたりのユニークIPヒット数。7月中に何もサイトは変更されていません。

私は2つの新しいルールで対応しました。まず、Azureやその他の主要なクラウドがデータセンターチャレンジリストに追加されました。

そして、私のお気に入りの愚かなルールを追加しました:何年も前のブラウザにチャレンジする。Chrome 100から130はCAPTCHAを受け取ります。古いFirefoxも同様です。私はまず実際のトラフィックを確認しました:私の実際の検索訪問者のわずか0.54%しか古いブラウザを使用しておらず、そのほとんどは私が除外したFirefox 115 ESRです。フリーズしたボットネットはこのルールに一日中失敗します。

私のCloudflareセキュリティルール

すべてはCloudflareのWAFで実行されます。私は月額25ドルのProプランを支払っています。ロジックポートはほとんどのモダンファイアウォールに接続できます。今日実行しているルールは次のとおりです:

  1. 中国とベトナムをブロックする。 上記参照。国別ブロックは、他のすべての人に遅延を一切追加しません。
  2. ユーザーエージェントで12のSEOクローラーをブロックする。 Semrush、Ahrefs、MJ12bot、DotBot、BLEXBot、Barkrowlerなど。彼らは正直に自己申告してくれます、感謝します。
  3. 比率の悪いAIクローラーをユーザーエージェントでブロックする。 現在:Claude-SearchBotとAmzn-SearchBot。彼らはまだrobots.txtを読むことができるので、歓迎されていないことを知っています。私のrobots.txtは、GPTBot、ClaudeBot、CCBot、Bytespider、およびその他の宣言されたトレーニングボットに立ち去るように個別に指示しています。礼儀正しいものは従います。
  4. 確認済みのボットについては、以下のすべてをスキップする。 CloudflareはGooglebot、Bingbot、Applebotを暗号学的に検証します。順序が重要です:このスキップは、上記のブロックルールの後に配置されます。「確認済み」のボットがブロックされたままでも、Googleはチャレンジを見ることはありません。
  5. 北米を除くすべての大陸にチャレンジする。 乱暴なルールですが、最も強く擁護するものです。私のオーディエンスは97%が北米です。それ以外の人には45分ごとに1回の目に見えないCAPTCHAが表示されます。
  6. 空のユーザーエージェントにチャレンジする。 実際の人間が使用するブラウザは、空のユーザーエージェント文字列を送信しません。
  7. 46のデータセンターASNにチャレンジする。 人間はAWSからブラウズしません。(一般的に)。
  8. 古いブラウザにチャレンジする。 フリーズしたボットネットのルール。
  9. レート制限:IPあたり10秒あたり30ページリクエスト。 静的ファイルは除外されているため、通常のページロードでは決して発火しません。

私のrobots.txtは、名前で12のSEOクローラーすべてをブロックしており、Cloudflareは独自のAIトレーニングブロックをエッジで追加します。ライブファイルはpatronview.com/robots.txtで読むことができます。

[画像: 手描きのレンガの壁があり、遠くまで伸びるロボットの群衆がすべて壁に押し付けられ、腕を上げています。レンガの小さな看板には403と書かれています。青い服を着た男性はすでに壁のドアを通り抜け、反対側を散歩しています。]

ロボットがすべてこのようになっているのを見るのは面白いと思いましたが、今では少し気の毒にさえ感じます。彼らはある意味かわいいです。

これらのチャレンジは実際の人間を傷つけますか?ほとんどありません。

最近の48時間で、Cloudflareは106,437件のチャレンジを発行しました。252件が解決されました。これは0.24%の解決率です。

発行されたチャレンジ(48時間)
ブラジル 10,370
シンガポール 7,089
インド 5,135
フランス 4,083
バングラデシュ 4,058
アルゼンチン 3,831
イラク 3,526
スペイン 3,428
イギリス 2,936
ドイツ 2,772
…そして失敗した割合
ブラジル 99.94%
シンガポール 99.96%
インド 99.14%
フランス 99.49%
バングラデシュ 99.68%
アルゼンチン 99.95%
イラク 100.00%
スペイン 99.97%
イギリス 99.22%
ドイツ 99.93%

シンガポール:7,089件チャレンジ、3件解決。その3件が必要なものを見つけられたことを願っています。

私のサーバーコスト

サイトはCloudflare Workers上でD1データベースとエッジのKVキャッシュと共に実行されます。ほとんどのボットリクエストはキャッシュにヒットし、1セント未満のコストです。このサイト全体を実行するための通常の請求額は約月額90ドルです。ある悪いスパイク月の間、それは約500%増加しました。

ボットは請求額の99%を使用し、私はその100%を支払っています。

本当のコストは隠れたものでした:

  • 私の訪問者統計が汚染されすぎて、自分の数字を信頼できなくなりました。これが最も痛かった点です。私はビジネスを運営しようとしています。次に何を構築すべきかを知るために、実際の人が私のサイトで何を読んでいるかを知りたいのです。ボットを通してそれらを見ることができませんでした。
  • ある午後、Azureのバーストからのキャッシュミスが積み重なり、実際の訪問者は504エラーを受け取りました。

もし私がCPUと帯域幅に対して課金される従来のVPSを使用していたら、週に数百万のリクエストで99%以上がボットであるということは、存続に関わる問題になっていたでしょう。エッジプラットフォーム上では、それは迷惑です。

その請求額の一部は私のせいであることは明らかです。私はまだ非効率的なクエリとキャッシュ設定をクリーンアップしており、それらがスパイク月を悪化させました。VPSに切り替えて独自のローカルデータベースをホストすることを常に考えていますが、Cloudflareプラットフォームで遊ぶのが好きなので抵抗しています。

この非対称性が、スクレイピングが悪化し続ける理由だと思います。スクレイパーのコストは、皆の防御が改善するよりも速く低下しました。

これがあなたに起こっている場合、どうすべきか

  1. 訪問者統計ではなく、サーバーログを見てください。あなたの統計は、起こっていることの半分以下しか見ていません。
  2. IPではなく、ASNでブロックしてください。IPは永遠にローテーションしますが、ネットワークはローテーションしません。
  3. 人間が中にいる可能性がある場合は、ブロックではなくチャレンジしてください。マネージドチャレンジはほとんどの実際の人間には見えません。そして、それを測定できます。
  4. 解決率を監視してください。0.2%の解決率はボットを意味するので、ルールを維持してください。30%の解決率は人間を負担させていることを意味するので、ルールを修正してください。
  5. セキュリティ機能のコストをプロファイルしてください。私のCAPTCHAスクリプトは、サイト全体よりも高価でした。

結論

それで、これらのどれかが機能したのでしょうか?

これらのルールを完成させてから24時間で、Cloudflareは46,729リクエストを outright でブロックしました。そのうち43,150件はAmazonのクローラーだけで、2日前に設定したブロックをまだ叩いています。

また、63,969件のチャレンジを発行し、そのうち552件しか解決されませんでした。

したがって、ルールは機能しています。うまくいけば、私が実際に望むボットと、人間を通過させ続けてくれるでしょう。少なくとも今のところは。

これはまさに whack-a-mole(モグラ叩き)だと感じます。数週間ごとに、誰か新しいのを追い払うために時間を費やさなければなりません。

[画像: 手描きのアーケードキャビネットにwhack-a-botとレタリングされ、名前の横に小さなオレンジ色のCloudflareクラウドがあります。ボード全体に穴からロボットの頭が飛び出しています。後ろから見た青い服の男性が、そのうちの1つに木槌を振っています。]

この画像が大好きです。そして、もしあなたが知りたいなら、Skee-Ballは実際には私のお気に入りのアーケードゲームです。

ここには本当の対立があります。Google、Bing、DuckDuckGoに私のサイトをクロールさせて新しい読者を送ってほしいです。しかし、他のすべてにそれを剥ぎ取られたくはありません。そして、住宅用ボットネットはすでにCAPTCHAを解決しており、実際のブラウザと全く同じように見えます。ネットワークレベルでそれらをブロックすることは、設計上不可能です。

スクレイピングは、より安価になり続けているため、悪化し続けています。したがって、唯一の本当の解決策は経済的なものだと思います。Cloudflareはpay-per-crawlを構築しており、エッジでリクエストごとにクローラーが支払います。私はAmazonに毎月350万ページを公正なレートで喜んで販売するでしょう。

そのような市場が存在するまで、私のルールはシンプルです:訪問者を決して送ってこないクローラーはブロックされる。

あなたもこれを戦っているなら、私にメールしてください:hello@nickgray.net。ノートを交換できれば嬉しいです。

付録:正確なルール式

技術的な読者のために。これらは、API経由でCloudflareゾーンからコピーした、ルールの背後にある実際の式です。これらはCloudflareのルール言語で書かれており、ほとんどのファイアウォールに軽い翻訳で移植できるはずです。内部のハウスキーピングスキップをいくつか省略しました。

中国とベトナムをブロックする。 2つの別々のルール、アクション:ブロック。

(ip.src.country in {"CN"})
(ip.src.country eq "VN")

ユーザーエージェントでSEOクローラーをブロックする。 アクション:ブロック。

(lower(http.user_agent) contains "barkrowler") or
(lower(http.user_agent) contains "thinkbot") or
(lower(http.user_agent) contains "brightbot") or
(lower(http.user_agent) contains "mj12bot") or
(lower(http.user_agent) contains "semrushbot") or
(lower(http.user_agent) contains "siteauditbot") or
(lower(http.user_agent) contains "ahrefsbot") or
(lower(http.user_agent) contains "ahrefssiteaudit") or
(lower(http.user_agent) contains "dataforseobot") or
(lower(http.user_agent) contains "dotbot") or
(lower(http.user_agent) contains "blexbot") or
(lower(http.user_agent) contains "splitsignalbot")

比率の悪いAIクローラーをブロックする。 アクション:ブロック。除外に注意:ブロックされたクローラーはまだrobots.txtを読むことができます。これは、なぜブロックされているかを伝えるファイルです。

(http.request.uri.path ne "/robots.txt" and
  (http.user_agent contains "Claude-SearchBot" or
   http.user_agent contains "Amzn-SearchBot"))

確認済みのボットについては、以下のすべてをスキップする。 アクション:スキップ(残りのカスタムルール + レート制限)。1つの式。順序が重要です:これは上記のブロックの後に配置されるため、ブロックされたボットはブロックされたままですが、Googlebotはチャレンジを見ることはありません。

(cf.client.bot)

北米を除くすべての大陸にチャレンジする。 アクション:マネージドチャレンジ。最後の国除外は、グアム、アメリカ領サモア、北マリアナ諸島がオセアニア大陸コードを持つ米国の領土であるためです。実際の米国本土の読者はそこに住んでいます。T1はTorネットワークです。

((ip.src.asnum in {212238 139341 9009}) or
 (ip.src.continent in {"AF" "AN" "AS" "OC" "SA" "T1" "EU"}))
and not cf.client.bot
and not (ip.src.country in {"GU" "AS" "MP"})

空のユーザーエージェントにチャレンジする。 アクション:マネージドチャレンジ。

(http.user_agent eq "") and not cf.client.bot

データセンターとクラウドASNにチャレンジする。 アクション:マネージドチャレンジ。AWS、Azure、Google Cloud、Oracle、Alibaba、DigitalOcean、Vultr、Linode、OVH、Hetzner、Hurricane Electric、およびスクレイピングを検出したすべてのホスティングネットワーク。

(ip.src.asnum in {14618 16509 8987 396982 14061 20473 63949
  16276 24940 213230 55286 64286 36352 18779 40676 397423
  46261 399073 2914 13332 30058 11798 21769 62874 202015
  55933 393886 27411 396362 395954 396190 19148 30633 8075
  8070 8068 8069 31898 45102 37963 36351 136907 45090 207990
  17497 6939}) and not cf.client.bot

古いブラウザのメジャーバージョンにチャレンジする。 アクション:マネージドチャレンジ。CloudflareのProプランにはルール式で正規表現マッチングがないため(これはBusiness機能です)、はい、これは55のcontains句です。Firefox 115は、実際の訪問者がまだ使用している古いESRリリースであり、古いオペレーティングシステムに固定されているためスキップされます。バージョンが古くなるにつれて四半期ごとに更新が必要です。

完全な式を展開

(http.user_agent contains "Chrome/100." or
 http.user_agent contains "Chrome/101." or
 http.user_agent contains "Chrome/102." or
 http.user_agent contains "Chrome/103." or
 http.user_agent contains "Chrome/104." or
 http.user_agent contains "Chrome/105." or
 http.user_agent contains "Chrome/106." or
 http.user_agent contains "Chrome/107." or
 http.user_agent contains "Chrome/108." or
 http.user_agent contains "Chrome/109." or
 http.user_agent contains "Chrome/110." or
 http.user_agent contains "Chrome/111." or
 http.user_agent contains "Chrome/112." or
 http.user_agent contains "Chrome/113." or
 http.user_agent contains "Chrome/114." or
 http.user_agent contains "Chrome/115." or
 http.user_agent contains "Chrome/116." or
 http.user_agent contains "Chrome/117." or
 http.user_agent contains "Chrome/118." or
 http.user_agent contains "Chrome/119." or
 http.user_agent contains "Chrome/120." or
 http.user_agent contains "Chrome/121." or
 http.user_agent contains "Chrome/122." or
 http.user_agent contains "Chrome/123." or
 http.user_agent contains "Chrome/124." or
 http.user_agent contains "Chrome/125." or
 http.user_agent contains "Chrome/126." or
 http.user_agent contains "Chrome/127." or
 http.user_agent contains "Chrome/128." or
 http.user_agent contains "Chrome/129." or
 http.user_agent contains "Chrome/130." or
 http.user_agent contains "Firefox/100." or
 http.user_agent contains "Firefox/101." or
 http.user_agent contains "Firefox/102." or
 http.user_agent contains "Firefox/103." or
 http.user_agent contains "Firefox/104." or
 http.user_agent contains "Firefox/105." or
 http.user_agent contains "Firefox/106." or
 http.user_agent contains "Firefox/107." or
 http.user_agent contains "Firefox/108." or
 http.user_agent contains "Firefox/109." or
 http.user_agent contains "Firefox/110." or
 http.user_agent contains "Firefox/111." or
 http.user_agent contains "Firefox/112." or
 http.user_agent contains "Firefox/113." or
 http.user_agent contains "Firefox/114." or
 http.user_agent contains "Firefox/116." or
 http.user_agent contains "Firefox/117." or
 http.user_agent contains "Firefox/118." or
 http.user_agent contains "Firefox/119." or
 http.user_agent contains "Firefox/120." or
 http.user_agent contains "Firefox/121." or
 http.user_agent contains "Firefox/122." or
 http.user_agent contains "Firefox/123." or
 http.user_agent contains "Firefox/124.")
and not cf.client.bot

レート制限。 アクション:IPあたり10秒あたり30件の一致するリクエストを超えた場合にマネージドチャレンジ。拡張子のないパスのみをカウントするため、通常のページロードの40個の画像やスタイルシートはトリップしません。(厳密には、カウンターはCloudflareデータセンターあたりIPごとであるため、分散型ボットネットはそれを回避できます。怠惰なものを捕らえます。)

(http.request.uri.path.extension eq "") and not cf.client.bot

そして、無効にしたままのボーナスルールが1つあります:パニックボタン。 レート制限と同じ式ですが、確認済みのボットではないすべてのものからのすべてのページリクエストに対する通常のマネージドチャレンジとして。スクレイプの波がサイトを積極的に叩いているときは、それをオンにし、フラッドが収まるのを待ち、1時間以内にオフにします。