AIトレーニングクローラーをブロックするサイトの多くは、回答時間ボットの存在を無視している
Sites that block AI training crawlers mostly ignore the answer time bots (sitedex.dev)
要約
2023年にAIトレーニングボット(GPTBotなど)をブロックするためにrobots.txtを更新したサイトの多くは、その後の「回答時間ボット」(リアルタイムで質問に答えるためにページを取得するボット)に対してはルールを更新していません。これは、AIベンダーが2種類のボットを運用しているにもかかわらず、多くのサイト管理者がその区別を認識しておらず、AIによるウェブコンテンツの利用方法の進化に対応できていない現状を示唆しています。
全文翻訳
あなたのrobots.txtは2023年の戦没者記念碑
7月1日、Cloudflareは、サイト所有者がAI企業に課金を開始できる方法を発表しました。これは、ボットがモデルを数ヶ月後にトレーニングするためではなく、誰かの質問にリアルタイムで回答するためにページを取得したまさにその瞬間に課金するというものです。これはまだ初期段階で実験的ですが、同様のアイデアのためにx402のようなオープンな決済レールも構築されています。ウェブには、その取得をブロックする方法が長い間存在していました。そして、それに対して請求する方法が構築され始めています。回答は取引に変わりつつあります。
これは、料金所を設けるには奇妙なことです。なぜなら、AIに関するウェブのルールブックは、その瞬間が存在することをほとんど認めていないからです。
感覚ではなくデータでそれを確認したかったので、私たちは退屈なことをしました。トップ10,000サイトのrobots.txtを取得し、各サイトが宣言している内容を読みました。サーバーが実際に提供している内容や、エッジが静かにブロックしている内容ではありません。なぜなら、外部からはそれが見えないからです。(私たちはこの調査後に確認する方法を構築しました。パート2では、サイトが実際に識別されたクローラーに何を提供しているかをテストします。)単に、各サイトが自身の玄関口で公開しているルールブックです。そのうち5,577件には、私たちが読めるものがありました。これは、そのルールブックが回答時代について何を語っているかの調査です。短いバージョン:それは別の戦争のために書かれました。
ルールは戦没者記念碑
最初に気づくのは日付です。これらのファイルにあるAIルールを、最初に書かれた時期と並べると、AI時代に広がっていません。それらはその始まりに集中しています。私たちが日付を特定できたGPTBotルールの861サイトのうち、38%が単一の四半期、つまり2023年の最後の3ヶ月にそれを書きました(323サイト、次に多い四半期の3倍)。クローラーのローンチから約6ヶ月以内に半数が書かれました(861サイト中430サイト)。
その四半期は偶然ではありませんでした。OpenAIは2023年8月にGPTBotをリリースしました。ニューヨーク・タイムズは8週間後にOpenAIを訴えました。その秋にウェブサイトを運営していたなら、あなたは大きな衝撃を受け、合理的に、テキストファイルに4行を貼り付けてトレーニングクローラーを締め出すことで対応したでしょう。それは2023年には合理的なことでした。今日でも正しい選択かもしれません。
これほど古いファイルが古くなっていると予想するのは当然です。しかし、ほとんどはそうではありません。パニック期間にGPTBotルールを書いた430サイトのうち、87%が後で新しいボットルールを追加するために戻ってきました。戻ってこなかったのはわずか57サイトです。誰かがこれらのファイルを開き続けています。
しかし、追加されたものを見ると、その勤勉さが台無しになります。新しい行はほとんどすべてがトレーニングクローラーです — ClaudeBotは現在これらのサイトの671に、PerplexityBotは540にあり、2026年まで増加し続けています — 一方、リアルタイムで回答するためにページを取得する回答時間ボットは、その注意のほんの一部しか引きつけていません。そして、GPTBot以降、パニック速度で動いたものはありません。後続のすべてのクローラーは、最初の2四半期でルールの3%から23%しか予約していませんでした。これは2023年の洪水に対するゆっくりとした滴です。パニックは一度きりのイベントでした。それ以降のすべては筋肉の記憶です。
したがって、そのファイルは戦没者記念碑です — ただし、放棄されたものではありません。人々が戻ってきて、そこに刻むすべての名前が同じ戦争からの別のトレーニングクローラーであるようなものです。それは怠慢ではありません。それは盲点であり、ファイルをより一生懸命手入れしても盲点は修正できません。
[画像: グラフ: 各サイトがカウントされ、ルールが最初に表示された四半期に一度集計されます。全1,197のブロッカーのうち、861が日付付きのGPTBotルールを記述し、回答時間ボット(OAI-SearchBot、Claude-User、Claude-SearchBot、Perplexity-User)の最初のルールを記述したのは約半数(406)でした。回答時間ボットのルールは、2023年の急増には決して達しない、2024年後半からの四半期あたり50〜80の低いプラトーにあります。インターネットアーカイブから最初の出現時期で日付付けされています。方法を参照してください。]
各サイトは、ルールが最初に表示された四半期に一度カウントされます。全1,197のブロッカーのうち、861が日付付きのGPTBotルールを記述し、回答時間ボット(OAI-SearchBot、Claude-User、Claude-SearchBot、Perplexity-User)の最初のルールを記述したのは約半数(406)でした。インターネットアーカイブから最初の出現時期で日付付けされています。方法を参照してください。
すべてのAI企業は2つのボットを実行しています。ほとんどのルールは1つしか認識していません。
これは2023年のルールブックが見落とした部分です。
主要なAIベンダーのそれぞれは、あなたのサイトに1つのボットを送りません。2つ送り、それぞれ異なる仕事をします。1つはトレーニングクローラーです — モデルを構築するためにウェブを大量に読み取ります。もう1つは回答時間フェッチャーです — 後で、実際の人が実際の質問をしたときに現れ、目の前で書かれている回答にあなたのページを取り込みます。最初のものが2023年に皆が怒っていたものです。後者のものが現在重要です。なぜなら、それは回答ごとの課金料金を測定するものであるからです。
[画像: 表: 各AIベンダーが2つのボットを実行していることを示しています。左側はトレーニングクローラー(モデル構築用)、右側は回答時間フェッチャー(質問回答用)です。例:OpenAIはGPTBot(トレーニング)とOAI-SearchBot + ChatGPT-User(回答時間)を実行します。]
すべてのAI企業は2つのボットを実行しています。ほとんどのルールはトレーニングクローラーの名前しか挙げていません。トレーニングクローラー:モデルを構築するためにウェブを読み取ります。回答時間フェッチャー:誰かが質問したときに現れます。GPTBot:OpenAI。OAI-SearchBot + ChatGPT-User:OpenAI。ClaudeBot:Anthropic。Claude-User + Claude-SearchBot:Anthropic。PerplexityBot:Perplexity。Perplexity-User:Perplexity。
分割。左側のトレーニングクローラーをブロックすることは、右側の回答時間フェッチャーについては何も語りません。
したがって、私たちは、ベンダーのトレーニングクローラーを完全にブロックした各サイトについて尋ねました。そのベンダーの回答時間ボットについて、何か言及はあったでしょうか?ほとんどの場合、いいえ。
| ベンダー | ブロックしたトレーニングクローラー | 対象の回答時間ボット | 回答時間ボットについて何も言及なし | 明示的に許可 |
|---|---|---|---|---|
| Anthropic | ClaudeBot | Claude-User, Claude-SearchBot | 71% (840件中598件) | 1.9% (840件中16件) |
| OpenAI | GPTBot | OAI-SearchBot, ChatGPT-User | 53% (932件中493件) | 4.0% (932件中37件) |
| Perplexity | PerplexityBot | Perplexity-User | 50% (461件中229件) | 0.9% (461件中4件) |
(トップ10,000サイトのうち、読み取り可能なrobots.txtを持つサイトで、各トレーニングクローラーを完全にブロックしているサイトを対象)
右側の2つの列を一緒に読んでください。なぜなら、それらの間のギャップが発見だからです。Anthropicのトレーニングクローラーをブロックしたサイトの10件中7件は、Claudeで回答するボットについては一切ルールを持っていません。そして、興味深いことを意図的に行った、つまりトレーニングはブロックするが回答は許可するという、モデルに供給せずに紹介トラフィックを望む発行者にとって実際に理にかなう唯一の姿勢を取った数は、ごくわずかです。Anthropicでは2%未満。OpenAIでは4%。「トレーニングなし、回答あり」という姿勢は、誰もが理論化していますが、実際にはほとんど存在しません。
その沈黙に意図を読み取る前に、1つの注意点があります。それは盲点の上の上限であり、その測定値ではありません。外部からは、OAI-SearchBotに一度も遭遇したことのないサイトは、それに遭遇し、肩をすくめ、冗長なAllowを書く理由を見なかったサイトと区別がつきません。誰もが許可することに満足しているボットのためにルールを書くことはありません。私たちが意図を認識できるのは、誰かがそれに基づいて行動したときです。そして、それがテーブルの最後の列です。トレーニングクローラーをブロックし、回答時間ボットを意図的に通過させる数少ないパーセントです。Forbesはその一例です — GPTBotは拒否され、OpenAIの検索フェッチャーは明示的に許可されています。その姿勢は本物です。ただ稀です。
そのギャップは、明確に試みたファイルではより見やすくなります。The Economistは、私たちの2026-07-03のスキャンと2026-07-04の再チェックでのrobots.txtによると、2つのOpenAIボットを名前で拒否しています — GPTBotとChatGPT-Userの両方が完全にDisallow: /となっています。3番目のOAI-SearchBot、つまりリアルタイム検索の回答にページを取り込むフェッチャーは、ファイルに全く含まれていません。The Economistは明らかにここに注意を払いました。意図的にボットに名前を付け、擁護可能な判断を下しました。OpenAIは、管理した2つ以上のボットを実行しており、除外された1つは検索フェッチャーです。あなたはどんなサイトでも同じように約10秒で確認できます。そのrobots.txtを開き、回答時間ボットの名前を探してください。
管理下にある者が読めないルールブック
もっと静かな失敗もあります。私たちに応答した7,627サイトのうち883サイトでは、正直に識別されたボットが/robots.txtを要求した際に、チャレンジまたは拒否を受けました — ルールを述べるというその仕事全体が、訪問者に裏向きにされたルールブックを渡しました。GoDaddyがその一例です。私たちは、意図的な反AI姿勢と、私たちを含むすべてのデータセンターIPに挑戦するセキュリティベンダーを区別することはできません。そして、私たちはそれを偽装しません。しかし、管理下にある者が読めないルールブックは、それ自体が一種の回答です。
一方、144サイトがすでに決断を下しています
これらすべてを「ウェブが閉鎖されている」と読むのは簡単でしょう。そうではありません。そして、同じ5,577ファイルがそれを証明しています。それらのうち、回答時間ボットをすべて拒否しているのはわずか351サイトです。回答への入り口は、読み取り可能なトップ10,000サイトの圧倒的多数で開いています。そして144サイトは、デフォルトで開いている以上に進みました — 明示的なAllow行を記述して回答時間ボットの名前を挙げ、意図的に招待しました。
[画像: 画像: 左側は、Anthropicのトレーニングクローラーをブロックし、回答ボットについて何も言及しなかった598サイト(840件中)を示しています。右側は、5,577の読み取り可能なrobots.txtファイルのうち、回答時間ボットを許可する明示的なルールを記述した144サイトを示しています。]
沈黙対選択。左側の数字は真空の大きさです — 回答ボットに対処しなかったサイト。右側の数字は、読み取り可能なサンプル全体で、それを許可するという記録上の決定を下したサイト数です。これらの数字のうち1つは姿勢です。
5,577サイト中144サイトは運動ではありません。しかし、オプトイン経済が仮説的ではなく、誰かを待っているわけではないことの証明です。いくつかのサイトはすでに回答時間フェッチを、我慢するのではなく、獲得すべきものとして扱っています。そして、これほど短いリストは、まだ誰もそれに気づいていないことを意味します。
勤勉さは決断ではない
発見を並べると、その形がはっきりします。これらのファイルは、長年にわたって勤勉に維持されています — そして、そのメンテナンスのほぼすべてが、単一の戦争を再戦しています。ウェブが今課金することを学んでいる瞬間、つまり回答時間フェッチに対する姿勢は、メンテナンスが決して書き直さない唯一の行です。拒否されたわけではありません。単に到達しなかっただけです。
それに対して行うことができる3つの首尾一貫したことがあります。そして、この記事はそれらのどれかを特に主張するものではありません。あなたは封印することができます:トレーニングクローラーと回答時間フェッチャーの両方をブロックし、回答には含まれないことを受け入れます。あなたは販売することができます:回答ごとの料金が到着するまでフェッチャーを締め出し、それから入場料を請求します。あるいは、あなたは開放することができます:回答時間ボットを許可します。なぜなら、回答に含まれることは、ページビューよりもあなたにとって価値があるからです。3つすべてが擁護可能です。姿勢ではないのは4番目のこと、つまりほとんどのサイトが実際に行っていることです — ファイルを長年手入れし、回答が到着したときに何が起こるかについて一度も決断を下さないことです。あなたが何を選んだとしても、意図的に選んでください。ファイルはすでに開いています。欠けているのは決断です。
ドアを開けるのは簡単な半分
ファイルが決断を下さなかった決断を下し、意図的に回答時間フェッチへのドアを開けたとしましょう。その背後には、より難しい質問が待っています — そのメンテナンスが一度も尋ねようとしなかった質問です。
その144サイトは真の決断を下し、ドアを開けました。ファイルでは決して示せないのは、料金所の前提となっている次のこと — つまり、回答時間ボットがページを取得したときに、そのページは質問に答えられるか?ということです。ドアを開けることは、部屋に入る価値があることと同じではありません。ソフトウェアを販売するにしても、記事を公開するにしても、失敗は同じように見えます:AIがあなたの価格ページに到着し、価格を見つけられない、またはあなたのレポートを読んで、あなたが結論付けたことを理解できない、そしてそれはあなたに請求して立ち去ることはありません。それは、どこか別の場所から、あるいは推測から、バイヤーに回答します。
そして、これは決してリソースの問題ではありませんでした。勤勉さはランクリストを下ってもほとんど変わりません。視力は変わります。回答時間カテゴリのルールは、トップ1000ブロッカーの64%に表示されますが、ランク10,000ではわずか41%です — これが彼らの仕事であるチームは、新しいカテゴリを3分の1の時間で見落としています。そして、トップ10,000の下では、私たちのデータが尽きるところでは、その傾斜は下向きにしか向いていません。ほとんどの小規模チームは、ファイルを管理する人が全くいないため、たとえいたとしても彼らを救うことはできません。管理している人々でさえ、重要なことを見落としています。トレーニング戦争は目に見える半分です。あなたのページがバイヤーのAIが実際に尋ねるものに答えられるかどうかは、どのファイルも明らかにしない半分であり — どのサイズであっても — 回答に含まれることが本当に価値があったかどうかを決定する半分です。より多くのメンテナンスでそこに着くことはできません。それには、1ページずつ、1つの質問ずつ、あなた自身のものから始めて、見ることによって到達します。
方法
これは何であり、何ではないか。私たちは2026-07-03にTrancoトップ10,000ドメインの/robots.txtを取得し、各サイトの15のAIボットに対する宣言されたポリシーを分類しました。これは表明されたポリシーのみの研究です。私たちはどのサイトのページもクロールしていません。エッジやWAFの強制は見えません。そして、私たちはサイトが「AIをブロックする」と主張したことは一度もありません — 公開されているファイルが何を言っているか、何を言っていないかだけです。以下のすべての数値はその分母を明記しています。
- サンプル。 10,000ドメイン。7,627がHTTP応答を返しました。5,577が読み取り可能なrobots.txtを持っていました(すべてのポリシー率の分母)。1,197が少なくとも1つの主要なAIクローラーを完全にブロックしています。Trancoフレームは、大規模で商業的なサイトに偏っています。
- 2つのボットの沈黙の数値。 トレーニングクローラーに明示的な完全ブロックを発行したサイトのうち、そのベンダーの回答時間ボットに全くスタanzaを含まないrobots.txtを持つ割合:Anthropic 598/840 (71%)、OpenAI 493/932 (53%)、Perplexity 229/461 (50%)。「明示的に許可」=明示的な
Allowを持つ少なくとも1つの回答時間シブリング:OpenAI 37/932 (4.0%)、Anthropic 16/840 (1.9%)、Perplexity 4/461 (0.9%)。沈黙率は盲点の上の上限です — 欠落したスタanzaは、デフォルトをそのままにしておくという意図的な選択と区別できません。そして、冗長なAllowを書くサイトはほとんどありません。 - オプトイン。 5,577サイト中144サイトが、OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、またはPerplexity-Userの少なくとも1つに対して明示的な
Allowを持っています(サイトごとに重複排除)。 - ルールが書かれた時期。 全1,197のフルブロッカーの実際のスナップショットタイムスタンプで取得された各ブロッカーのrobots.txtのインターネットアーカイブからの初回観測日。これらは年齢の上限です(アーカイブでトークンが初めて表示された時期)。アーカイブは人気のあるサイトを優先します。そのスナップショットの頻度は、サイトのニュースへの注目度とともに上昇する可能性もあります。そのため、2023Q4のクラスターの一部は、2023年第4四半期のより密なアーカイブを反映している可能性があり、編集の密度だけではありません。日付付け可能なGPTBotルールの861サイト中323(38%)が2023Q4に最初に表示されました — 次に多い四半期の3倍です — そして半数(861サイト中430サイト)がクローラーのローンチから約6ヶ月以内に表示されました。同じ単位の回答時間シリーズは、各サイトを最初の回答時間ルールの時点で一度カウントします:1,197ブロッカーのうち406が一度でも記述しました。GPTBotルールを記述したサイトの約半分です。2024年後半から四半期あたり50〜80の低いプラトーで、2023年の急増には決して近づきません。
- 維持されており、放棄されていない。 パニック時代のGPTBotブロッカー430サイト(GPTBotルールが2023Q3〜2024Q1に最初に表示された)のうち、87%が後で少なくとも1つの新しい追跡ボットルールを追加しました。追加しなかったのはわずか57サイトです。これは下限です — 追跡対象の15ボットのいずれかを追加した場合にのみ、戻りを登録します。追加は、回答時間ボット(167〜354)よりもトレーニングクローラー(ClaudeBot 671サイト、PerplexityBot 540、Applebot-Extended 476、meta-externalagent 493)に偏っています。戻り率はランクによってほとんど変動しません(トップ1kで91%、5k〜10kで86%)。回答時間スタanzaの存在は、それとともに減少します(トップ1kブロッカーの64%、124/79、から5k〜10kの41%、640/263)。サンプルの下限はトップ10,000です。真のロングテールは測定されていません。
- 読み取り不可能なルールブック。 応答した7,627サイトのうち883サイトが、wwwフォールバックと1回の丁寧なリトライの後、データセンターIPからrobots.txtを要求した正直に識別されたクライアントに対して、チャレンジまたは拒否を返しました。私たちは、反ボットポリシーと、すべてのデータセンターIPに挑戦する一般的な挑戦を区別できません。そのため、これらのサイトはすべてのレートの分母から除外されます — これは、最も制限的なサイトが私たちが読めなかったサイトである可能性が高いため、ブロック率を過小評価している可能性があります。
- 除外。 8,599の完全ブロック判定のうち926(10.8%)は、パスレベルの
AllowとペアになったDisallow: /です。これらはブロックとしてカウントします(デフォルト拒否姿勢)。86サイトがキュレーションされたGPTBotの除外を実行しています。 - 回答時間到達可能性。 5,577の読み取り可能なファイルのうち、すべての回答時間ボットを実質的に拒否しているのはわずか351サイトです。263サイトがすべてをワイルドカードブロックしています。
- 開かれた回答時間シブリング、ランクダウン。 完全ブロッカーのうち、回答時間シブリングが実質的に開いたままになっている(主に省略によるもので、明示的な許可によるものではない)トレーニングボットのブロックは、ランクとともに上昇します:トップ1,000の8%(10/125)、1k〜5kの22%(97/433)、5k〜10kの29%(187/639)。これは意図的な開放とは異なります(上記の意図的な許可、0.9〜4.0%とは別)。
- 検証。 私たちの分類子は、約1,116の実際のボディにわたる16,740の判定で、参照
robots-parserと99.24%一致しました。不一致は除外パターンであり、スタanzaの姿勢を分類し、参照はリテラルルートURLをテストします。500ドメインのサブサンプルを数時間後に再スキャンしたところ、0.00%の判定変更(4,125件中0件)が見られました。
完全なデータセットをダウンロード — すべてのドメインとそのボットごとの判定(matrix.jsonl)、初回観測日(wayback.jsonl)、および完全な数値メモ — そして任意の行を自分で確認してください。CC BY 4.0。