Cloudflareの顧客向け新AIトラフィックオプション
Cloudflare's new AI traffic options for customers (blog.cloudflare.com)
要約
Cloudflareは、AIボットによるコンテンツ利用に関する新たな管理オプションを発表しました。従来の「AIボットブロック」に加え、AIの利用目的を「検索(Search)」、「エージェント(Agent)」、「トレーニング(Training)」の3つに分類し、ウェブサイト所有者がより詳細にトラフィックを制御できるようにします。新たなデフォルト設定では、広告表示ページにおいてトレーニングおよびエージェントボットはブロックされ、検索ボットは許可されるようになります。
全文翻訳
Your site, your rules: new AI traffic options for all customers
1年前、私たちは最初のコンテンツの独立記念日を宣言し、ウェブサイト所有者にコンテンツの管理権を取り戻す手段を提供しました。30年間続いてきたクローラーとウェブサイト所有者間の取引――「我々がクロールするので、あなたは参照トラフィックを得る」という関係――はもはや通用しなくなっていました。AIはすべてを奪い、何も返さないため、ウェブサイト所有者にとって存続に関わる脅威となっています。そこで私たちは、ワンクリックで利用できる「AIボットをブロック」オプションと、Pay-Per-Crawlマーケットプレイスをローンチしました。
1年で多くのことが変わりました。昨年の7月、「AIボット」に関する議論は、補償なしでのAI学習をブロックすることに集中していました。これは、コンテンツがモデル学習に使用される一方で、ウェブサイト所有者には何の価値ももたらされないという、勝者なき取引を指していました。しかし、よりニュアンスのあるアプローチへの要望が出てきました。コンテンツ所有者は依然としてコンテンツを保護したいと考えており、懸命に作成、キュレーション、共有したオリジナルのコンテンツに対して補償を受けるべきです。また、コンテンツを完全にロックダウンすることが万能な解決策ではないことも理解しています。ウェブサイト所有者は、「常にすべての自動化をブロックする」という手段に頼る以上の選択肢を求めています。
小規模なサイトを運営している場合、問題は単に誰かがあなたのコンテンツでモデルを学習できるということだけではありません。そもそも誰もあなたを見つけられないということです。そのため、あなたはファウスト的な取引をしなければなりません。検索結果に表示されるか、AIに学習されることを許容するか、あるいは発見可能性を失うリスクを冒すかのどちらかです。これは、検索と学習に同じボットを使用する場合、既存の検索プロバイダーに不当に有利になります。そして、この不当な優位性は、新規参入者が競争上のギャップを埋めようとする際に、回避的な手段を取ることを奨励します。
Now, AI can be anything
今日、AIはあらゆるものに搭載され得ます。Google検索は、AIによってソートされるものから、結果ページで直接質問に答える完全な回答エンジンへと変化しました。そしてGoogleだけがこの立場にあるわけではありません。これが「検索」が進む方向です。
今日「AI」と見なされるもののカットオフについて議論することもできますが、明日にはその基準が変わってしまうでしょう。そのため、ボットを主に「AI」であるか否かで定義するのではなく、ボットまたはエージェントの行動について、より深い問いを投げかけるアプローチを採用します。彼らは私のサイトで何をしているのか?何を保存しているのか?そして、私のコンテンツをどのように再共有するのか?
A pragmatic taxonomy
これらの問いに答えるためには、よりニュアンスのある視点、すなわち顧客が関心を持つAIのユースケースに合致する実用的な分類法が必要です。そこで、AI学習だけに留まらず、すべての顧客が管理できるようにしたい3つのAIユースケースに焦点を当てて議論を開きます。
- 検索(Search): コンテンツを収集またはインデックス化し、後でそれについて質問に答えられるようにするあらゆる行動。重要なのは、検索が後でクエリに応答するために、サイトのデータベースを積極的に構築していることです。サイト所有者は、その結果として参照トラフィックやその他の公平な補償を期待すべきです。
- エージェント(Agent): 現在何かを完了するために、通常はリアルタイムで、人間の代わりに自動化された行動を取るもの。これには、チャット取得ボット(例: ChatGPT-User)やブラウザ使用エージェント(例: GeminiまたはClaudeがChromeを駆動するもの)が含まれます。重要なのは、ジョブを完了するためにウェブアプリケーションにアクセスし、しばしばその背後に人間が待っていることです。
- トレーニング(Training): モデルを学習またはファインチューニングするためにコンテンツを取得するクローラー。重要なのは、あなたのデータがAIの基盤となるアーキテクチャに永続的に吸収され、その能力を向上させることです。
ウェブ上の多くの人気のあるクローラーは、上記のいずれかの分類に該当します。あるいは、複数の分類に該当する場合もあります。私たちは、広告検証、フィード取得、エージェントトランザクション(後述)など、上記3つ以外の多くの行動も分類しています。しかし、すべてのウェブサイト所有者が、これらの3つのAI中心のユースケースへのアクセスを簡単に管理できるべきだと考えています。ボットオペレーターはクローラーを分離すべきだと考えています。なぜなら、それはウェブサイト所有者にとってより透明性が高まり、特定のクローラーが訪問する理由をよりよく理解し、そのクローラーに与えるアクセスをよりよく管理できるようになるからです。もし企業が検索インデックスを構築し、エージェントとして機能し、モデルをトレーニングするためにデータを収集する自動化を実行している場合、その自動化を3つの別々のクローラーに分離することを強く推奨します。
私たちは、ボットトラフィックの世界が進化するにつれて、スケーラブルで代表的な分類システムを求めています。ボットの目的を追跡することは新しいことではありませんが、私たちの新しい分類法には、今日のボットトラフィックの状況をよりよく反映するいくつかの更新が含まれています。最も注目すべきは、複数の目的を持つボットは、1つの目的だけでなく、すべての目的で追跡したいということです。
New options to manage AI traffic
Cloudflareネットワーク上のすべてのウェブサイト所有者に対して、さまざまな種類のAIトラフィックを管理するための、より多くのオプションを提供したいと考えています。
過去に発表した「AIボットをブロック」という管理プリセットには、以下に示すように、モデル学習のためにデータをクロールする単一目的のボットが含まれていました。
[画像: BLOG-3337 2]
2025年7月1日時点のAIボットトラフィックを管理する既存の設定画面のスクリーンショット。
しかし、AIの利用はすべて同じではなく、顧客が必要とするコントロールを提供したいと考えています。そのため、「検索」「エージェント」「トレーニング」という3つの主要なユースケースに基づいてAIトラフィックを管理できる機能を開始します。これらの新しいオプションにより、顧客はAIボットトラフィックの管理方法をより細かく調整できます。これには、無料ティアの顧客も含まれます。
[画像: BLOG-3337 3]
2026年7月1日時点のAIボットトラフィックを管理する新しいオプション画面のスクリーンショット。
Setting new defaults
2026年9月15日、これらの3つの分類すべてに対して新しいデフォルト設定を適用します。 Cloudflareに新規登録するすべてのドメインでは、広告が表示されるページにおいて、「トレーニング」と「エージェント」のカテゴリはデフォルトでブロックされます。一方、「検索」はデフォルトで許可されたままになります。
広告は、ウェブサイト所有者が人間がアクセスして広告を見ることを意図したシグナルであり、ビジネスを支える収益化可能なものです。そのため、これらのページでは、人間の注意を最終目標とみなし、この注意を妨げる可能性のあるボット(すなわち、トレーニングおよびエージェントボット)を排除します。一方で、検索は訪問者を最も自然に誘導する行動であり、ほとんどのサイト所有者の利益になると考えています。
9月15日に適用されるもう一つの変更点は、複数の目的を持つクローラー(特に検索とトレーニングを組み合わせたもの)は、ウェブサイト所有者の透明性への呼びかけに沿って、そのすべての行動に基づいて許可/ブロックされるということです。デフォルトは最も制限の厳しい適用ルールによって強制されるため、Googlebot、Applebot、BingBotのようなマルチパーパスポローラーは、トレーニングをブロックすることを選択した顧客(新しいAIトラフィック管理オプションまたは従来のAIボットブロックサービスを通じて)によってブロックされます。
もちろん、顧客の選択が最優先です。ウェブサイト所有者がこれらの新しいデフォルト設定をオプトアウトしたい場合は、9月15日までにセキュリティ設定で簡単にマークすることで、トレーニング目的で検索もクロールするクローラーに変更がないことを確認できます。また、9月15日が近づくにつれて、デフォルトとは異なる設定を選択したい顧客がその機会を得られるように、デフォルトへの変更について引き続き顧客に通知します。
BotBase: a new visibility plane for Enterprise customers
また、エンタープライズボット管理の新機能として、主要な可視性アップデートを発表できることを嬉しく思います。Cloudflareの追跡ボットディレクトリが成長するにつれて、これらのボットを合理的なグループで管理し、特定のボットについてより詳細を理解したいという要望も高まってきました。
BotBaseの紹介です。BotBaseは、検証済みボットやエージェントを含む、既知のすべてのボットを追跡する新しいデータベースです。このデータベースは、Cloudflareダッシュボード上で直接、包括的で検索可能なビューを提供します。まず可視性に取り組みますが、今年の後半には、ウェブサイト上の既知の自動コンテンツの直接制御センターを提供するようにBotBaseを拡張する予定です。
この新しいビューにより、エンタープライズボット管理の顧客は、検証済みボット/エージェントの全カタログと、この更新された分類法におけるそれらの位置を確認できます。これは、これまでCloudflareダッシュボード上で動的に表示したことのないビューです。特定のボットを正確にターゲットにしたい顧客は、そのボットからのすべてのトラフィックを簡単にフィルタリングし、セキュリティルールで使用するために検出IDをコピーすることもできます。これらすべてが専用ページで利用可能になり、ボット管理設定カードからアクセスできます。
BotBaseを構築するにあたり、ボットごとにスケーラブルで強力なインサイトを構築するために必要なすべての情報を考慮しました。これらの情報の一部は、更新された分類法の礎であり、それはボットがサイトで何をするか、つまりその行動に基づいています。これらの分類を以下のように分離し、各ボットは1つ以上のこれらの行動で分類されます。
| Bot classification | Behaviors and uses |
|---|---|
| Search | 検索エンジンの結果に表示されるのを助けるためにサイトをスキャンするためのクロール |
| Agent | 人間の代わりにページを訪問するユーザー指示エージェント |
| Training | モデルを学習またはファインチューニングするためのクロール |
| Transact | ユーザーの代わりにチェックアウトアクション |
| Data Collection | 価格スクレイピング、競合インテリジェンス収集、サードパーティ分析を含む |
| Security Testing | 脆弱性スキャン、ペネトレーションテストを含む |
| SEO | SEOクロール、サイト監査、アクセシビリティチェック |
| Ads Verification | 広告配置検証、広告詐欺検出 |
| Social / Link Preview | ソーシャルプラットフォームやメッセージングアプリのリンクプレビュー |
| Feed Fetching | RSSリーダー、ポッドキャストアグリゲーター、ニュースフィードボットを含む |
| Monitoring & Operations | アップタイム監視、ウェブフック、ヘルスチェックを含む |
太字斜体の行は、すべての顧客が利用できる新しい設定可能なオプションを示します。
How does a crawler use my content?
顧客にとって重要だと聞いてきたもう一つの情報は、ボットのコンテンツ利用――ボットがコンテンツをクロールした後、保持し再共有するものです。これに対応するため、Bot Managementの顧客が「コンテンツ利用」に基づいて選択およびブロックできる機能を構築しています。この設定は、最も寛容度の低いものから最も高いものまで、3つのレベルのいずれかに設定できます。
immediate— インタラクトするが、何も保存・再利用しないreference(デフォルト) — インデックス化し、抜粋し、リンクバックするfull— 要約し、複製する
これらの値はボットの分類と組み合わせて、ニュアンスのあるルールを表現できます。例えば、「検索、SEO、広告検証に使用されるすべてのボットを許可するが、reference利用レベルまで」といった具合です。これにより、ウェブサイト所有者は、個々のボットごとのルールを管理するのではなく、合理的なグループで決定を下すことができます。
これをさらにサポートするため、本日より、Content Signalsを拡張し、robots.txtに配置される新しいシグナルuseをテストしています。これは、Content Signalsの最初のバージョンの3つのフィールドを拡張し、上記と同じ設定を表す4番目のオプションフィールドを提供します。
use=immediateuse=referenceuse=full
robots.txtファイルにリストされている他のすべての項目と同様に、コンテンツ利用シグナルの値は、直接ブロックを発行するのではなく、ウェブサイト所有者の好みを示します。私たちは現在、この拡張機能のサポートを追加しています。すでに管理対象robots.txtを有効にしているすべての顧客(検索のためのクロールはOKだが、トレーニングのためのクロールはNGという設定をrobots.txtの先頭に追加するもの)は、robots.txtにuse=referenceという追加の設定が追加されます。
# Cloudflare Managed content with original Content Signals
User-agent: *
Content-Signal: search=yes,ai-train=no
Allow: /
元のContent Signals値を持つCloudflare管理robots.txtの内容。
# Cloudflare Managed content with the new content-use signal
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /
追加されたパラメータを持つCloudflare管理robots.txtの内容。
また、BotBaseで各ボットのコンテンツ利用を追跡し始めており、ボットがこれらのシグナルを悪用していることが判明した場合、そのボットは「検証済み」ステータスを失い、許可されなくなります。現在、完全に複製するボットは検証済みステータスを持つことができません。
What does it mean for a bot to be Verified?
「検証済み」といえば、検証済みの定義が、デフォルトの許可およびブロックベースラインの今後の変更を反映するように更新されています。以前は、すべての検証済みボットがデフォルトで許可されていました。これは、不要な自動トラフィックをブロックする基本的なBot Fight Modeや、エンタープライズボット管理顧客向けのルールテンプレートに反映されていました。
本日より、この設定を調整してニュアンスを追加します。非検証済みボットは引き続きデフォルトでブロックされますが、検証済みを「デフォルト許可」と見なさなくなりました。今後は、検証済みラベルは、その関連カテゴリに基づいてボットを許可可能にします。つまり、許可されたカテゴリ(例: 検索を許可する)が、ウェブサイトへのアクセスを許可されるものを決定します。
この変更をバランスさせるために、検証済みボットになるプロセスを開放し、より透明性の高いものにします。「検証済み」にするには、ボットオペレーターは2つのことを示す必要があります。すなわち、自身を正直に表現していること、そしてその正直さによって得たアクセスを乱用しないことです。そして、ボットオペレーターがこれを容易にするために、現在、彼らがCloudflareの分類システムによって正確に表現されていることを確認するための管理ツールを構築中です(近日中に発表予定)。
[画像: BLOG-3337 4]
Cloudflare Bots Directoryの次世代であるBotBaseの一部または参加を希望するボットオペレーター向けに直接構築されている、今後のプラットフォームのプレビュー画面。
Experimenting with transitive trust
もう一つ。ドアの前のボット(またはエージェント)は、それを構築した会社によって実行されているとは限りません。CloudflareのDeveloper Platformのようなプラットフォームは、エンタープライズから、あなたが聞いたこともないような開発者まで、数千もの異なるオペレーターのために自動化を実行しています。あなたはStripeを信頼するかもしれませんが、必ずしもStripeのツールを週末プロジェクトに組み込んだすべての人を信頼するわけではありません。
(サイト所有者 → ボット所有会社 → エンドユーザー)というケースを推移的信頼と呼び、RFC 7239で定義されている既存のForwardedヘッダーを利用することを提案します。これはリクエストと共に送信され、「プロキシコンポーネントがプロキシ処理中に失われた情報を開示することを可能にします」。
これは、IPアドレスに対するX-Forwarded-Forや、元のHostヘッダーを保持するためのX-Forwarded-Hostに似ています。したがって、ウェブサイト所有者が「このオペレーターを許可する」と言った場合、そのオペレーターが直接アクセスしてくるか、信頼できる仲介層を3つ経由してくるかに関わらず、その設定は有効になります。詳細については、ドキュメントで確認できます。以下に簡単な例を示します。
Forwarded: for="openai"
前述のコンテンツ利用拡張機能を追加すると、ヘッダーの追加は以下のようになり、オペレーターがアクセスするコンテンツをどのように利用するかを指定します。
Forwarded: for="openai";use="reference"
これは、私たちが育みたいインセンティブモデルとも一致します。Cloudflareの背後にあるウェブドメインの20%以上にわたる信頼ステータスを失うことは、強力な抑止力となります。信頼は、持ち運べるもの、そして失うことのできるものになります。
しかし、ボットトラフィックが人間トラフィックと融合するにつれて、この推移的信頼システムは、識別可能であることにお金を払えるユーザーを超えては及ばない可能性があります。今日提案している対策は、信頼を伝えるのに役立ちますが、すべての時間、すべてのウェブに適合するわけではありません。小規模なトラフィックソースにはプライバシーが必要であり、自身のプライバシーコミットメントを維持したい企業は、エージェント型インターネットの未来のための公正なビルディングブロック、例えばプライベートレート制限などを探求できるべきです。
Set your terms today
これらはすべて、同じ方向へ進む小さな変更です。サイト所有者は、誰がコンテンツをどのように使用するかについて、より多くの制御を得られます。本日議論し、間もなく実装する新しいデフォルト設定は、透明性を促進し、世界の動向をより反映したものになると信じています。
もちろん、ウェブの波は常に変化し続けるでしょう。私たちはそれに合わせて調整を続けます。しかし、方向性は変わりません。なぜなら、それはCloudflareが始めた方向性だからです。信頼を中心に構築されたウェブエコシステムです。物事を作る人々が、それがどのように使用されるかを決定でき、そして、自分が何をするかについて正直であることが、より多くのアクセスを得ることを意味する世界です。
これらの新しいAIトラフィック管理オプションは現在利用可能であり、既存のすべての顧客はゾーン設定で設定できます。まだCloudflareを利用していませんか?無料で開始して、今日から希望するトラフィックコントロールを設定しましょう。
コンテンツの独立記念日おめでとうございます。
[画像: BLOG-3337 5]