検索での発見可能性を維持しつつ、AIトレーニングを拒否する

AIトレーニングを許可せずに検索での発見可能性を維持する

適切な制御なしでは、ウェブサイトの所有者は長い間、難しいトレードオフに直面してきました。コンテンツをAIトレーニングに使用させるか、検索での発見可能性を失うリスクを冒すかのどちらかです。このトレードオフは、インターネット上のいくつかの最大の組織が混合用途クローラーを使用しているために存在します。単一のクローラーが検索とAIトレーニングの両方にサービスを提供します。一方を拒否すれば、もう一方も拒否することになります。

本日、Cloudflareは新しいDisallow AI Training設定を発表しました。これにより、同じクローラーがコンテンツでトレーニングするのを拒否しながら、検索のためにインデックスに登録されたままにすることが容易になります。Apple、Google、Microsoftは、この設定を尊重するか、指定された期間内に尊重することを約束しています。

混合用途クローラーは、トレーニング問題の難しい部分でした。AIサマリーが次です。サイト全体での「はい」または「いいえ」はあまりにも大雑把です。サマリーに表示されるコンテンツの量は、表示されるかどうかと同じくらい重要です。AIサマリーのオプトアウトは、混合用途クローラーオペレーターに設定した要件の1つです。来年初頭までに、Cloudflareで一度設定するだけで、各オペレーターと個別に設定するのではなく、コンテンツのどれだけが含まれるかを制御できるようにすることを目指しています。

なぜ「尋ねる」だけでは不十分なのか

ほとんどのサイト所有者は、人間、エージェント、（良い）ボットによって見つけられることを望んでいます。しかし、オープンインターネットのかなりの部分は、広告、サブスクリプション、または訪問者との直接の関係によって資金提供されており、これらのモデルは実際に誰かが到着したときにのみ支払われます。

ほぼすべてのサイト所有者は検索を有益だと考えています。Cloudflareサイトの1%未満が検索ボットをブロックすることを選択しています。しかし、トレーニングは別の話です。サイトの17%が、トレーニングをブロックする何らかのメカニズムを有効にすることを選択しています。「AIをブロック」という万能の解決策ではなく、より詳細な制御が必要だと判断した理由はこれです。

robots.txtディレクティブだけでは、この問題を解決できません。誰でも公開できますが、誰がクロールしているかを特定したり、なぜクロールしているかを判断したり、無視するクローラーを停止したりすることはできません。

しかし、ネットワークはそれを解決できます。私たちは設定を公開し、誰がクロールしているかを特定し、なぜクロールしているかを分類し、無視するものをブロックします。そして、各オペレーターが実際に行っていることをRadarで報告します。

しかし、ブロックはクローラーを削除します。クローラーの動作を変えるわけではありません。より良い結果は、選択を強制しないオペレーターです。そのため、7月以来、直接彼らと話してきました。反応は励みになるものでした。ほとんどすべての人が、サイト所有者はコンテンツの使用方法について制御と透明性を持つべきであり、彼らの選択が尊重されるという保証があることに同意しました。サイト所有者がそれを理解できるように、私たちは「Accountable（責任ある）」という指定を作成しました。

Accountable指定は、今日利用可能な機能と、それらを提供するという具体的なコミットメントの両方を認識します。資格を得るには、ボットオペレーターは以下の要件を満たすか、満たすことを約束する必要があります。

1. robots.txtまたは同様の標準を通じて、サイト所有者がAIトレーニングをオプトアウトするためのメカニズム。
2. サイト所有者がAIサマリーをオペレーターに直接設定するためのメカニズム。来年にはCloudflareを通じて（詳細は以下のセクションを参照）。
3. トレーニングに利用可能だったページのURLレベルの可視性と、検索でコンテンツがどのように表示されたかを示すメトリクス。
4. AIトレーニングのオプトアウトが従来の検索結果に影響しないという保証。

Apple、Google、Microsoftはすべて、Accountableの資格を満たしていることを示しています。それぞれが今日利用可能な機能と、まだ開発中の機能に対する期限付きのコミットメントを組み合わせています。これらの各企業のクローラーの詳細を以下に共有します。

新しいセキュリティ設定オプション

Cloudflareは動作によってボットを分類し、単一のボットが複数の動作を示すことがあります。3つの動作が制御として利用可能です。

• Search - 検索インデックスを構築するためのクロール。
• Training - モデルをトレーニングまたはファインチューニングするためのクロール。
• Agent - チャット取得ボットやブラウザ使用エージェントなど、人間の代わりにページを訪問するユーザー主導のエージェント。

混合用途クローラーは、SearchとTrainingの両方を行う単一のクローラーです。制御がない場合、その組み合わせは上記のトレードオフを生み出します。サイト所有者は、一方を拒否せずに他方を拒否することはできません。

Accountableな混合用途クローラー（ウェブサイト所有者にトレードオフを強制しないもの）をブロックしないようにするために、新しい設定「Disallow AI Training」を導入します。Disallow AI Trainingは、robots.txtに公開するDisallow:ディレクティブにちなんで名付けられました。

「Block」設定の意味が変更されました

以前の「Block」および「Block on pages with ads」は、混合用途クローラーには適用されませんでした。それらをブロックすると、検索の発見可能性にも影響する可能性があるためです。新しいDisallow AI Training設定が利用可能になったため、「Block」および「Block on pages with ads」は、Amazon、Anthropic、Meta、OpenAIが実行するトレーニング専用クローラーを含む、すべてのトレーニングクローラーに適用されます。それらをブロックしても検索には影響しません。トレーニング、検索、エージェントの制御はドメインレベルで適用されます。Disallow AI Trainingの追加により、利用可能な設定は次のとおりです。

1. Allow: 他の設定またはWAFルールによってブロックされない限り、すべてのクローラーが許可されます。
2. Disallow AI Training: Bot Preference Syncは、robots.txtに適用可能なトレーニング拒否設定を公開します。Accountableな混合用途クローラーは、検索のために許可されたままです。それ以外のすべてのトレーニングクローラーはブロックされます。これには、Amazon、Anthropic、Meta、OpenAIが実行するトレーニング専用クローラーも含まれます。それらをブロックしても検索には影響しません。Disallow AI Trainingは、SearchまたはAgentではなく、Trainingの設定としてのみ利用可能です。
3. Block on pages with ads: 混合用途クローラーを含むクローラーは、広告を表示していると検出されたページでのみブロックされます。
4. Block: 混合用途クローラーを含むすべてのクローラーがブロックされます。

Disallow AI Trainingは、robots.txtに設定を公開することで機能します。広告のみの設定は、その方法では表現できません。Cloudflareはどのページが広告を表示するかを検出できますが、そのリストは大きすぎてrobots.txtに列挙するには頻繁に変更されます。そのため、広告が表示されるページではDisallow AI Trainingは利用できません。

エージェントは、混合用途クローラーと同じ検索発見可能性のトレードオフを生み出さず、インターネットにはまだエージェントへのDisallow設定を表現するための確立されたディレクティブがありません。現時点では、エージェント用のDisallow設定は含めていません。ai-prefsのような標準が成熟するにつれて、このアプローチを再検討します。

9月15日に何が変わるか？

Bot ManagementおよびAI Crawl Controlに以下の変更を加えます。

1. BlockおよびBlock on pages with adsが、Applebot、Bingbot、Googlebotを含む混合用途クローラーに適用されるようになります。そのため、どちらの設定もトレーニングだけでなく検索にも影響します。トレーニングを停止して検索を維持するには、Disallow AI Trainingを使用してください。
2. 「Block AI Bots」は、より詳細なSearch、Training、Agent制御に置き換えられます。
3. Managed Robots.txtは、Bot Preference Syncに置き換えられます。Managed Robots.txtを有効にしていた顧客は、新しいシステムに移行します。
4. Disallow AI Trainingは、特定の新しいドメインの推奨設定の一部になります。
5. 既存の顧客は、以下に説明するように、設定が新しい制御に移行されます。

あなたがする必要があること

ほとんどの場合、何もする必要はありません。現在の設定は自動的に引き継がれます。

混合用途クローラーを完全に削除したい場合は、その旨を伝える必要があります。「Block」を選択してください。これにより、Applebot、Bingbot、Googlebotがサイトにアクセスできなくなり、検索も含まれます。

検索/トレーニング/エージェント制御を一度も使用しなかった既存のドメイン

より詳細な制御を設定したことのないサイト所有者は、レガシーの「Block AI Bots」設定に基づいて新しい設定に移行されます。

以前に検索/トレーニング/エージェント制御を設定した既存のドメイン

以前に詳細な制御を設定したドメインの場合、新しい定義の下でそれらの選択の実質的な効果を維持します。以前のTraining設定でBlockまたはBlock on pages with adsを選択していた場合、Disallow AI Trainingに移行されます。

新規ドメインの推奨設定

9月15日以降、新しいドメインをオンボーディングする顧客には、サイトが広告から収益を得ているかどうかによって、2つのプリセット構成のいずれかが提供されます。広告収益は、人間が実際にページを見ることによって発生します。トレーニングは、その訪問を回答に置き換えます。エージェントは、誰も広告を見るためにそこにいない状態でページを取得します。そのため、広告サポートサイトのプリセットはより制限的です。オンボーディング中、またはその後いつでもこれらの設定を変更できます。

新規ドメインの推奨設定

［画像: BLOG-3499 2.png］

「広告を表示するページで収益化しています」が選択されている場合の新規ドメインのオンボーディングフローのスクリーンショット。

特定の混合用途クローラーにとっての意味

Applebot、Bingbot、GooglebotはAccountableです。Apple、Google、Microsoftは、パブリッシャーの選択と透明性という同じ原則にコミットしています。Disallow AI Trainingの下で、それらは検索のためにあなたのサイトをクロールし続けることができます。「Block」を選択すると、それらを完全に停止します。

Amazon、Anthropic、Meta、OpenAIの関連クローラーもAccountableとして分類しています。これらの組織は検索とトレーニングのクローラーを分離しているため、Cloudflareは検索に影響を与えることなくトレーニングクローラーをブロックできます。

Applebot

Applebotは、サイト所有者がrobots.txtに「Applebot-Extended」のDisallowルールを追加することでトレーニングをオプトアウトできるようにします。サイト所有者は、ページHTMLのnosnippetディレクティブを介してAIサマリーのプリファレンスを表現することもできます。コンテンツはペイウォールコンテンツとしてラベル付けして、生成出力から除外することもできます。ApplebotはまだURLレベルの検査ツールを提供していません。しかし、私たちは彼らのチームと会談し、来年のための進行中のソリューションの詳細を共有しました。Appleはまた、トレーニングの拒否が検索ランキングに影響しないと述べています。

Googlebot

Googlebotは、サイト所有者がrobots.txtに「Google-Extended」のDisallowルールを追加することでトレーニングをオプトアウトできるようにし、彼らはウェブマスターポータル内にサイトのコンテンツを生成検索結果から除外するためのトグルを提供しています。Googlebotはまた、サイト所有者に検索結果とAIサマリー結果に関するメトリクスとレポートを提供します。Googleは、既存および最近開始された制御に関する情報、およびGoogle-Extendedに関連するサイト所有者向けの追加のURLレベルの透明性ツールを含む、現在取り組んでいることに関する情報を提供しました。これは数週間以内にリリースされる予定です。Googleはまた、Google-Extendedの拒否が検索ランキングに影響しないと述べています。

Bingbot

Bingbotは、Webmaster Toolsで詳細な制御と透明性を提供します。サイト所有者は現在、BingのNOARCHIVEメタタグを通じてAIトレーニングのプリファレンスを表現できます。Microsoftはこれらの機能を拡張しており、2027年初頭を目標に、ドメイン/サイトレベルでrobots.txtの「トレーニングなし」のプリファレンスを尊重するメカニズムを構築中です。今日BingでトレーニングをオプトアウトしたいCloudflareのお客様は、NOARCHIVEタグの使用に加えて、URLのブロックまたはコンテンツ削除ツールを使用できます。Microsoftはまた、NOARCHIVEの使用が検索ランキングに影響しないと述べています。

そのサポートが開始されるまで、Disallow AI Trainingを選択しても、robots.txtを通じてBingにトレーニング拒否のプリファレンスが自動的に伝達されません。これは、Bingbotのような混合用途クローラーには適用されなかった以前のTraining Block設定と同じ実質的な動作です。

継続的な進歩

これらの機能が進化するにつれて、すべてのAIクローラーオペレーターとの連携とエンゲージメントを継続していきます。Cloudflare Radarは、Accountableなクローラーオペレーターが提供する制御、透明性、およびレポートを公開で追跡します。

インターネットをより良くするためには、両方の側が主体性を持つ必要があります。クローラーはオープンウェブへのアクセスを必要とし、そのウェブを作成する人々は、彼らの仕事がどのように使用されるかについて意味のある制御を必要とします。本日の発表は、そのバランスに向けた具体的な進歩を表しています。

進歩には、インフラストラクチャプロバイダー、コンテンツクリエーター、テクノロジー企業、およびInternet Engineering Task Force（IETF）のような標準化団体が協力して、これらの原則をオープンで相互運用可能な標準に翻訳することが必要です。

次は何：AIサマリー

トレーニングとAIサマリーは、サイト所有者にとって異なる問題を引き起こします。トレーニングは、コンテンツがAIモデルの構築に使用できるかどうかに関係します。サマリーは、人々がビジネスを発見、評価し、最終的に訪問する方法に影響します。どちらも重要ですが、ビジネスには異なる影響を与えます。

AIサマリーをオプトアウトするための制御は最初のステップです。Accountableと特定されたオペレーターは、その機能を提供しているか、提供を完了しており、重要なベースラインを確立しています。サイト所有者は「いいえ」と言うことができます。

しかし、サマリーを許可するか禁止するかというサイト全体での選択は、依然として大雑把な手段です。正しい決定は、サイト、コンテンツ、およびビジネスの結果に依存します。パブリッシャーにとって、トレーニングは制御、報酬、およびオリジナルコンテンツの持続可能性に関する基本的な問題を引き起こします。サマリーは、別個で、しばしばより緊急の配布問題を作成します。訪問者はパブリッシャーのサイトを訪問するのか、それとも検索またはAI体験内の回答を消費するのか？他の多くのビジネスにとって、AIサマリーは潜在的な顧客とウェブサイトの間にますます位置しています。それらは質問に答えたり、代替案を比較したり、製品を推奨したり、訪問するかどうかを決定するのに役立つかもしれません。

データは混合的な影響を示しています。半数以上の消費者が検索の上部にあるサマリーを読み、これらの消費者はそれを読んだ後に検索を終了する可能性が40%以上高くなっています。これは、ウェブサイトが受ける訪問数を減らす可能性があります。しかし、AI検索から紹介された消費者は、従来の検索から紹介された消費者の3倍から5倍以上のコンバージョン率になります。AIは訪問数を減らすかもしれませんが、より高い意図を持つ顧客を送信する可能性があります。

それは本質的に良いことでも悪いことでもありません。広告で資金提供されているパブリッシャーは、オーディエンスのボリュームを最適化するかもしれません。小売業者は、購入する可能性が高い訪問者が少ないことを好むかもしれません。Cloudflareの役割は、彼らのために選択することではなく、情報に基づいた決定を下すために必要な可視性と制御を提供することです。

サマリーのオプトアウトは良いスタートですが、最終状態ではありません。私たちの次の焦点は、サイト所有者がサマリーがビジネスにどのように影響するかを理解するのを助け、コンテンツの使用量を制御するためのより多くの制御を与えることです。ai-prefsのようなオープンスタンダードは、それを可能にするための重要な部分になります。

この会話で発言したい、またはフィードバックを提供したい場合は、crawlercontrols@cloudflare.comまでご連絡ください。

これらの新しい制御は、すべてのプランのすべての顧客が利用でき、ドメイン（ゾーン）のセキュリティ設定で設定できます。まだCloudflareを利用していませんか？今日必要なトラフィック制御を設定するために無料で開始してください。