検索での発見可能性を維持しつつ、AIトレーニングを拒否する

適切な制御なしでは、ウェブサイト所有者は長らく困難なトレードオフに直面してきました。コンテンツをAIトレーニングに利用させるか、検索での発見可能性を失うリスクを冒すかです。そのトレードオフは、インターネット上のいくつかの最大規模の組織が混合型クローラーを使用しているために存在します。これは、検索とAIトレーニングの両方にサービスを提供する単一のクローラーです。一方を拒否すれば、もう一方も拒否することになります。 本日、Cloudflareは、検索のためにインデックス登録されたままでありながら、同じクローラーにコンテンツをトレーニングさせないことを容易にする新しい「Disallow AI Training」設定を発表します。Apple、Google、Microsoftは、この設定を尊重するか、指定された期間内に尊重することを約束しています。 混合型クローラーは、トレーニングに関する問題の難しい部分でした。AI要約が次にきます。サイト全体での「はい」か「いいえ」はあまりにも乱暴です。要約に表示されるコンテンツの量は、表示されるかどうかと同じくらい重要です。AI要約のオプトアウトは、混合型クローラーオペレーターに設定した要件の1つです。来年初頭には、コンテンツのどれだけを含めるかを制御できるようにすることを目指しています。これは、各オペレーターと個別に設定するのではなく、Cloudflareで一度設定するものです。 なぜ「尋ねる」だけでは不十分なのか ほとんどのサイト所有者は、人間、エージェント、そして（良い）ボットに見つけてほしいと思っています。しかし、オープンインターネットの相当な部分は、広告、サブスクリプション、または訪問者との直接の関係によって資金提供されており、これらのモデルは実際に誰かが到着したときにのみ支払われます。 ほぼすべてのサイト所有者は検索を有益だと考えています。Cloudflareサイトの1%未満が検索ボットをブロックすることを選択しています。しかし、トレーニングは別の話です。サイトの17%が、トレーニングをブロックする何らかのメカニズムを有効にすることを選択しています。これはまさに、私たちがサイト所有者に、画一的な「AIをブロック」ではなく、より詳細な制御が必要だと判断した理由です。 robots.txtディレクティブだけではこの問題を解決できません。誰でもrobots.txtを発行できますが、誰がクロールしているかを特定したり、なぜクロールしているかを判断したり、無視するクローラーを停止したりすることはできません。 しかし、ネットワークなら解決できます。私たちはその設定を公開し、誰がクロールしているかを特定し、なぜクロールしているかを分類し、無視するものをブロックします。そして、各オペレーターが実際に行っていることをRadarで報告します。 しかし、ブロックはクローラーを削除します。それはクローラーの動作を変えません。より良い結果は、そもそも選択を迫らないオペレーターです。そのため、7月以来、私たちは彼らと直接話してきました。反応は励みになるものでした。ほとんどの人が、サイト所有者はコンテンツの使用方法について制御と透明性を持ち、その選択が尊重されるという保証を得るべきであることに同意しました。サイト所有者がそれを理解できるように、私たちは「Accountable（責任ある）」という指定を作成しました。 Accountable指定は、現在利用可能な機能と、それらを提供する具体的なコミットメントの両方を認識します。資格を得るには、ボットオペレーターは以下の要件を満たすか、満たすことを約束する必要があります。 robots.txtまたは同様の標準を通じて、サイト所有者がAIトレーニングをオプトアウトするためのメカニズム。 オペレーターと直接設定されたAI要約をサイト所有者がオプトアウトするためのメカニズム。来年にはCloudflareを通じて（詳細は以下のセクションを参照）。 トレーニングのために利用可能だったページへのURLレベルの可視性と、検索でコンテンツがどのように表示されたかを示すメトリクス。 AIトレーニングをオプトアウトしても、従来の検索結果に影響しないという保証。 Apple、Google、Microsoftはすべて、Accountableの資格を満たしていることを示しています。それぞれが現在利用可能な機能と、まだ開発中の機能に対する期限付きのコミットメントを組み合わせています。これらの各企業のクローラーの詳細を以下に共有します。 新しいセキュリティ設定オプション Cloudflareは動作によってボットを分類し、単一のボットは複数の動作を示す可能性があります。3つの動作が制御として利用可能です。 検索 - 検索インデックスを構築するためのクロール。 トレーニング - モデルをトレーニングまたはファインチューニングするためのクロール。 エージェント - チャットフェッチボットやブラウザ使用エージェントなど、人間の代わりにページを訪問するユーザー主導のエージェント。 混合型クローラーは、検索とトレーニングの両方を行う単一のクローラーです。制御なしでは、その組み合わせは上記のトレードオフを作成します。サイト所有者は、一方を拒否せずに他方を拒否することはできません。 Accountable混合型クローラー（ウェブサイト所有者にトレードオフを強制しないもの）をブロックしないようにするために、新しい設定「Disallow AI Training」を導入します。「Disallow AI Training」は、robots.txtに公開する「Disallow:」ディレクティブにちなんで名付けられました。 「ブロック」設定の意味が変化 以前は、「ブロック」と「広告が表示されるページでブロック」は混合型クローラーには適用されませんでした。なぜなら、それらをブロックすると検索の発見可能性にも影響する可能性があるからです。新しい「Disallow AI Training」設定が利用可能になったため、「ブロック」と「広告が表示されるページでブロック」は、Amazon、Anthropic、Meta、OpenAIが実行するトレーニング専用クローラーを含む、すべてのトレーニングクローラーに適用されます。それらをブロックしても検索には影響しません。 トレーニング、検索、エージェントの制御はドメインレベルで適用されます。「Disallow AI Training」の追加により、利用可能な設定は以下のようになります。 許可：他の設定やWAFルールによってブロックされない限り、すべてのクローラーが許可されます。 Disallow AI Training：Bot Preference Syncは、robots.txtに適用可能なトレーニング拒否設定を公開します。Accountable混合型クローラーは検索のために許可されたままです。それ以外のすべてのトレーニングクローラーはブロックされます。これには、Amazon、Anthropic、Meta、OpenAIが実行するトレーニング専用クローラーも含まれます。それらをブロックしても検索には影響しません。「Disallow AI Training」は、検索やエージェントではなく、トレーニングの設定としてのみ利用可能です。 広告が表示されるページでブロック：混合型クローラーを含むクローラーは、広告が表示されていると検出されたページでのみブロックされます。 ブロック：混合型クローラーを含むすべてのクローラーがブロックされます。 「Disallow AI Training」はrobots.txtに設定を公開することで機能します。広告のみの設定は、その方法では表現できません。Cloudflareは広告が表示されるページを検出できますが、そのリストは大きすぎてrobots.txtに列挙するには頻繁に変更されます。そのため、広告が表示されるページでの「Disallow AI Training」はありません。 エージェントは、混合型クローラーと同様の検索発見可能性のトレードオフを作成しません。また、インターネットにはまだエージェントへの「Disallow」設定を表現するための確立されたディレクティブがありません。現時点では、エージェント用の「Disallow」設定は含めていません。ai-prefsなどの標準が成熟するにつれて、このアプローチを再検討します。 9月15日に何が変わるか？ Bot ManagementとAI Crawl Controlに以下の変更を加えます。 「ブロック」と「広告が表示されるページでブロック」は、Applebot、Bingbot、Googlebotを含む混合型クローラーに適用されるようになります。そのため、どちらの設定も検索とトレーニングの両方に影響します。トレーニングを停止して検索を維持するには、「Disallow AI Training」を使用してください。 「Block AI Bots」は、より詳細な検索、トレーニング、エージェントの制御に取って代わられる形で廃止されます。 Managed Robots.txtは、Bot Preference Syncに取って代わられる形で廃止されます。Managed Robots.txtを有効にした顧客は、新しいシステムに移行します。 「Disallow AI Training」は、特定の新しいドメインの推奨構成の一部になります。 既存の顧客は、以下に説明するように、設定が新しい制御に移行されます。 あなたは何をする必要があるか？ ほとんどの場合、何もする必要はありません。現在の設定はそのまま引き継がれます。 混合型クローラーを完全に削除したい場合は、その旨を伝える必要があります。「ブロック」を選択してください。これにより、検索を含むApplebot、Bingbot、Googlebotがサイトに到達できなくなります。 検索/トレーニング/エージェントの制御を一度も使用しなかった既存のドメイン より詳細な制御を一度も設定しなかったサイト所有者は、レガシーの「Block AI Bots」設定に基づいて新しい設定に移行されます。 （レガシー）「Block AI」設定 | （新規）検索設定 | （新規）トレーニング設定 | （新規）エージェント設定 無効（選択なし） | 許可 | 許可 | 許可 有効 | 許可 | Disallow AI Training | 許可 有効 | ブロック | ブロック | 許可 有効 | ブロック | ブロック on pages with ads | 許可 以前に検索/トレーニング/エージェント制御を設定した既存のドメイン 詳細制御を以前に設定したドメインの場合、新しい定義の下でそれらの選択の実質的な効果を維持します。以前の「ブロック」または「広告が表示されるページでブロック」というトレーニング設定は、「Disallow AI Training」に移行されます。制御 | レガシー設定 | 新しい設定