オープンウェブを破壊しても、悪質なボットは止まらない

オープンウェブを破壊しても、悪質なボットは止まらない

［画像: クモの巣の中にいるクモのクローズアップ。Valeriia Neganova/Unsplash］

先月下旬、300人以上の主要メディア関係者が連邦議会に集まり、Stealth Bot Prohibition Act（ステルスボット禁止法）を推進しました。彼らは正当な不満を抱えていました。ニュースルームは、主にAI開発者からの自動化されたトラフィックの急増に悩まされています。AI開発者は膨大な量のオンラインコンテンツを抽出し、そのコンテンツでトレーニングされた生成AI機能やチャットボットによって、ウェブサイト所有者から紹介トラフィックや広告収入を奪う可能性があります。これは現実の問題であり、実効性のある解決策が必要です。しかし、この法案は悪用されるクローリングによって引き起こされる被害に直接対処するものではありません。むしろ、公開情報収集の自動化を行うすべての人が、その身元と目的を開示することを義務付けることになります。これはジャーナリストを保護するどころか、彼らや他の多くの人々がオンラインで情報を収集するために頼っている基本的なツールを脅かすものです。

最先端の調査報道は、自動化されたデータ収集に依存しています。2022年、ピューリッツァー賞を受賞したウォール・ストリート・ジャーナルの調査は、12,000人の連邦政府高官の31,000件以上の財務開示を分析し、連邦政府職員の約4分の1が、その管轄下にある産業の株式を取引していたことを明らかにしました。その規模の調査を実施するために、ジャーナルはウェブスクレイピングに頼りました。これは、クローラーとして知られるソフトウェアボットがインターネットを閲覧し、情報を収集する自動化されたプロセスです。オープンウェブのこの基本的なツールは現在、「ステルス・クローリング」を標榜する法案によって脅かされていますが、実際には、保存、ジャーナリズム、研究、セキュリティを含む正当な公共利益活動を妨げる可能性があります。

繰り返しになりますが、特にAIトレーニングとコンテンツの需要が爆発的に増加する中で、大規模で攻撃的なスクレイピングは現実の問題です。これはウェブサイトを過負荷にし、コストを増加させ、商業出版社、Wikipedia、図書館、そしてインターネットアーカイブ（この記事の著者の1人が勤務しています）を含む、知識を生成・保存する機関を脅かします。

問題のあるスクレイピング行為を削減または排除しようとする試みとして、連邦のStealth Bot Prohibition Actやニューヨーク州のStealth Crawler Prohibition Actのような法案が提案されていますが、これらは実際の被害に対処することなく、匿名でのスクレイピングに広範な禁止措置を課すものです。

両法案は、「ボット」または「クローラー」を、「ウェブサイトまたはその他のインターネットソースを取得、スキャン、インデックス作成、スクレイピング、またはその他の方法でアクセスする」ソフトウェアと定義しています。ボットは、その身元と「ボットの特定の性質と目的」を開示しない場合、「ステルス」とみなされます。連邦法案の下では、個人がウェブサイトの「技術的または商業的運用を損なう、または負担をかける可能性が合理的に高い」方法でステルスボットを使用した場合、FTCは最大53,000ドルの罰金を科すことができます。この法案は、「合理的にウェブサイトを損なう可能性が高い」とは何かについて、定義や基準を提供していません。ニューヨーク州法案は、対象となるニュースサイトにのみ適用されますが、発行者は損害の証明を必要とせずに、クローラーの身元を明らかにするための召喚状を取得できます。

クローラーの背後にある身元を知っていても、その行動が有害かどうかについてはほとんどわかりません。ニューヨーク州法案の下では、身元を開示してから1分間に10,000回ウェブサイトにアクセスする企業は、依然としてサイトに多大な、そしておそらく不当なコストを課しているにもかかわらず、法律を遵守しています。しかし、テクノロジー企業による反競争的な慣行を調査するために、匿名でクローラーを使用するジャーナリストはそうではありません。クローリングの最も社会的に価値のある用途の多くは、匿名性を必要とします。クローラーの身元と目的を明らかにすると、収集される情報の性質そのものが変わってしまいます。研究対象が観察されていること、そして誰によって観察されているかを知っていれば、その行動は変化します。それが匿名で研究することの意図です。

さらに、すべての自動化されたデータ収集が悪用されているわけではなく、すべてがAIのトレーニングに使用されているわけでもありませんが、これらの提案されている法案は、責任を恐れて、アーカイブ担当者、研究者、市民技術者が自動化されたデータ収集ツールを使用することを思いとどまらせるリスクがあります。ジャーナリストは、WSJの記事のように、公開記録を分析するためにスクレイピングを使用します。研究者は、オンラインでの差別や偽情報を研究するためにそれを使用します。

インターネットアーカイブのWayback Machineは、1兆ページ以上のウェブページをアーカイブするためにクローラーを使用してきました。これにより、そうでなければ絶えず変化したり消滅したりするインターネットの歴史的記録が作成されました。そのアーカイブ記録は、数千のニュース記事の事実的背景、全国の数百の訴訟での証拠、そして多くの場合、物事がうまくいかなくなったときのバックアップを提供してきました。

公共の利益を前進させるためにスクレイピングに依存しているのは、アーカイブ担当者だけではありません。障害を持つ人々の擁護者は、100万以上のウェブサイトを自動評価してアクセシビリティの問題を検出するためにスクレイピングを使用しました。公衆衛生の研究者は、オピオイド流行や、中毒と治療を取り巻く偽情報を追跡するためにスクレイピングを使用しています。連邦政府は、脅威検出のためにスキャンするためにクローラーに依存しており、全国の組織に無料のサイバーセキュリティサービスを提供しています。そして、これらのユーザーの一部にとって、匿名性は彼らの仕事の整合性と安全性のために不可欠です。たとえば、公開されている企業の開示情報や衛星画像ポータルから情報を収集している環境研究者は、調査対象の企業からの報復を恐れる可能性があります。

コンテンツをあなたの受信トレイにお届けします。

テクノロジーと民主主義の交差点における問題とアイデアに関するニュースレターにご登録ください。

憲法修正第1条は、情報を受け取る際に政府から身元開示を求められることから、歴史的に私たちを保護してきました。Lamont v. Postmaster General事件において、最高裁判所は、特定の政治出版物を受け取る前に受信者が積極的に身元を開示することを義務付ける法律を無効にしました。この原則はウェブクローリングにも当てはまります。公開されている情報にアクセスするための条件として身元開示を求めることは、情報を受け取る自由を負担します。

法律が曖昧な言葉を使用する場合、その懸念は高まります。研究者が禁止された方法でクローラーを「展開」することの意味、または「ウェブサイトを損なう、または負担をかける可能性が合理的に高い」活動が何であるかを容易に理解できない場合、法律違反のリスクを避けるためにスクレイピングを控えるかもしれません。

ニューヨーク州知事キャシー・ホークル宛ての書簡で述べたように、「匿名化は、AI関連のクローリングによる技術的および潜在的な経済的損害に実際に対処することなく、オープンウェブの核心を脅かします。」クローラーの身元を明らかにするだけでは、サーバーへのリクエスト数を減らすことはできません。AI製品の構築に使用されたコンテンツに対する発行者への補償にもなりません。そして、ユーザーがAIチャットボットで情報を得るようになったときに発行者が失う可能性のある紹介トラフィックを回復することもありません。

実際、既存の法律は、スクレイピングされたデータの多くの有害な用途に対処するために使用できます。たとえば、プライバシー法は、機密データの処理方法を制限できます。著作権法は、侵害的なAI生成出力に対応できます。消費者保護法は、欺瞞的なデータ収集または使用に対処できます。

攻撃的なAIスクレイピングによって提起された特定の問題に対処するために、政策立案者は、ウェブサイトが自動化されたトラフィックをより良く管理するのに役立つ、標準化された相互運用可能な技術ソリューションの開発を支援できます。例えば、Internet Engineering Task Forceのような標準化団体は、オンラインコンテンツへの機械アクセスを管理するための新しいプロトコルを検討しており、良好なクローラーの行動の匿名での証明のメカニズムを開発しています。政策立案者は、この作業が発展するのを許容すべきであり、時期尚早に「良い」ボットを損ない、「悪い」ボットがすぐに回避策を学ぶような法的および技術的措置を課すことを避けるべきです。

そして、政策立案者が新たな立法が必要だと判断した場合、責任は、サーバーを過剰なリクエストで過負荷にする、詐欺に従事する、または禁止された目的でデータを収集するといった、識別可能な損害を引き起こす行為に帰属すべきです。

AIクローリングの広がりは、発行者やウェブサイト運営者にとって、慎重な政策対応を必要とする正当な課題を生み出しました。しかし、政策立案者は、匿名性をそれ自体が悪いものとして扱うことを避けるべきです。オープンウェブは、私たちの身元を明らかにしたり、すべてのウェブサイト所有者から事前に許可を求めたりすることなく、公開されている情報にアクセスし、分析し、保存する能力に依存しています。

悪用されるクローリングを抑制しつつ、健全な情報エコシステムを維持したい政策立案者には、より良い選択肢があります。私たちは、それらを支援することに意欲的です。州および連邦レベルの立法者に対し、代替案が有害な行為を標的としながら、ジャーナリスト、研究者、アーカイブ担当者、そして市民が長年デジタル世界をナビゲートするために使用してきたツールを保護する方法について、私たちに連絡してほしいと呼びかけます。