スクレイパー問題に関するアップデート
An Update on the scraper situation (lwn.net)
要約
大規模言語モデル(LLM)の学習データ収集を目的としたウェブサイトのスクレイピング問題が深刻化しており、ウェブサイトへの過剰なトラフィック負荷を引き起こしています。このトラフィックの多くは、ユーザーの同意なく悪用される「レジデンシャルプロキシ」と呼ばれるシステムから発生しており、犯罪組織や一部の企業が関与しています。
全文翻訳
スクレイパー問題に関するアップデート
2025年初頭に公開された記事「AIスクレイパーボットの蔓延との戦い」では、大規模言語モデルや関連プロジェクトの学習データを探すために、ウェブサイトが広範囲にわたってスクレイピングされる問題について論じました。この活動はサイトに過剰なトラフィックをもたらします。この記事が公開されてから1年以上経ちますが、問題は依然として拡大しています。影の主体によるサイトへの攻撃は新たな高みに達し、オープンウェブの維持はますます困難になっています。このトラフィックはどこから来るのか、そしてそれに対して何ができるのでしょうか?
レジデンシャルプロキシ
昨年説明されたように、スクレイパー攻撃はネットワーク上の膨大な数のソースから発生します。数時間のうちに数百万のユニークなIPアドレスからの協調したリクエストが見られることは珍しくなく、それぞれがサイトに最大2〜3回ヒットします。攻撃者が制御するユーザーエージェントフィールドのようなデータは完全に偽装されており、各ヒットは単なる人間のウェブブラウザからのアクセスに見えるように設計されています。違いを見分ける方法はありますが(例えば、ボットは通常画像やCSSを取得しません)、その判断がつく頃には、問題のIPアドレスは二度と使用されなくなります。その時点でIPアドレスをブロックしても時間の無駄です。
このトラフィックは主に、中央のコマンド&コントロールノードによって指示された、レジデンシャルネットワークおよびモバイルネットワークから来ています。通常のシステムにインストールされたソフトウェアが、コントロールノードからの命令を受け取り、要求されたウェブページを取得し、その結果のデータをコントローラーに転送します。多くの場合、この活動はデバイスの所有者の知識や同意なしに行われます。「レジデンシャルプロキシ」という用語は、このように使用されるシステムを指します。
ウェブサイトを攻撃するためにレジデンシャルプロキシネットワークを運営するオペレーターには、表面上少なくともいくつかの異なるタイプがあります。1つ目のタイプは純粋に犯罪的なもので、何らかのマルウェアに侵害されたシステム上でスクレイパーを実行しています。今年の初め、GoogleはIPIDEAというボットネットワークのテイクダウンを実行し、これらのオペレーションがどのように機能するかについての多くの情報を提供しました。IPIDEAのシャットダウンは、LWNでのスクレイパートラフィックの大幅な減少と相関していました。数ヶ月間は比較的平和でした。しかし、その平和な期間はすでに終わっています。
より最近では、メディアストリーミングデバイスが、悪意のあるスクレイピングソフトウェアの主要なキャリアとして特定されています。デバイスはソースで侵害されることもあれば、単にセキュリティが低く、事後に容易に侵害されることもあります。
2つ目のタイプのオペレーターは、より公然と活動し、ある程度の正当性を装って「倫理的に調達された」IPアドレスを提供しています。Bright Dataという会社はその中でも最も著名なものの一つです。同社は、ウェブサイトのアクセス制御やトラフィック制限を回避する能力を喜んで宣伝しています。Bright Dataは「無料」のVPNサービスを提供していますが、ユーザーはBright Dataに、ユーザーのデバイスを介してトラフィックをルーティングする能力を与える(つまり、同社のレジデンシャルプロキシネットワークの一部になる)だけで済みます。このVPNを利用するすべての電話やその他のデバイスは、ウェブサイトを攻撃するために使用される、さらに別のエンドポイントとなります。
このタイプのオペレーターは他にも数多く存在します。多くの場合、アプリ開発者が自社の製品にリンクして、ユーザーのネットワーク接続を乗っ取ったことに対して報酬を得られるライブラリを提供しています。そのうちの1社は、LWNで自社のSDKの広告を掲載しないかという問い合わせさえ送ってきました。それは、言うまでもなく、短い会話で終わりました。一般的に、これらの企業は、例えば「GDPR準拠」を宣伝するなど、ある程度の正当性を装うものから、単に露骨に卑劣なものまで様々です。
これらのレジデンシャルプロキシネットワークはウェブサイトのスクレイピングに使用されますが、これらのオペレーターは、数百万のデバイスが接続されているあらゆるネットワーク上のリソースにアクセスできるコードを実行できる能力を持っていることを強調する価値があります。この種のアクセスがスクレイピングにのみ使用されると仮定するのは、少なくとも楽観的すぎるでしょう。
そしてもちろん、モデル開発を中核事業とする著名な企業もあります。これらの企業は独自のスクレイピングを行っています。それらに容易に帰属できるトラフィックは、ユーザーエージェントフィールドで明確に識別され、一般的にrobots.txtのような措置を遵守しています。彼らもまた、サイト全体を繰り返しスクレイピングしますが、2003年に書かれた記事が過去1日で何らかの変化を遂げたという理論に基づいているようですが、数百万のシステムからの過剰なトラフィックを生成するわけではなく、最大の問題ではありません。
不明なのは、誰がレジデンシャルプロキシを使用しているかということです。誰かがこれらの攻撃をウェブサイトに対して実行するために支払っています。私が知る限り、フロンティアモデル企業がそれらのネットワークを使用しているという証拠はありません。しかし、もし彼らがそうしていることが判明した場合、世界的な驚愕の増加はほとんど登録されないでしょう。これらの企業は、何らかの方法でモデルにデータを供給していますが、学習データをどのように取得しているかについては公表しておらず、コンテンツクリエイターに対する、あるいは彼らのオペレーションについて懸念を持つ可能性のある誰かに対する敬意のレベルにおいても、際立った行動をとっていません。
しかし、公開されているモデル1つにつき、 vast number of undercover models が存在するはずです。多くの企業が独自のモデルを構築しようとしていることは確かです。結局のところ、AIが世界を乗っ取ることになり、その競争でトップに立つ企業は計り知れない価値を持つだろうと、私たちは確実に伝えられています。多くの国には、独自のモデルを開発し、見つけられる場所ならどこでも学習データを求めて手探りしている、影の政府機関が存在するはずです。大規模な犯罪組織(政府と区別される程度において)もおそらく独自のモデルを持ちたいと考えているでしょう。これらのツールは兵器と見なされており、軍拡競争が行われています。インターネット全体がその十字砲火に巻き込まれています。
オープンインターネットの防御
これらすべてに対応するため、ウェブサイト運営者は、実際のユーザーへの影響を最小限に抑えながら、サイトを防御するために奔走しています。プルーフ・オブ・ワークを要求することでスクレイパーを撃退しようとするAnubisは、現在広く普及しています。他のサイトは商用サービスを使用しており、時には「あなたは人間であることを証明してください」ボタンでその存在を示します。あるいは、サイトはユーザーに、街灯(ただしLED電球のものだけ)を含む四角形を選ばせたり、パズルピースを配置させたり、スペースバーを押しながら歌を歌わせたりします。多くのサイト機能がログインゲートやペイウォールの背後に置かれています。一部のサイトは、iocaineのようなツールを使用して、スクレイパーに送信されるデータを積極的に汚染しようとします。
これらのメカニズムを設定・維持する必要性と、ウェブサイトにアクセスするためにユーザーがそれらに対応しなければならないという要件は、スクレイパーとその支払者によって世界全体に課せられる重い税金となっています。
最近、LWNは、これまでにない最も重いスクレイパー攻撃を受けました。実装された防御策のおかげで、サイトはトラフィックに十分耐え、実際の読者のほとんどはおそらく気づきもしませんでした。サイトを防御するために取った措置について説明を求める声がありましたが、明白な理由から、それらを詳細に議論するつもりはありません。これもまた軍拡競争なのです。
私たちが言えるのは、実際の読者への影響を可能な限り最小限に抑えるよう努めたということです。Anubisのようなツールは使用していません。これは、サイトへのアクセスを試みる人々にとって煩わしい遅延を引き起こすためでもありますが、スクレイパーが最終的にそれを回避する方法を見つけることは避けられないように思えるためでもあります。実際、その兆候はすでに現れています。プルーフ・オブ・ワーク要件は、作業を行うために何百万人もの他人のマシンがある場合、大きな障害ではありません。
また、正当な検索エンジン、Internet Archive、その他の同様のグループの運用を妨げないという願望もあります。一部のサイトは、例えば主要な検索エンジンにサイトへのアクセスを許可するために、明示的な許可リストを追加するかもしれません。そのような措置は、すでに私たちに不十分なサービスを提供している独占をさらに強化する効果があり、避けるべきです。私たちは、これまでのところ、それに成功しています。
私たちはサイトの一部を積極的に最適化し、攻撃を受けている時間帯に高コストな操作を最小限に抑える方法を見つけました。匿名読者は時折それらの措置のいずれかに遭遇するかもしれませんが、ログインユーザーは遭遇しません。面白いことに、サイトが攻撃を受けているときの応答時間は、防御策が休止している穏やかな時間帯よりも優れていることが多いです。しかし、問題が解決したと考えるほど愚かではないことを学びました。現在の措置がもはや効果的でなくなった場合に、次のステップを検討する必要があります。
7月2日、Googleは、米国連邦捜査局(FBI)などと連携し、「NetNut」と呼ばれるレジデンシャルプロキシネットワークをテイクダウンしたと発表しました。[(https://cloud.google.com/blog/topics/threat-intelligence/google-continued-disruption-residential-proxy-networks)](https://cloud.google.com/blog/topics/threat-intelligence/google-continued-disruption-residential-proxy-networks)。今のところ、その行動はスクレイパー攻撃のレベルをいくらか低下させることに成功したようです。しかし、経験上、この歓迎すべき平和は長くは続かないでしょう。Googleは、PlayストアがNetNutに感染したアプリをチェックするようになったと強調していますが、主要なベンダーは、レジデンシャルプロキシ機能を持つアプリをアプリストアに掲載することがなぜこれほど容易なのかについては沈黙しています。
インターネット全体が防御壁の後ろに追いやられ、多くの創造性を刺激したオープンネットワークが失われる前に、より永続的な解決策を見つけることができれば良いでしょう。これらの攻撃を推進している業界は、そのコンテンツを略奪した後、独立したウェブサイトを煙のクレーターに変えることに完全に満足しているように見えます。この態度は、惑星やその経済にも及んでいます。しかし、私たちの中にはその考えに反対し、それに抵抗する者もいます。いつか、幸運にも、世界全体が、大規模言語モデルや関連技術の背後にある企業に対して、最小限の倫理基準を課すことを決定するでしょう。それまでは、この行動は続きます。そして私たちは、それに対して自らを守る以外に選択肢がなくなります。