TheNumbers.comに何が起こったのか
What happened to TheNumbers.com (stephenfollows.com)
要約
映画業界のデータサイトTheNumbers.comが突然ダウンし、その後機能が大幅に縮小して再開した経緯を追った記事。創設者へのインタビューによると、AIボットによる過剰なデータスクレイピングがサーバーに壊滅的な負荷をかけ、サイトの崩壊を招いた。この記事は、オンラインデータソースの脆弱性と、AIによるトラフィック増加がもたらす課題を浮き彫りにしている。
全文翻訳
TheNumbers.comに何が起こったのか、それは私たち全員を心配させるべきだ
映画業界で働いている、あるいはその周辺にいる人なら、意識しているかどうかにかかわらず、今月The Numbersの仕事を使ったことがある可能性は十分にある。
その手作業で調査されたデータは最高品質で、78,000本以上の映画と236,000人以上の人物の興行収入、予算、ホームビデオ、ストリーミングを追跡している。年間800万件以上の訪問者があり、ジャーナリスト、学者、映画製作者、予測市場、さらにはギネス世界記録によってTHE決定的な権威として扱われている。
そして、このGOAT(Greatest Of All Time)とも言える地位が、今年の3月に壊滅的な出来事を引き起こした原因となった。
2026年3月5日、TheNumbers.comのウェブサイトが消滅した。
サイトは説明もなく1週間以上ダウンしていた。1週間後、以前の規模のわずかな割合で再浮上した。過去のチャート、個々の映画ページ、そして多くの人に愛されていたレポートビルダーはすべて消えていた。
「再構築中です。しばらくお待ちください」という一般的なメッセージしか手がかりがない中、インターネットはいつものように混乱、怒り、陰謀論で反応した。
Redditのあるスレッドでは、無料サイトを有料製品に誘導するために意図的にサイトを破壊したという「ラグプル」だとさえ示唆された。
3ヶ月後、私はThe Numbersの創設者兼CEOであるブルース・ナッシュ氏と、何が起こったのかについて長時間話を聞いた。彼はかなり不愉快で波乱に満ちた経験だったと語っている。
「かつてあったページがもうない、どこにあるんだ?という怒りのメールをたくさん受け取りました」
彼の話の中には、ウェブサイトを運営している人、それに依存している人、あるいは単にインターネットを評価している人なら誰でも心配すべきことがいくつか含まれている。
まず、背景を説明しよう
1997年10月17日金曜日、数学者で元IBMのソフトウェア開発者であるブルース・ナッシュ氏は、300本の映画を追跡するGeocitiesサイトを立ち上げた。
ブルースは20周年記念エッセイ(後に明らかになる理由により、現在はインターネットアーカイブにしか残っていない)でその立ち上げを説明している。
「Accessデータベースのボタンを押し、GeocitiesにHTMLページをいくつかアップロードし、HSXでMovieStocksを取引するのを助けるために映画の興行収入を分析し始めたことを知らせるために、Hollywood Stock Exchangeのメッセージボードで簡単なアナウンスをしました。」
そのささやかな始まりから、ブルースとサイトの周りに築き上げたチームは、The Numbersを映画業界で最も信頼できる金融情報源へと成長させた。
2026年初頭の時点で、データベースは78,396本の映画、178,375件の劇場公開記録、236,176人の人物を追跡していた。
ロボットの襲来
その生涯において、The Numbersが直面した課題は大きく変化した。最初の四半世紀ほどは、トラフィックは管理可能で、ほとんどが丁寧なものだった。ブルースの言葉を借りれば:
「AI以前は、人間からのトラフィック、主にマナーの良い検索エンジンクローラー、そして個人のプロジェクトのためにサイトをクロールする人々がいました。誰かが欲張りすぎると、それを見つけてブロックすることができました。」
過去数年間、世界中のウェブサイト所有者はウェブトラフィックの変化を目の当たりにしてきた。当初は人々がブラウジングするだけだったものが、ボットの増加に取って代わられた。2024年までに、自動トラフィックは人間トラフィックを上回り、先月にはCloudflareがウェブページリクエストの57.5%をボットが占めたと発表した。
The Numbersはこの変化を2つの distinct な波で感じた。最初の波は2024年頃に始まった。
「AIトレーニングが検索エンジンクローラーに加わったことで、クロールの増加が見られました。AIクローラーは検索エンジンよりも一般的にマナーが悪く、サイトをスムーズに稼働させるための管理タスクが増加しました。」
そして2番目の波は、より強く、より破壊的だった。
「2025年12月頃、トラフィックの大きなスパイクが再び発生しました。これはエージェンティックAIによるものだと考えています。プロンプトに応じてサイトをスクレイピングするAIエージェントと、サイトをスクレイピングするエージェントを自分で書けるようになった人々との組み合わせです。」
データが豊富なサイトと同様に、2026年初頭、The NumbersはAIボットによって、工業規模で繰り返しページをスクレイピングされるという激しい攻撃を受けていた。ブルースによると、トラフィックのわずか10%がサイトをブラウジングする人間からのもので、残りはAIボットと自動トラフィックからのものだという。
ウェブサイトは新しいロボットに適応しようとする
これはサイトに多大な負荷をかけたが、ブルースと彼のチームは最悪の事態を軽減するための対策を講じることができた。最も賢い方法の1つは、ロボットと彼ら自身の言語で話すことだった。
「サイトにはLLM(大規模言語モデル)が読み取るように設計されたものがあります。これにより、『サイトをスクレイピングする方法はこちら』ではなく、『データをライセンスする方法はこちら』と伝えることができます。これは大きな効果をもたらしました。現在、ライセンスに関する問い合わせは10倍になっています。」
しかし、軽減は回避ではない。12月から3月初旬にかけて、チームは負荷の下でサイトを稼働させ続けるのに苦労した。ブルースの推定では:
「私たちの時間の90%は既存のサイトを稼働させ続けることに費やされ、残りの時間は新しく改善されたシステムに取り組んでいました。」
サイトの古さが問題をさらに複雑にした。30年もの間、約16万個のソースファイルが約200万ページを提供していた。
そして、3月5日木曜日の早朝、サーバーがダウンした。
チームは何が起こったのかを理解しようと必死になったが、当初はAIトラフィックの純粋な重さによるものだと考えていた。AIが原因だったようだ…しかし、彼らが最初に考えた方法だけではなかったかもしれない。
エージェンティックトラフィックの洪水の中に埋もれていたサイトのログは、スクレイピングよりも的を絞った何かを示していた。ブルースの説明によると:
「これらのうちいくつかは正規のURLを使用してサイトにアクセスし、いくつかはバックドアを探していました。おそらく、データがサイトに表示される前にアクセスするため、またはユーザーに表示されるデータを操作するためでしょう。」
サイバーセキュリティの専門家である友人のアドバイスを受け、古いサーバーはオフのままにされた。永久に。バックアップを復元し、30年前のサイトをオンラインに戻すには、数ヶ月かけてプローブしていた攻撃者に対して16万個のレガシーファイルを守る必要があった。
チームは新しいインフラストラクチャ上にウェブサイトのスケルトンバージョンを急いで構築し、何が起こったのか、次に何をすべきかを検討している間、少なくとも最新の興行収入の数字を提供できるようにした。これは3月13日金曜日に公開された。
興行収入ウェブサイトへのプライベートアクセスを誰が望むのか?
一見すると、The Numbersは明白な標的ではないかもしれない。クレジットカード情報を収集しているわけでもなく、ダークウェブで売れるような魅力的な顧客データもない。それは映画の収益を公開する小規模な独立企業だ。
どうして誰かがサイトへのプライベートアクセスだけでお金を稼ぐことができると期待できるのだろうか?
まだ気づいていない人のために言うと、それは予測市場と関連している。
Polymarketは毎週のオープニング週末の市場を運営しており、The Numbersを最終的な真実の情報源として挙げている。
「この映画のThe Numbersページの『Box Office』タブにある『Daily Box Office Performance』の数値は、3日間のオープニング週末の値が確定した後、この市場を解決するために使用されます。」
単一の週末市場の金額は、金融市場の基準では控えめなもので、通常は数万ドルから数十万ドルで、ライブ興行収入市場全体では数百万ドルが取引されている。
もし誰かがThe Numbersのデータを他の誰よりも早く見ることができれば、他のすべてのトレーダーに対して大きな優位性を持つことになるだろう。公開の少し前に回答を知ることで、取引を先行させることができる。
このような状況では、何が起こったのかを確実に知ることは難しい。ログには数ヶ月にわたるサイトの自動プロービングとスクレイピングが示されていたことはわかっているが、最終的にサイトをダウンさせたもの、そして誰がそれをやったのかは未解決のままだ。
しかし、誰かが予測市場で優位性を得るためにAIを使用したという理論は完全にあり得る。The Numbersの経験は私たちに以下を示している。
- 私たちは今、映画統計ウェブサイトがハッキングする価値がある世界に生きている。なぜなら、予測市場は誰でもほぼあらゆるデータを金に変えることを可能にするからだ。
- ウェブサイトのハッキングは、今や誰でもできることになった。安価なAIサブスクリプションを使えば。
- 私たちが持っているウェブは、エージェンティックAIボットの大規模な群れに直面して、信じられないほど脆弱である。
最近のハッキングはどれほど難しいのか?
2025年11月、Anthropic(Claudeの背後にあるAIラボ)は、初のAI主導型サイバー諜報キャンペーンと呼ぶレポートを発表した。国家支援のグループがそのコーディングツールを使用して約30の組織を攻撃し、AIが作業の80%から90%をこなし、人間はキャンペーンごとに4%から6%の意思決定ポイントにしか介入しなかった。
Anthropic自身の結論はこうだった。
「高度なサイバー攻撃を実行するための障壁は大幅に低下しており、今後も低下し続けると予測しています。」
以前の脅威レポートでは、Anthropicはさらに明確だった。
「技術スキルがほとんどない犯罪者は、AIを使用して、以前は何年も訓練が必要だったランサムウェアの開発などの複雑な操作を行っています。」
一方、XBOWという自律型AIペネトレーションテスターは、実際の企業のセキュリティホールを見つけて賞金を得ている人々(以前はすべて人間だった)のランキングであるHackerOneの米国リーダーボードで1位に達し、Nearly 1,060件の脆弱性を提出した。
16万個のレガシーファイルを持つ30年前のウェブサイトへのアクセスを取得することは、AIツールによって安価になったプローブの対象となる既知の脆弱性の表面積にまさに該当する。かつて小規模サイトを最も執拗な攻撃者から守っていた専門知識の壁は、ほとんど消滅した。
The Numbersの今後は?
ブルースと彼のチームは比較的幸運だった。一晩でサイト全体がダウンしたにもかかわらず、彼らは継続することができた。The Numbersは常に無料で利用でき、過去数年間は広告に大きく依存していなかったため、ダウンは彼らが依存していた収入源を破壊しなかった。
彼らのコアビジネスは、OpusDataサービスを通じたバルクデータの販売、映画製作者や投資家向けのコンプ分析レポートの作成、そしてBusiness Reportの公開に結びついている。これらはすべて、公開サイトがダウンしても影響を受けなかった。
しかし、彼らは78,396本の映画、178,375件の公開記録、236,176人の人物をホストするために、完全に新しいウェブサイトをゼロから構築する必要がある。バックアップからのサイト復元は選択肢ではなかった。ブルースが指摘するように:
「サーバーを再び起動することはできないことは明らかでした。なぜなら、おそらく数分以内に再びダウンさせられるからです。」
だからこそ、サイトは3月中旬に最小限の機能で復旧し、機能は一度にすべてではなく、徐々に復旧しているのだ。
現在、チームは2026年における公開ウェブサイトの意味を再考する必要に迫られている。ブルースの分析によると、The Numbersはかつて2つのオーディエンス(人間と検索エンジン)にサービスを提供していたが、現在は約6つにサービスを提供している:人間、検索エンジン、LLMトレーニング実行、プロンプトベースのAIトラフィック、エージェンティックAI、そして予測市場の賭け手だ。それぞれが異なるニーズと異なるトラフィックプロファイルを持っている。彼が言うように:
「ウェブサイトの運営がコンテンツ、広告、SEOの3つのことに焦点を当てる世界から、あらゆる設計上の決定に影響を与える8〜10の異なる要因の世界へと移行しました。」
目標は、6つのオーディエンスすべてをサポートすることであり、Business Report加入者向けの新しいOpusDataサービスとオンライン機能を提供し、そして重要なことに、サイトの通常の人間ユーザーが常に提供されてきたデータ(一部は新しく改善された形式で)を再び利用できるようにすることだと彼は言う。
ボットスクレイピングは本当にどれほど悪いのか?
かなり悪い、正直に言って。ブルースのようなサイト所有者が、構築と防御に多大な時間とお金を費やすものの価値を疑問視しなければならないほどだ。
Cloudflareは、世界のウェブサイトの大部分を保護しており、各AIプラットフォームがクロールしたページ数と、ウェブサイトに送り返した訪問者数のデータを公開している。
Googleは、訪問者1人あたり約5ページをクロールする。OpenAIは1,000ページ以上をクロールする。Anthropicは、訪問者1人あたり38,000ページ以上をクロールする。
スケールは対数的であることに注意してください。つまり、下部の各ステップは前のステップの10倍大きくなっています。なぜなら、そうでなければ差が文字通り大きすぎて1つのチャートに含めることができないからです。
インターネットのこれまでの歴史において、オープンウェブの原則は、検索エンジンロボットにサイトを読ませる見返りに、読者を送ってくれるというものだった。しかし今、その取引はもはや当てはまらない。ロボットの数は爆発的に増加し、彼らはもう誰も送り返してこない。
この火炎放射器が小規模サイトに向けられると、帯域幅の請求額が膨れ上がり、サイト全体をダウンさせる可能性さえある。ブルースの経験に関連するサイトには以下のようなものがある。
- Read the Docs:オープンソースソフトウェアのドキュメントをホストする非営利団体。単一のクローラーが1ヶ月で73テラバイトのZIP圧縮HTMLをダウンロードし、帯域幅で5,000ドル以上の費用がかかった。
- iFixit:修理ガイドデータベース。Anthropicのクローラーから1日で100万件のヒットを記録した。
- Triplegangers:3Dスキャンを販売する7人規模の企業。CEOが「基本的にDDoS攻撃」と表現したOpenAIのボットによって、営業時間中にオフラインになった。コードホスティングサービスSourceHutの創設者は、AIクローラーとの戦いに「週の20%から100%の時間を費やしている」と報告し、「週に数十回の短いダウンタイム」を経験していると述べている。
- LinuxニュースサイトLWNの編集者は、文字通り数百万のIPアドレスからのクローラートラフィックを説明し、「これは分散型サービス拒否攻撃だ」と結論付けた。
- GNOMEオープンソースプロジェクトがトラフィックを測定したところ、約97%がボットであることが判明した。
- 大学図書館は、カタログをオンラインに保つために48時間で16,000のIPアドレスを禁止した。
Wikimedia Foundation(Wikipediaを運営)は、2025年4月に、ボットがページビューの約35%を占めるが、最も高価なトラフィックの少なくとも65%を占めると報告した。なぜなら、クローラーは人間があまり見ないようなニッチなページを大量に読み取るからだ。
6ヶ月後、Wikipediaの人間によるページビューが前年比約8%減少した。人々はWikipediaを訪問することなく、AIの要約からWikipediaの知識を得るようになっている。機械はコンテンツと読者の両方を工業規模で奪っているのだ。
公開テスト
AIツールは、人類がこれまでに作成した最も強力で破壊的なものの1つだ。そして、それらは現実世界で、リアルタイムで、一般の人々によって効果的にテストされている。マンハッタン計画が原子技術の力を理解しようとしていたとき、彼らは毎朝全員に仕様を送り、どの家が爆発するかを見るようなことはしなかった。
私たちがこれまでに築き上げてきた世界は、私たちが皆アクセスできるAIモデルの力と規模に対して、信じられないほど準備不足だ。
これは一方的な反AI恐怖キャンペーンのように聞こえることを望まない。AIには多くの良い点があり、それが人類のためにできることもある。しかし、私たちが今足を踏み入れている世界を考慮する必要がある。
最初に壊れるのは、古いインターネットのために作られたものだ。オープンウェブは、訪問者のほとんどが人間であること、トラフィックが読者数とおおよそ一致すること、そしてサイトを提供するコストが、それを提供することから得られる価値に関連しているという仮定に基づいて構築されていた。これらの仮定はすべて、今や時代遅れになっている。
1年前、Cloudflareはクロールごとの課金を開始し、サイトがAIクローラーにページごとに料金を請求できるようにした。先週、さらに進んで、従量課金モデルを発表し、パブリッシャーはコンテンツがAIの回答に実際に表示されたときに支払いを受け取り、9月15日以降、顧客の広告サポートページはデフォルトで未払いの「混合使用」クローラーをブロックすると宣言した。
これらが機能するかどうかは、AI企業がそれに協力するか、回避するかによって決まる。しかし、ブルースが私に言ったように、誰かが試みなければならない。
エピローグ
少しの間、具体例を超えて考えてみよう。ここで何が起こったのかを考えてみよう。
ほぼ30年間、有能で正直な人物によって注意深く運営されてきた、愛され、有用で、無料のウェブサイトが、新しいAI経済の2つの機能の間に押しつぶされた。
持続不可能な機械トラフィックが上からそれを叩きつけ、そしておそらく、ウェブサイトへの侵入がかつてないほど容易になった世界で活動する、金銭的に動機づけられた侵入者がそれをダウンさせた。
ブルースのビジネスと生計が生き残ったのは、ウェブサイトがビジネス全体ではなかったからだ。
他の人々はそれほど幸運ではなかった。先週、37年間事業を行っていたドイツの繊維会社ZEGOが、3月に発生した単一のサイバー攻撃により6週間の生産停止を余儀なくされた後、insolvency(破産申請)を提出した。The Numbersとは異なり、彼らは頼るべき他のビジネスを持っていなかった。
ウェブ上には、独立したアーカイブ、趣味のデータベース、ローカルニュースサイト、フォーラム、参考資料が満ちている。何十年にもわたる人間の努力の蓄積が、古いコードで稼働し、小規模なチームや個人の個人によって維持され、誰もが認める以上に私たちの共有知識の多くを静かに支えている。
The Numbersは、以前よりも優れた構造で復帰しつつある。それを利用し続け、サポートし続けることをお勧めする。そして、もしあなたが、ページが見つからないことについてブルースに怒ってメールを送った多くの人々のうちの1人であれば、それがなぜ見つからなかったのかを知った今、もう少し優しいメールを送ってみてはどうだろうか。