HN 日本語サマリー

← 一覧へ戻る
科学・技術

World Wide Webのサイズ

The Size of the World Wide Web (worldwidewebsize.com)

15 pointsby 1970-01-014 コメント

要約

World Wide Web(インターネット)のインデックス化されたウェブページ数は、2025年1月15日時点で少なくとも39.8億ページと推定されています。しかし、Googleからのデータ取得が困難になったため、ウェブサイトのサイズを自動計算・更新することができなくなりました。過去のデータは参照可能ですが、最新の正確な数値の提供は停止しています。

全文翻訳

World Wide Web(インターネット)のサイズ

インデックス化されたWebには、少なくとも39.8億ページ(2025年1月15日水曜日)が含まれています。
オランダのインデックス化されたWebには、少なくとも20億4274万ページ(2025年1月15日水曜日)が含まれています。

ヒューストン、問題発生です:

2025年1月15日以降、Googleからのデータを受信できなくなりました。検索エンジンから自動的にデータを取得することが非常に困難になっています。これは、数値を取得できなくなり、したがってWebのサイズを計算できなくなったことを意味します。後日、データにアクセスできるよう試みますが、それまでは以下の履歴データをご覧ください。

インデックス化されたWeb | オランダのインデックス化されたWeb

[画像]

World Wide Webのサイズ:

Googleのインデックスサイズの推定値

[画像]

World Wide Webのサイズ:

Bingのインデックスサイズの推定値

[画像]

World Wide Webのサイズ:

Yahoo!検索のインデックスサイズの推定値

Yahoo.comは、Yahooが総検索結果数を表示しなくなったため、現在測定していません。

[画像]

World Wide Webのサイズ:

Askのインデックスサイズの推定値

Ask.comは、Askが総検索結果数を表示しなくなったため、現在測定していません。

World Wide Web(インターネット)のサイズはどのように推定されるか?

インデックス化されたWorld Wide Webの推定最小サイズは、Google、Bing、Yahoo!検索によってインデックス化されたページ数の推定値に基づいています。これらの推定値の合計から、これらの検索エンジン間の推定重複分が差し引かれます。重複分は過大評価であるため、インデックス化されたWorld Wide Webの総推定サイズは過小評価となります。重複分は4つの検索エンジンのいずれかから順に差し引かれるため、いくつかの順序(および総推定値)が可能です。ここでは、Bingから開始する推定値(BG)とGoogleから開始する推定値(GB)の2つの総推定値を提示します。ページ上部にある数値は、GB推定値を示しています。

検索エンジンのインデックスサイズは、大規模なオフラインテキストコレクション(コーパス)で得られた単語の頻度と、エンジンから返される検索回数を組み合わせた方法に基づいて推定されます。毎日50個の単語が4つの検索エンジンすべてに送信されます。これらの単語で見つかったウェブページの数が記録され、背景コーパスにおける相対的な頻度とともに、エンジンのインデックスサイズの複数の外挿推定値が作成され、それらが平均化されます。50個の単語は、対数頻度間隔にわたって均等に選択されています(ジップの法則を参照)。背景コーパスには、DMOZから100万ページ以上が含まれており、World Wide Webの代表的なサンプルと見なすことができます。

例えば、「the」という単語がコーパス内の全ドキュメントの67.61%に含まれていることがわかっている場合、その単語に対してエンジンが報告するドキュメント数に基づいて、エンジンのインデックスの総サイズを外挿できます。Googleが「the」を141億ページで見つけたと述べている場合、Googleの総インデックスサイズの推定値は236億3301万ページとなります。

2つの検索エンジンのインデックス間の重複は、十分な数のランダムな単語クエリで返されたURLのうち、エンジンがトップ10で返したURLの毎日の重複カウントによって推定されます。単語はDMOZの背景コーパスからランダムに抽出されました。

この方法に関する詳細情報(オランダ語)を記載した私の論文はこちらからダウンロードできます。この作業は、ティルブルフ大学のILKリサーチグループ内、芸術学部での修士論文プロジェクトとして実施されました。

更新 - 2016年2月9日 - Springer掲載
Estimating search engine index size variability: a 9-year longitudinal study
さらに詳しい情報については、こちらの論文を参照してください。この論文は2016年にScientometrics誌に掲載され、私たちの方法についてより詳細に説明しています。

注記

以下の日付についてはカウントが行われていません:
2006年7月7日から8月7日まで。
2007年10月3日から10月16日まで(インデックスWebのみ)。
2008年1月19日から1月30日まで(オランダWebのみ)。
2008年3月20日から4月1日まで。
2010年5月5日から5月14日まで。
2012年4月3日から4月13日まで。
2012年7月11日から7月29日まで。
2012年10月8日から10月12日まで。
2013年5月10日から5月30日まで。
2014年1月22日から1月27日まで。
2014年7月10日から9月17日まで。
2015年11月14日から2016年1月11日まで。
2018年11月28日から12月11日まで。
2019年10月25日から11月10日まで。
2021年4月1日から5月24日まで。
2022年11月19日から2023年2月21日まで。