World Wide Webのサイズ

World Wide Web（インターネット）のサイズ インデックス化されたウェブには、少なくとも39.8億ページ（2025年1月15日水曜日）が含まれています。 オランダのインデックス化されたウェブには、少なくとも20億4274万ページ（2025年1月15日水曜日）が含まれています。 ヒューストン、問題発生： 2025年1月15日以降、Googleから一切のデータを受信できなくなりました。検索エンジンから自動的にデータを取得することを非常に困難にしています。 これは、数値を取得できなくなり、したがってウェブのサイズを計算できなくなったことを意味します。 後日、データにアクセスできるよう試みますが、それまでは以下の履歴データをご覧いただけます。 インデックス化されたウェブ | オランダのインデックス化されたウェブ 過去2年間 過去5年間 過去10年間 World Wide Webのサイズ： Googleのインデックスの推定サイズ 過去2年間 過去5年間 過去10年間 World Wide Webのサイズ： Bingのインデックスの推定サイズ 過去2年間 過去5年間 過去10年間 World Wide Webのサイズ： Yahoo Searchのインデックスの推定サイズ Yahoo.comはもう測定していません。Yahooが結果の総数を表示しなくなったためです。 World Wide Webのサイズ： Askのインデックスの推定サイズ Ask.comはもう測定していません。Askが結果の総数を表示しなくなったためです。 World Wide Web（インターネット）のサイズはどのように推定されるか？ インデックス化されたWorld Wide Webの推定最小サイズは、Google、Bing、Yahoo Searchによってインデックス化されたページ数の推定に基づいています。 これらの推定値の合計から、これらの検索エンジン間の推定重複分が差し引かれます。 重複分は過大評価であるため、インデックス化されたWorld Wide Webの総推定サイズは過小評価となります。 重複分は、4つの検索エンジンのいずれかから順に差し引かれるため、いくつかの順序（および総推定値）が可能です。 Bingから開始する推定値（BG）とGoogleから開始する推定値（GB）の2つの総推定値を提示します。 ページの上部に表示されている数値は、GB推定値を参照しています。 検索エンジンのインデックスサイズは、大規模なオフラインテキストコレクション（コーパス）で得られた単語の頻度と、エンジンから返される検索回数を組み合わせた方法に基づいて推定されます。 毎日50個の単語が4つの検索エンジンすべてに送信されます。 これらの単語が見つかったウェブページの数が記録され、バックグラウンドコーパスにおける相対的な頻度とともに、エンジンのインデックスサイズの複数の外挿推定値が作成され、その後平均化されます。 50個の単語は、対数頻度間隔（Zipfの法則を参照）にわたって均等に選択されています。 バックグラウンドコーパスには、DMOZから100万ページ以上のウェブページが含まれており、World Wide Webの代表的なサンプルと見なすことができます。 例えば、「the」という単語がコーパス内のすべてのドキュメントの67.61％に含まれていることがわかっている場合、エンジンのインデックスの総サイズは、それが「the」に対して報告するドキュメント数によって外挿できます。 Googleが141億ページで「the」を見つけたと述べている場合、Googleの総インデックスの推定サイズは236億3301万ページになります。 2つの検索エンジンのインデックス間の重複は、ランダムな単語クエリの十分な数で返されたエンジンによって返されたURLの毎日の重複カウントによって推定されます。 単語はDMOZバックグラウンドコーパスからランダムに抽出されました。 この方法に関する詳細情報（オランダ語で書かれています）を含む私の論文をここでダウンロードできます。 この作業は、ティルブルフ大学芸術学部、ILK研究グループ内での修士論文プロジェクトとして実施されました。 更新 - 2016年2月9日 - Springer Publication 検索エンジンのインデックスサイズ変動の推定：9年間の縦断的研究 さらに詳しい情報は、2016年にScientometricsに掲載された、私たちの方法をより詳細に説明したこの論文を参照してください。 注記 以下の日付については、カウントは行われていません： 2006年7月7日から8月7日まで。 2007年10月3日から10月16日まで（インデックスウェブのみ）。 2008年1月19日から1月30日まで（オランダウェブのみ）。 2008年3月20日から4月1日まで。 2010年5月5日から5月14日まで。 2012年4月3日から4月13日まで。 2012年7月11日から7月29日まで。 2012年10月8日から10月12日まで。 2013年5月10日から5月30日まで。 2014年1月22日から1月27日まで。 2014年7月10日から9月17日まで。 2015年11月14日から2016年1月11日まで。 2018年11月28日から12月11日まで。 2019年10月25日から11月10日まで。 2021年4月1日から5月24日まで。 2022年11月19日から2023年2月21日まで。 このウェブサイトの著者（Maurice de Kunder）は、以下のオランダのウェブサイトも作成しました： Koopzondagen.net - Koopzondag - Kerstmarkt Schoolvakanties-nederland.nl - Schoolvakanties Feestdagen-nederland.nl - Feestdagen Kalender-365.nl - Kalender 2026 Calendar-365.com - 2026 Calendar