古いウェブはどこへ行ったのか？ 657,607件のリンクを辿って調査

ブログに戻る 2026年7月25日 · 更新 2026年8月11日 古いウェブはどこへ行ったのか？ 657,607件のリンクを辿って調査。 0.mkの古いデータベースバックアップには、2009年から2014年にかけて作成された657,958件のリンクとそのクリック数が保存されていました。私たちはそれらのレコードのうち657,607件を2015年以前のリンクとして復元し、2026年8月にすべてのリンク先を辿りました。安全でクロール可能なリンクレコード655,178件のうち、76.7%はもはや読み込み可能なページを返しませんでした。 ほとんどの0.mkユーザーはマケドニアにいたため、これはウェブ全体のセンサスではありません。これは、当時のオンラインコミュニティが共有していたローカルニュース、個人のブログ、写真ホスト、フォーラム、そして主要なプラットフォームなど、その期間における一つのオンラインコミュニティの大きな記録です。 0.mkが2009年に始まったとき、それは3人のチームによって作られた情熱的なプロジェクトでした。私たちは通常の仕事の合間、週に数時間程度、可能なときに作業しました。17年後、そのうちの一人がディスク上で古いデータベースバックアップを見つけ、復活させることを決意しました。 以下は、6年間のリンク作成とその後の長い沈黙がどのようなものかを示しています。 2009年: 3,668件のリンク 2010年: 20,283件のリンク 2011年: 103,053件のリンク 2012年: 23,148件のリンク 2013年: 224,931件のリンク 2014年: 282,524件のリンク 2026年: 404件のリンク 生のリンクレコードであり、ユーザーではありません。2011年の急増には83,398件のリンクの一括処理が含まれています。2013年のレコードの97.8%と2014年のレコードの99.9%は、復元されたアカウントに紐付いていません。緑色の細片は2026年の再開です。 生存テスト このクロールは、2014年末までの復元された657,607件のリンクレコードすべてを対象としています。ターゲットが無効、内部、認証が必要、またはポリシーでブロックされていた2,429件のレコードを除外し、655,178件のクロール可能な履歴リンクが残りました。 接続できなかった: 51.24% HTTPエラー: 25.44% 読み込み成功: 23.32% 51.24%は接続できませんでした（DNS、タイムアウト、TLS）。 25.44%はHTTPエラー（4xx / 5xx）でした。 23.32%は読み込み成功（2xx / 3xxレスポンス）でした。 この23.3%でさえ、どれだけ生存したかを過大評価しています。ログインウォール、広告で埋め尽くされた駐車ドメイン、または「このコンテンツは利用できなくなりました」という通知はすべて読み込み成功とカウントされます。動作するページがあるからといって、元のコンテンツがまだそこにあるとは限りません。 なぜ657,607件のリンクがあり、URLは494,781件なのか？ 複数の短いリンクが同じ宛先を指していることがあります。そのような重複レコードは162,826件あります。各宛先を一度だけカウントすると、494,781件のユニークなURLが残り、そのうち492,620件がクロール可能でした。それらのうち、23.32%しか読み込まれませんでした。重複した宛先を削除しても、その割合はほとんど変わりません。78.7%は依然として読み込まれませんでした。 ユニークURLレベルでは、55.0%がセカンドネットワークからの不確かな結果をリトライした後、ネットワーク層で失敗し、23.7%がHTTPエラーを返しました。最も一般的なHTTP結果は404で、76,403件のユニークURLに及びました。さらに29,663件は403または429を返しました。これらのページはクローラーに対して読み込まれませんでしたが、欠落しているのではなく、自動リクエストをブロックしている可能性があります。403または429は、サイトがクローラーをブロックしたことを意味する可能性があり、「読み込まれなかった」と言う方が、それらのページがすべてなくなったと言うよりも正直です。 同じパターンがドメインレベルでも現れます。クロール可能な133,605件のホストネームのうち、少なくとも1つのURLが読み込まれたのは34,827件だけでした。残りの98,778件は一つも読み込まれませんでした。 2009年 URL: 64.58% ホスト: 61.53% 2010年 URL: 60.39% ホスト: 60.36% 2011年 URL: 92.53% ホスト: 61.74% 2012年 URL: 59.43% ホスト: 62.46% 2013年 URL: 75.06% ホスト: 75.24% 2014年 URL: 78.16% ホスト: 75.45% 読み込みページがない共有の割合（完全なクロール）。URLレベルの結果は各ユニークパスをカウントし、ホストレベルの結果は各ホスト名を一度カウントします。 2011年の急増は、奇妙な年間合計を説明しています。あるアカウントがpelaphptutorials.comに83,398件のユニークリンクを作成しました。URLレベルでは、2011年の宛先の92.5%が読み込まれませんでした。そのホストを一度カウントすると、その数値は61.7%となり、2010年と2012年とほぼ同じです。 年間合計は、2012年中の通常の利用の崩壊を示していません。その一括処理を除外すると、2011年は103,053件のレコードから19,655件に減少します。2012年は23,148件でした。2013年と2014年のほとんどのレコードは、復元されたデータでは匿名であり、そのホスト名の4分の3には読み込まれるURLがありません。生のリンク量はユーザー増加曲線ではありません。 認識可能な生存者の多くは巨大なものです。YouTube、Wikipedia、Googleのプロパティです。個人のブログ、フォーラム、ローカルニュースサイト、写真ホストは、利用できなくなったセット全体に散らばっています。中央集権化されたウェブは、一般的にスモールウェブよりも良好に維持されています。 墓地の散策 このデータベースは、2010年代のインターネットの博物館のように読めます。それらに向けられたリンク数とともに、いくつかの居住者を示します。 FacebookフォトCDN (fbcdn.net)、読み込み成功なし 835件のリンク Google Code、多くのURLをアーカイブにリダイレクト 803件のリンク PureVolume、古いサービスはなくなったがドメインは応答 796件のリンク Rapidshare、URL読み込み成功なし 139件のリンク Megaupload、URL読み込み成功なし 71件のリンク Picasa Web Albums、URL読み込み成功なし 69件のリンク 人々はFacebookの写真を直接CDNリンクとして共有していました。それらの835件のレコードの背後にある789件のユニークなfbcdn.net URLはどれも読み込まれませんでした。しかし、PureVolumeは現在、653件のユニークURLのうち633件のページを応答し、Google Codeは754件のうち628件を読み込むかリダイレクトします。元のサービスはなくなりましたが、ドメインは応答しています。HTTPレスポンスは、保存されたコンテンツと同じではありません。 マケドニアのlayer0.mkは、最初マケドニアのURL短縮サービスだったため、このデータは部分的に存在しなくなった国のウェブの記録でもあります。リンクはA1 Television（2011年閉鎖）、そして新聞Utrinski Vesnik、Dnevnik、Vest（すべて2017年に廃刊）を指しています。数百件のローカルニュースへのリンクは、インターネットアーカイブでなければ、どこでも読めなくなりました。短いリンクはニュースルームよりも長生きしました。 宝石 17年間の他人のブックマークには、いくつかの宝物が含まれています。 最初に短縮されたリンク（2009年7月14日、午前3時52分）は、マニフェストやローンチ投稿ではありませんでした。それは誰かのWordPressブログのCSSスタイルシートでした。クリックは2回だけ。帝国は謙虚に始まります。 2日目、誰かがlocalhostを短縮しました。0.mk/localhostはhttp://127.0.0.1/を指していました。それは2回のクリックを獲得し、それぞれ訪問者を自分のマシンに送りました。最も孤独な宛先への最も短いURL。 最も短いリンクは最も長いドメインを指します。0.mk/1は10,415回のクリックを記録し、thelongestlistofthelongeststuffatthelongestdomainnameatlonglast.comを指していました。これは2000年代の奇妙なもので、それ自体も現在はありません。4文字が63文字を指し、17年間続いています。 私たちが短縮した最も長いURLは38,753文字です。これは2012年のCodePenリンクで、クエリ文字列は文字通りTRYING_THE_MAXIMUM_URLを繰り返しています。誰かが私たちをテストしていました。私たちは合格し、そのテストは今も残っています。 私たちのリンクの4,478件は、bit.ly、TinyURL、goo.glなどの他のURL短縮サービスを指しています。短いリンクへの短いリンクは、脆弱性が2倍になります。Googleは2025年にgoo.glを廃止したため、それらのリンクはすべて、真ん中が欠けたチェーンになりました。私たちの半分はまだ機能し、解決しなくなったサービスを指しています。リンク切れの2乗です。 そして不滅のリンク: 0.mk/7、2009年7月15日に作成され、google.comを指しています。95,999回のクリックがあり、現在も続いており、17年と1回の復活を経て、今日までそこを指しています。 なぜ0.mkが復活したのか 2014年までに、0.mkの収益はホスティング費用や維持に必要な作業をカバーできなくなっていました。スパムは絶えませんでした。それをフィルタリングするには、より多くのエンジニアリングが必要であり、不正利用の報告には誰かがレビューする必要がありました。元のチームはサービスを閉鎖しました。 17年後、AIはこの方程式を変えました。AIは、古いプロジェクトでは費用を賄えなかった開発、スパム検出、不正利用レビュー、サポート、監視の多くを現在処理しています。これにより、0.mkの復活が現実的になりました。復元されたリンクは、現在300都市以上のエッジマシンで実行されています。それがどのように機能するかについての詳細はここにあります。 どのようにチェックしたか 私たちは、2015年1月1日より前の日付のすべての復元されたリンクをテストしました。クローラーは最大5回のリダイレクトをたどり、セカンドネットワークからの接続失敗をリトライしました。HTTP 2xxおよび3xxレスポンスを読み込み成功とカウントし、HTTPエラーを別途報告し、ローカルまたは安全でないアドレスには決して連絡しませんでした。