HN 日本語サマリー

← 一覧へ戻る
科学・技術

古いウェブはどこへ行ったのか? 657,607件のリンクを辿って調査

Where did the old web go? We followed 657,607 links to find out (0.mk)

207 pointsby tdx194 コメント

要約

0.mkは、2009年から2014年にかけて作成された657,607件のリンクを2026年に調査し、そのうち76.7%がもはや読み込み可能なページを返さなかったことを発見しました。これは、インターネット上のコンテンツの多くが失われている「リンク切れ」という現象を浮き彫りにしています。中央集権化された巨大プラットフォームは比較的残存率が高い一方、個人ブログやローカルニュースサイトなどの「スモールウェブ」は失われやすい傾向にあることが示唆されています。

全文翻訳

古いウェブはどこへ行ったのか? 657,607件のリンクを辿って調査しました。

0.mkの古いデータベースバックアップには、2009年から2014年にかけて作成された657,958件のリンクとそのクリック数が保存されていました。 そのうち657,607件のレコードを2015年以前のリンクとして復元し、2026年8月にすべてのリンク先を辿りました。安全でクロール可能なリンクレコード655,178件のうち、76.7%はもはや読み込み可能なページを返しませんでした。

0.mkのユーザーのほとんどはマケドニアにいたため、これはウェブ全体の統計ではありません。これは、当時のオンラインコミュニティが共有していたものを記録した、大規模な現存データです。ローカルニュース、個人のブログ、写真ホスト、フォーラム、そして当時の主要プラットフォームなどが含まれます。

0.mkが2009年に始まったとき、それは3人のチームによって作られた情熱的なプロジェクトでした。私たちは、通常は週に数時間、本業の合間に作業していました。17年後、チームの一人がディスク上で古いデータベースバックアップを見つけ、復活させることを決意しました。

以下は、6年間のリンク作成とその後の長い沈黙がどのようなものかを示しています。

2009: 3,668 links
2010: 20,283 links
2011: 103,053 links
2012: 23,148 links
2013: 224,931 links
2014: 282,524 links
2026: 404 links

これはユーザーではなく、生のリンクレコードです。2011年の急増には、83,398件のリンクの一括登録が含まれています。2013年のレコードの97.8%、2014年のレコードの99.9%は、復元されたアカウントに紐づいていません。緑色の細い部分は、2026年の再開を示しています。

生存テスト

このクロールは、2014年末までの復元されたすべてのリンクレコード657,607件を対象としています。ターゲットが無効、内部、認証が必要、またはポリシーでブロックされていた2,429件のレコードを除外し、クロール可能な過去のリンク655,178件を残しました。

接続できなかった: 51.24%
HTTPエラー: 25.44%
読み込み成功: 23.32%

51.24% は接続できませんでした(DNS、タイムアウト、TLS)。
25.44% はHTTPエラー(4xx / 5xx)でした。
23.32% は読み込み成功(2xx / 3xx レスポンス)でした。

この23.3%でさえ、どれだけ生存したかを過大評価しています。ログインウォール、広告で埋め尽くされた駐車ドメイン、または「このコンテンツは利用できません」という通知も、すべて読み込み成功としてカウントされます。動作するページがあるからといって、元のコンテンツがまだそこにあるとは限りません。

なぜリンクレコードは657,607件なのにURLは494,781件なのか? 複数の短いリンクが同じ宛先を指していることがあります。そのような重複レコードは162,826件あります。各宛先を1回だけカウントすると、494,781件のユニークなURLが残り、そのうち492,620件がクロール可能でした。そのうち読み込みに成功したのはわずか21.3%でした。重複する宛先を削除しても、この割合はほとんど変わりません。78.7%は依然として読み込まれませんでした。

ユニークURLレベルでは、55.0%がセカンドネットワークからの不確かな結果をリトライした後、ネットワーク層で失敗し、23.7%がHTTPエラーを返しました。最も一般的なHTTP結果は404で、76,403件のユニークURLに及びました。さらに29,663件は403または429を返しました。これらのページはクローラーには読み込まれませんでしたが、欠落しているのではなく、自動リクエストをブロックしている可能性があります。403または429は、サイトがクローラーをブロックしたことを意味する可能性があり、「ページがなくなった」と言うよりも、「読み込めなかった」と言う方が正確です。

同じパターンがドメインレベルでも見られます。クロール可能なホスト名133,605件のうち、URLが読み込みに成功したのはわずか34,827件でした。残りの98,778件はゼロでした。

年URLsHosts
200964.58%61.53%
201060.39%60.36%
201192.53%61.74%
201259.43%62.46%
201375.06%75.24%
201478.16%75.45%

クロール全体で読み込みページがない割合。
URLレベルの結果は、各ユニークパスをカウントします。ホストレベルの結果は、各ホスト名を1回カウントします。

2011年の急増は、奇妙な年次合計を説明しています。あるアカウントがpelaphptutorials.comへの83,398件のユニークリンクを作成しました。URLレベルでは、2011年の宛先の92.5%が読み込まれませんでした。このホストを1回カウントすると、その数値は61.7%となり、2010年と2012年とほぼ同じになります。

年次合計は、2012年中の通常の利用の崩壊を示していません。この一括登録を除外すると、2011年は103,053件のレコードから19,655件に減少します。2012年は23,148件でした。2013年と2014年のほとんどのレコードは、復元されたデータでは匿名であり、そのホスト名の4分の3には読み込み可能なURLがありません。生のリンク数は、ユーザー増加曲線ではありません。

認識可能な生存者の多くは巨大なサービスです:YouTube、Wikipedia、Googleのプロパティ。個人のブログ、フォーラム、ローカルニュースサイト、写真ホストは、利用不能なセット全体に散らばっています。中央集権化されたウェブは、一般的にスモールウェブよりも良好に維持されています。

墓地を散歩する

このデータベースは、2010年代のインターネットの博物館のように読めます。リンクが指していたいくつかの居住者(リンク数付き):

Facebook photo CDN (fbcdn.net), none loaded
835 links

Google Code, now redirects many URLs to its archive
803 links

PureVolume, the old service is gone but its domain responds
796 links

Rapidshare, no URL loaded
139 links

Megaupload, no URL loaded
71 links

Picasa Web Albums, no URL loaded
69 links

人々はFacebookの写真を直接CDNリンクとして共有していましたが、それら835件のレコードの背後にある789件のユニークなfbcdn.net URLはどれも読み込まれませんでした。しかし、PureVolumeは現在、653件のユニークURLのうち633件のページを返しており、Google Codeは754件のうち628件を読み込むかリダイレクトしています。元のサービスはなくなりましたが、ドメインは応答します。HTTPレスポンスは、コンテンツが保存されていることと同じではありません。

マケドニアのレイヤー

0.mkはマケドニア初のURL短縮サービスだったため、このデータは部分的に存在しなくなった国のウェブの記録でもあります。リンクはA1 Television(2011年閉鎖)や、新聞のUtrinski Vesnik、Dnevnik、Vest(いずれも2017年廃刊)を指しています。インターネットアーカイブ(Internet Archive)でしか読めないローカルニュースへの何百ものリンクがあります。短いリンクはニュースルームよりも長生きしました。

宝石たち

17年分の他人のブックマークには、いくつかの宝が含まれています。

最初に短縮されたリンク(2009年7月14日、午前3時52分)は、マニフェストやローンチ投稿ではありませんでした。それは誰かのWordPressブログのCSSスタイルシートでした。クリック数は2回。帝国は謙虚に始まります。

2日目には、誰かがlocalhostを短縮しました。 0.mk/localhost は http://127.0.0.1/ を指していました。2回のクリックがあり、それぞれ訪問者を自分のマシンに送りました。最も孤独な宛先への最も短いURL。

最も短いリンクは最も長いドメインを指しています。 0.mk/1 は10,415回のクリックを記録し、thelongestlistofthelongeststuffatthelongestdomainnameatlonglast.com を指していました。これは2000年代の奇妙なサイトで、それ自体が現在はありません。4文字が63文字を指し、17年間続いています。

私たちが短縮した最も長いURLは38,753文字です。 2012年のCodePenリンクで、クエリ文字列は文字通りTRYING_THE_MAXIMUM_URLを繰り返していました。誰かが私たちをテストしていました。私たちは合格し、そのテストは今も残っています。

私たちのリンクの4,478件は、他のURL短縮サービスを指しています:bit.ly、TinyURL、goo.gl。短いリンクへの短いリンクは、脆弱性が2倍になります。Googleは2025年にgoo.glを閉鎖したため、それらのリンクはすべて、中間の部分が欠けたチェーンになりました。私たちの半分はまだ機能していますが、もはや解決しないサービスを指しています。リンクロトの二乗です。

そして、不滅のリンク: 0.mk/7 は2009年7月15日に作成され、google.comを指しています。95,999回のクリックがあり、現在も続いており、17年と1回の復活を経て、今日もそこを指しています。

0.mkが復活した理由

2014年までに、0.mkの収益はホスティング費用や維持に必要な作業費用をカバーできなくなっていました。スパムは絶えませんでした。それをフィルタリングするには、より多くのエンジニアリングが必要であり、不正利用の報告には誰かがレビューする必要がありました。元のチームはサービスを閉鎖しました。

17年後、AIはこの方程式を変えました。現在、AIは、古いプロジェクトでは賄えなかった開発、スパム検出、不正利用レビュー、サポート、監視の多くを処理しています。これにより、0.mkの復活が現実的になりました。復元されたリンクは現在、300都市以上にわたるエッジマシンから実行されています。その仕組みについては、こちらで詳しく説明しています。

チェック方法

2015年1月1日より前のすべての復元されたリンクをテストしました。クローラーは最大5回のリダイレクトをたどり、セカンドネットワークから接続エラーをリトライしました。HTTP 2xxおよび3xxレスポンスを読み込み成功とみなし、HTTPエラーを別途報告し、ローカルまたは安全でないアドレスには決して連絡しませんでした。