巨大なウェブ記録にタイムスタンプを付与する

Project Timestamper ウェブの巨大な記録にタイムスタンプを付与する 2026年10月07日 Project Timestamperからの最新の発表は、これまで扱ったことのない規模のはるかに超える数に関するものです。その数は3390億、つまり3.39×10¹¹です。これは、過去18年間にCommon Crawlプロジェクトによってキャプチャされたウェブページスナップショットの数です。 この壮大なウェブクロールは、世界で最も重要なものの一つであり、おそらくInternet ArchiveのWayback Machineによって実行される継続的なクロールに次ぐ規模でしょう。Common Crawlの何千億ものスナップショットは、ウェブページを長年にわたって存在したそのままの形で保存しており、スナップショットデータの総量は10ペタバイトを超えます。これは、過去20年間の人類の集合的な思考の重要な部分の記録と考えることができます。そのような記録が失われるのは残念なことです！ AIがもっともらしいデータを生成し、データベースをハッキングする能力が成長し続ける中、何がオリジナルで何が改変、模倣、こじつけなのかをどうやって知ることができるでしょうか？そこで、そのすべてに暗号学的にタイムスタンプを付与したことを発表できることを嬉しく思います！ 各ウェブページキャプチャは、ハッシュの連鎖を通じてBitcoinブロックチェーンにコミットされており、各キャプチャされたページスナップショット（キャプチャされた時期に関わらず）が、2026年9月26日時点でCommon Crawlコレクション内にバイト単位で存在したことの証明があります。それ以降の日付でのいかなる変更も検出可能です。 通常、個々のスナップショットのコレクション全体にタイムスタンプを付与することは、現実的な時間で処理するにはアイテムが多すぎるため、法外に遅くなるでしょう。幸いなことに、Common Crawlはすでにすべてのウェブページスナップショットをハッシュ化し、最大3000件のインデックスエントリのブロックにハッシュを収集していました。そのため、約1億3400万件のブロックのそれぞれをわずか数週間でハッシュ化し、OpenTimestampsサービスを使用してそれらのハッシュを単一のバッチでタイムスタンプすることができました。 結果として得られたハッシュとタイムスタンプの証明は、これらの3390億件のスナップショットのいずれかを暗号学的に検証するのに、わずか数秒と数百KBのダウンロードデータしか必要としないように配置されています。私たちの検証ツールを使用すると、単一のコマンドでスナップショットの存在を確認できます。 > npx tsx verify.ts --collection common_crawl_blocks --capture 0 https://en.wikipedia.org 迅速な応答で成功または失敗が示されます。 成功！キャプチャ0（https://en.wikipedia.org/ at 20260915155254）はCC-MAIN-2026-39にあり、そのCDXブロックは2026-09-26T09:35:20Z時点でBitcoinブロック968666（000000000000000000010fb95a4fa547171edc525077191cbb74dc54acfaf0aa）によって証明されており、WARCペイロードSHA-1は3I42H3S6NNFQ2MSVX7XZKYAYSCX5QBYJと一致します。 ウェブキャプチャコレクションの構築と維持に尽力し、オープンAPIとオープンデータを提供してくれたCommon Crawl Foundationに感謝します。今後数ヶ月、数年間にCommon Crawlが継続されるにつれて、新しいデータにタイムスタンプを付け続けていきたいと考えています。 ホーム | について | なぜ？ | チーム | FAQ | ブログ | コメント Project Timestamper by Yağmur Şahin and Arthur Edelstein is licensed under Creative Commons Attribution 4.0 International