英国図書館の法定納本とウェブアーカイブ

Legal deposit and web archiving

Using the UK Web Archive

2023年の混乱の後、UK Web Archiveプラットフォームは復旧しました。

アーカイブはどこからでも検索できますが、アーカイブされたウェブサイトのほとんどは、法定納本図書館の読書室でのみ閲覧可能です。訪問前に、関連する法定納本図書館にこのサービスが再度利用可能か確認してください。

復旧後、UK Web Archiveサイトの改善を続けています。現在：

• 2022年12月より前にアーカイブされたウェブサイトのみ検索可能です。これは、現在のコレクションが静的であり、2022年12月までのコンテンツのみを含むことも意味します。
• アーカイブされたウェブサイトをさらに探索するには、検索バーに完全なURLを入力する必要があります。
• アーカイブされたウェブサイトを閲覧したら、リンクを使用して、ウェブサイトの他の部分や、情報が収集されている他のアーカイブされたウェブサイトにアクセスできます。

UK Web Archiveチームの活動はブログでフォローできます。UK Web Archiveに関するデータは、機関リポジトリでアクセスできます。

How we identify UK websites

毎年、UK Web Archiveは、特定できるすべての英国ウェブサイトの「スナップショット」を収集します。これには、少なくとも400万のウェブサイトと数千億のファイルが含まれます。

英国のウェブサイトは、以下の場合に特定できます：

• 英国に関連するドメイン名（例：'.uk'、'.scot'、'.london'で終わるウェブサイト）
• 連絡先情報として英国の住所がある
• ウェブサイトのコンテンツが英国で作成されたことを示すその他の情報がある
• 英国にサーバーがある

英国ウェブサイトのアーカイブは、法定納本法によって規制されています：

• Deposit Libraries Act 2003
• Deposit Libraries (Non-Print Works) Regulations 2013
• DCMS Guidance on the Legal Deposit Libraries (Non-Print Works) Regulations 2013 (PDF, 0.5MB)

Personal data

ソーシャルメディア上のプライベートネットワークに投稿されたものなど、制限されたプライベートグループ間でのみ共有される資料は収集しません。

Recorded sound and film

コンテンツが単なる音声録音または動画録画であるウェブ上の資料は収集しません。これには、一部付随するテキストが含まれる資料も含まれますが、テキストは音声または動画なしでは意味をなしません。

テキストやその他の要素が音声や動画から独立して意味を持つ、ウェブ上の音声や動画を含む資料は収集します。

How we archive websites

Web crawling

法定納本図書館は、特にUK Web Archiveの収集において、可能な限りウェブクロールソフトウェアを使用します。ウェブクロールは、オープンウェブ上でアクセス制限なく利用可能なコンテンツとメタデータを収集するために使用される自動化されたプロセスです。クロールされたウェブサイトと資料は、法定納本図書館のウェブアーカイブに保存されます。必要に応じて、手動またはその他の方法でコンテンツとメタデータをダウンロードすることもあります。

The web crawling process

ドメインアドレスのシードリストがウェブクロールソフトウェアにURL（Uniform Resource Locators）としてプログラムされます。ソフトウェアはこれらを使用してプロセスを開始し、ルートまたはホームページのコピーを要求します。次に、同じドメイン内の次のレベルに自動的にリンクをたどり、特定された各URLに対して個別のリクエストを発行します。ターゲットウェブサイトは自動的に応答し、URLに関連するページまたはファイルのコピーを提供します。

Web crawling politeness and protocols

ウェブクロールソフトウェアには、ターゲットウェブサイトのパフォーマンスに悪影響を与えないように設計された、丁寧さのルールとパラメータもプログラムされています。例えば、クロールするレベルの数や、個々のウェブサイトから要求するコンテンツの量に制限があります。また、同じウェブサイトに対して異なるページやファイルの複数のリクエストを発行する場合、帯域幅を使いすぎたりウェブサイトを過負荷にしたりしないように、ソフトウェアは各リクエストの間に間隔を空けるようにプログラムされています。

ウェブクロールソフトウェアは、標準的な自動化プロトコルを使用して、自身を識別し、各ページがクロールされたときにサーバーリクエストのログに送信される情報（「ユーザーエージェント文字列」と呼ばれる）を通じて、発行者のウェブマスターに通知します。ウェブサイトの所有者はこの情報を使用するかどうかを選択できますが、ウェブサイトの「robots.txt」許可ファイルを変更するなどのアクションを取る必要はありません。

ウェブクロールソフトウェアがログイン機能に遭遇した場合、適切なパスワードまたはアクセス認証情報なしでは、ログイン機能の背後にある資料にアクセスすることはできません。

Further information

Framework for UK Legal Deposit (PDF, 289.7KB)は、デジタル出版物の収集能力をどのように開発しているかについての情報を提供しています。