HN 日本語サマリー

← 一覧へ戻る
オープンソース

Usenet Archive Toolkit – Usenetメッセージを検索可能なアーカイブに処理

Usenet Archive Toolkit – process Usenet messages into a searchable archive (github.com)

15 pointsby bilegeek0 コメント

要約

Usenet Archive Toolkitは、様々なUsenetメッセージソースを整理し、検索可能なアーカイブに変換するためのツール群です。オフラインでの利用や、重複メッセージやスパムのフィルタリング、UTF-8への変換、破損ヘッダーのデコードなどをサポートします。これにより、過去のUsenetディスカッションを効率的に検索・閲覧することが可能になります。

全文翻訳

Usenet Archive Toolkit

Usenet Archive Toolkit プロジェクトは、様々なソースからの Usenet メッセージを、一貫性のある検索可能なアーカイブに処理するためのツール群を提供することを目的としています。

通常、以下の2つの利用パターンが考えられます。

  1. 既に作成されたアーカイブファイルを読み込みたい場合。この場合、tbrowser ユーティリティをダウンロードまたはビルドするだけで済みます。
  2. 利用可能なソースからアーカイブファイルを作成したい場合。提供されているユーティリティのほとんどを使用する必要があります。ワークフローグラフに従うのが良い出発点となります。

要するに:利用可能なアーカイブファイルをダウンロードし、tbrowser を使って読み込みます。

[画像:tbrowserのスクリーンショット1] [画像:tbrowserのスクリーンショット2] [画像:アーカイブのギャラクシービュー1] [画像:アーカイブのギャラクシービュー2] [画像:tbrowserのスクリーンショット3]

UATアーカイブファイル一覧

動機

Usenet は死んでいます。そうは思わないかもしれませんが、実際には死んでいます。

[画像:Usenetメッセージ数の統計グラフ]

ポーランドの Usenet のメッセージ数(2016年8月から2016年12月まで)(概算)。

人々は様々なフォーラム、Facebook、Twitter に移り、そこで満足しているようです。一方、古い議論はゆっくりと腐っていきます。Google グループは悲しい、使い物にならないジョークです。Archive.org のデータセットは、少なくともポーランドの Usenet アーカイブに関しては、著しく不完全です。データを取得し、閲覧し、検索する簡単な方法がありません。そこで、何かをする必要があるのかもしれません。どうしてそんなに難しいのでしょうか?(それほど難しくはありません。動作するプロトタイプには1ヶ月、洗練とバグ修正にはさらに1ヶ月かかりました。)

利点

なぜ UAT を使うのか? Google グループ、archive.org のアーカイブ、長期間の履歴を持つ NNTP サーバーのような既存のソリューションを使わないのはなぜか?

  • UAT はオフライン作業のために設計されています。「クラウド」内のデータにアクセスするためにネットワーク接続は必要ありません。クエリへの応答を待つ必要も、ましてや「Web 2.0」インターフェースに耐える必要もありません。
  • UAT アーカイブは突然消滅しません。ディスク上にあります。Google グループはインターフェースの新しいイテレーションごとに劣化しています。また、Google はもはや有用ではないと判断したサービスをシャットダウンすることで知られています。Google Reader、Google Code Search、Google Code など。その他の小規模なサービスは、ディスククラッシュ1回でネットワークから完全に消滅する可能性があります。
  • UAT アーカイブ形式は、高速アクセスと効率的な検索のために設計されています。各メッセージは即時アクセスを容易にするために個別に圧縮されますが、より良い圧縮のために全アーカイブ辞書を使用します。検索は、Google の元の論文に類似した設計のデータベースを通じて実現されます。アーカイブ全体のサイズは、メッセージの非圧縮コレクションよりも小さいです。
  • 複数のメッセージソースを、メッセージの重複なしに単一の UAT アーカイブにマージできます。これにより、ソース A(例: NNTP アーカイブサーバー)の欠落をソース B(例: より小さい archive.org のダンプ)のメッセージで補うことができます。このようにして作成されたアーカイブは、利用可能なメッセージの最も完全なコレクションです。
  • UAT アーカイブには重複メッセージ(NNTP サーバーでさえ一般的です)や、他のグループからの無関係なメッセージ(archive.org のコレクションには多くの不正なメッセージが含まれています)は含まれていません。
  • 他の Usenet アーカイブはスパムメッセージで散らかっています。UAT はスパムを除外できるため、以前は読めなかったニュースグループも簡単に読めるようになります。適切にトレーニングされたスパムデータベースは、偽陽性および偽陰性の割合が非常に低いです。
  • すべてのメッセージは UTF-8 にトランスコードされるため、低機能なクライアントでも表示に使用できます。UAT は、エンコーディングが指定されていない、またはエンコーディングが不正なメッセージ、破損している、または完全に無効なヘッダーを正しくデコードしようとします。メッセージの HTML 部分は削除されます。引用符付き表示(quoted-printable)コンテンツ(ほとんどの場合不正な形式)の解析について心配する必要もありません。そして検索を忘れないでください。UAT なしで Base64 エンコードされたメッセージを grep して楽しんでください。
  • UAT アーカイブには、事前に計算されたメッセージ接続グラフが含まれており、「References」ヘッダー(しばしば破損している)の解析や、メッセージを日付順にソートする必要がなくなります。UAT は、他のメッセージ内の引用テキストを検索することによって、メッセージヘッダーに示されていない欠落した接続性を「復元」することもできます。
  • アーカイブへのアクセスは、簡単な libuat インターフェース を通じて可能です。
  • UAT アーカイブはメモリにマッピングされ、100% ディスクバックアップされます。高いメモリ圧力下では、アーカイブページは単にパージされ、後でオンデマンドで再ロードされる可能性があります。通常の libuat 操作中に必要なメモリ割り当ては次のとおりです。
    • 単一メッセージを解凍するための、小さく静的に成長するバッファ。
    • 検索操作中に使用される std::vector。
  • このアプローチのメリットは tbrowser に見られ、ブックキーピングのためにメッセージあたりわずか 10 バイトしか必要としません。250万メッセージを含むグループを表示するために必要な総メモリはわずか 25 MB です。

ツールキットの説明

UAT は多数のユーティリティを提供し、それぞれが独自のタスクに特化しています。以下に各ユーティリティの簡単な説明があります。

インポート形式

Usenet メッセージは、さまざまなソースから取得できます。現在サポートされているのは次のとおりです。

  • import-source-maildir --- 各ファイルが個別のメッセージであるディレクトリツリーからインポートします(例: slrnpull がこれを生成します。設定は非常にシンプルです)。
  • import-source-maildir-7z --- 単一の 7z 圧縮ファイルに圧縮された maildir ツリーからインポートします。
  • import-source-mbox --- Archive.org は、すべての投稿が単一のファイルにマージされた mbox 形式で Usenet メッセージのコレクションを保持しています。
  • google-groups --- Google グループをクロールし、maildir 形式でグループを保存します。
  • nntp-get --- NNTP サーバーからメッセージを取得します。

インポートされたメッセージは、メッセージごとの LZ4 圧縮メタ+ペイロードデータベースに格納されます。

データ処理

生のインポートメッセージは、使用可能にするために処理する必要があります。以下のユーティリティを提供しています。

  • extract-msgid --- 各メッセージの一意の識別子を抽出し、ID を介して任意のメッセージに高速アクセスするための参照テーブルを構築します。
  • extract-msgmeta --- アーカイブブラウザのクイックリファレンスとして、「From」および「Subject」フィールドを抽出します。
  • merge-raw --- 2つのインポート済みデータセットを1つにマージします。メッセージの重複はありません。
  • relative-complement --- 2番目のセットに存在しないメッセージを最初のセットから抽出します。
  • utf8ize --- メッセージを共通の文字エンコーディングである UTF-8 に変換します。
  • connectivity --- メッセージの接続グラフを計算します。「Date」フィールドも解析します。これは時系列ソートに必要です。
  • threadify --- 一部のメッセージには、ヘッダーに埋め込まれた接続データがありません。例えば、ニュースメールゲートウェイの使用による一般的なアーティファクトです。このツールは、トップレベルのメッセージを解析し、引用を探してから、他のメッセージでこれらの引用を検索し、欠落している親子間の接続を作成します(復元ではありません!元々存在しなかったものです!)。
  • repack-zstd --- すべてのメッセージの共通辞書を構築し、zstd メタ+ペイロード+辞書データベースに再圧縮します。
  • update-zstd --- 辞書の再計算なしに、既存の zstd アーカイブを新しいデータで更新します。
  • repack-lz4 --- zstd データベースを LZ4 データベースに変換します。
  • package --- すべてのデータベースを単一のファイルにパッケージ化します。展開もサポートします。
  • sort --- メッセージをスレッド時系列順にソートします。
データフィルタリング

インポート直後の生データは、直接使用するには不向きです。メッセージは重複しており、スパムも存在します。これらのユーティリティはクリーンアップに役立ちます。

  • kill-duplicates --- 重複メッセージを削除します。これは比較的まれですが、単一の NNTP サーバーからのデータセットでも同じメッセージが2回含まれることがあります。
  • filter-newsgroups --- 一部のデータソース(例: Archive.org の giganews コレクション)には、コレクションのニュースグループに送信されなかったメッセージが含まれています。このユーティリティは、そのような不正なメッセージを削除します。
  • filter-spam --- スパムのように見えるメッセージを学習し、それらを削除します。
データ検索

アーカイブの検索は、単語辞書の助けを借りて行われます。その準備には以下のツールが使用されます。

  • lexicon --- 単語のリストと各単語のヒットテーブルを構築します。
  • lexstats --- 辞書の統計情報を表示します。
  • lexdist --- 単語間の距離を計算します。
  • lexsort --- 辞書データをソートします。
データアクセス

これらのツールはアーカイブデータへのアクセスを提供します。

  • query-raw --- LZ4 データベースに対するクエリを実装します。extract-msgid ユーティリティの結果が必要です。サポートする機能:
    • メッセージ数。
    • メッセージ識別子のリスト。
    • 識別子によるメッセージクエリ。
    • データベースレコード番号によるメッセージクエリ。
  • libuat --- アーカイブアクセスライブラリ。zstd データベースを操作します。
  • query --- libuat のテストベッド。提供されるすべての機能にアクセスできます。
  • export-messages --- LZ4 アーカイブに含まれるメッセージを個別のファイルに展開します。
  • verify --- アーカイブの既知の問題を確認します。
  • galaxy-util --- アーカイブギャラクシーデータを生成します。
エンドユーザーユーティリティ
  • tbrowser --- アーカイブのカーソルベースのテキストモードブラウザ。
  • web --- Message-ID で単一のメッセージを検索するための Web サーバー。
  • galaxy-web --- ギャラクシー全体(ニュースグループリスト、ページネーションされたスレッドリスト、スレッド化されたメッセージビュー、グループ内または全グループでの全文検索)を閲覧および検索するためのローカル Web サーバー。

今後の作業アイデア

ここでは、私がすぐに計画しているわけではありませんが、あると便利な、実現可能なアイデアをいくつか紹介します。

  • メッセージエクスポーターの実装、例えば mbox 形式で。ヘッダーを正しくエンコードし、コンテンツエンコーディング情報(すべて UTF-8)を追加する必要があります。
  • 読み取り専用 NNTP サーバーの実装。ヘッダーを正しくエンコードし、コンテンツエンコーディング情報(UTF-8)を追加する必要があります。7ビットのクリーンさも望ましいでしょう。そのため、引用符付き表示(quoted-printable)としてもエンコードします。一部のヘッダー(例: MIME 処理により実際には真実ではない可能性が高い「Lines」)を書き直す必要があるかもしれません。メッセージを日付順にソートすることが、現在意味を持たない内部メッセージ番号に意味を持たせるために必要になるかもしれません。
  • グループ横断検索メカニズムの実装。

ワークフロー

Usenet Archive Toolkit は、いくつかの異なるデータベース上で動作します。各ユーティリティは特定のデータベースセットを必要とし、独自のデータベースを生成するか、残りのデータベースを無効にする完全に新しいデータベースインデックススキーマを作成します。

groups.google.com → google-groups → 生成: maildir ツリー
nntp server → nntp-get → 生成: maildir ツリー
maildir directory → import-source-maildir → 生成: LZ4
maildir compressed → import-source-maildir-7z → 生成: LZ4
mbox file → import-source-mbox → 生成: LZ4
LZ4, msgid → export-messages → 生成: 個別のメッセージファイル
LZ4 → kill-duplicates → 生成: LZ4
LZ4 → extract-msgid → 追加: msgid
LZ4, msgid → connectivity → 追加: conn
LZ4, conn → filter-newsgroups → 生成: LZ4
LZ4, msgid, conn, str → filter-spam → 生成: LZ4
LZ4 → extract-msgmeta → 追加: str
(LZ4, msgid) + (LZ4, msgid) → merge-raw → 生成: LZ4
(LZ4, msgid) + (LZ4, msgid) → relative-complement → 生成: LZ4
LZ4 → utf8ize → 生成: LZ4
LZ4 → repack-zstd → 追加: zstd
zstd → repack-lz4 → 追加: LZ4
(zstd, msgid) + (LZ4, msgid) → update-zstd → 生成: zstd
LZ4, conn → lexicon → 追加: lex
lex → lexsort → 変更: lex
lex → lexdist → 追加: lexdist
lex → lexstats → ユーザーインタラクション
LZ4, msgid → query-raw → ユーザーインタラクション
zstd, msgid, conn, str, lex → libuat → ユーザーインタラクション
LZ4 以外すべて → package → 単一ファイルアーカイブ
LZ4 以外すべて → threadify → 変更: conn, 無効化: lex
archive → sort → 変更: archive
collection of archives → galaxy-util → archive galaxy

上記ユーティリティによって作成されるのではなく、ユーザー向けプログラムで使用される追加のオプション情報ファイル:

  • name --- グループ名。
  • desc_short --- グループの目的に関する短い説明(RFC 3977 の 7.6.6 項 より)。
  • desc_long --- グループのチャーター。(一部のニュースグループは、そのグループの目的を説明する説明文を定期的に投稿します。これらの説明文は、ニュースグループの作成者や管理に関わる人々によって投稿されます。グループにそのような説明文がある場合、それはほぼ常に「charter」という単語を含んでいるため、その単語でニュースグループを検索することで素早く見つけることができます。チャーターとは、そのグループのユーザーを管理するとされる「規則とガイドラインのセット」です。)
  • prefix --- 件名が同じかどうかを判断する際に無視すべき Subject: ヘッダーのプレフィックスのリスト。1行につき1つの小文字のエントリ。

通常のワークフロー

[画像:UAT ワークフローパイプライン]

注意事項

utf8ize は MSVC ではコンパイルできません。Cygwin でコンパイルするか、glib と gmime を苦労してセットアップしてください。どちらかを選んでください。

UAT は 64 ビットマシンでのみ動作します。

ライセンス

Usenet Archive
Copyright (C) 2016-2023  Bartosz Taudul <wolf@nereid.pl>

This program is free software: you can redistribute it and/or modify
it under the terms of the GNU Affero General Public License as
published by the Free Software Foundation, either version 3 of the
License, or (at your option) any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU Affero General Public License for more details.

You should have received a copy of the GNU Affero General Public License
along with this program.  If not, see <http://www.gnu.org/licenses/>.