HN 日本語サマリー

← 一覧へ戻る
科学・技術

ALP: 適応型ロスレス浮動小数点圧縮

ALP: Adaptive lossless floating-point compression (github.com)

17 pointsby fanf20 コメント

要約

ACM SIGMOD 2024で発表されたALP(Adaptive Lossless Floating-Point Compression)は、IEEE 754浮動小数点データ向けの最先端ロスレス圧縮アルゴリズムです。実世界の浮動小数点数によく見られる、10のべき乗で整数化する手法や、高精度値の左側部分を圧縮する手法を組み合わせることで、デコード速度、圧縮率、圧縮速度の全ての指標で既存手法を上回る性能を示しました。このリポジトリには、ソースコード、ベンチマーク、およびACMの最優秀アーティファクト賞を受賞した再現性レポートが含まれています。

全文翻訳

ALP: 適応型可逆浮動小数点圧縮

著者: Azim Afroozeh, Leonardo Kuffó, Peter Boncz
会議: ACM SIGMOD 2024


[画像: GitHub] このリポジトリは何ですか?

このリポジトリには、ACM SIGMOD 2024で発表された論文「ALP: Adaptive Lossless Floating-Point Compression」のソースコードとベンチマークが含まれています。

ALPは、IEEE 754浮動小数点データ用に設計された最先端の可逆圧縮アルゴリズムです。実世界の浮動小数点値によく見られる2つの一般的なパターンを利用してデータをエンコードします。

  • 小数点の浮動小数点数:
    実世界のデータセットにおける浮動小数点数/倍精度浮動小数点数の大部分は小数です。ALPは、これらの数値を10のべき乗で乗算して整数にマッピングし、その後、SIMDフレンドリーなFrame-of-Referenceエンコーディング1のFastLanesバリアントを使用して結果を圧縮します。
    例: 数値 10.12 は 1012 になり、FastLanesエンコーダーに渡されます。

  • 高精度な浮動小数点数:
    残りの値は通常、高精度な浮動小数点数/倍精度浮動小数点数です。ALPはこれらの値の左側部分のみに圧縮機会をターゲットとし、FastLanes辞書エンコーディングを使用して圧縮します。右側部分は、高精度を維持するために必要であり、しばしば非常にランダムで圧縮不可能であるため、圧縮されずに残されます。


📊 ALPのパフォーマンスは?

[画像: ALP Results]

これらの結果は、圧縮アルゴリズムの3つの主要な指標(解凍速度、圧縮率、圧縮速度)すべてにおいて、ALPの優れたパフォーマンスを強調しています。各カテゴリで他の方式を上回っています。


🧪 結果の再現方法

以下のスクリプトを実行するだけです。

./publication/script/master_script.sh

ベンチマークの再現方法の詳細については、こちらのガイドhereを参照するか、公式のACM再現性レポートをお読みください。
https://dl.acm.org/doi/10.1145/3687998.3717057


🏅 ACMアーティファクトと受賞

私たちはSIGMOD Availability & Reproducibility Initiativeに参加し、論文が3つのバッジすべてを獲得したことを嬉しく思います。

[画像: ACM Artifacts Available] [画像: ACM Artifacts Evaluated] [画像: ACM Results Reproduced]

🎉 また、ALPがSIGMOD Best Artifact Awardを受賞したことを誇りに思います!

[画像: Trophy]


⏱️ 自分のデータセットをベンチマークしたいですか?

ガイドをご覧ください: How to Benchmark Your Dataset
自分のデータでALPを実行する方法を説明しています。


🗂️ リポジトリ構造

  • src/: ALPおよびALP_RDのコア実装
  • benchmarks/: ベンチマークツールとデータセット
  • include/: 統合のためのヘッダーファイル
  • scripts/: データ処理のためのユーティリティスクリプト
  • test/: 単体テスト
  • publication/: 論文および補足資料

📚 論文


📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細はLICENSEファイルを参照してください。


📬 連絡先

質問がある場合、貢献したい場合、またはALPおよび関連プロジェクトの最新情報を知りたい場合は、Discordでコミュニティに参加してください。
[画像: Join us on Discord] [画像: Community Status]


🧩 使用されているシステム

ALPは以下のシステムに統合されています。


注釈

  1. FastLanesの詳細についてはこちらをご覧ください: https://github.com/cwida/fastlanes ↩