ALP: 適応型ロスレス浮動小数点圧縮
ALP: Adaptive lossless floating-point compression (github.com)
要約
ACM SIGMOD 2024で発表されたALP(Adaptive Lossless Floating-Point Compression)は、IEEE 754浮動小数点データ向けの最先端ロスレス圧縮アルゴリズムです。実世界の浮動小数点数によく見られる、10のべき乗で整数化する手法や、高精度値の左側部分を圧縮する手法を組み合わせることで、デコード速度、圧縮率、圧縮速度の全ての指標で既存手法を上回る性能を示しました。このリポジトリには、ソースコード、ベンチマーク、およびACMの最優秀アーティファクト賞を受賞した再現性レポートが含まれています。
全文翻訳
ALP: 適応型可逆浮動小数点圧縮
著者: Azim Afroozeh, Leonardo Kuffó, Peter Boncz
会議: ACM SIGMOD 2024
[画像: GitHub] このリポジトリは何ですか?
このリポジトリには、ACM SIGMOD 2024で発表された論文「ALP: Adaptive Lossless Floating-Point Compression」のソースコードとベンチマークが含まれています。
ALPは、IEEE 754浮動小数点データ用に設計された最先端の可逆圧縮アルゴリズムです。実世界の浮動小数点値によく見られる2つの一般的なパターンを利用してデータをエンコードします。
-
小数点の浮動小数点数:
実世界のデータセットにおける浮動小数点数/倍精度浮動小数点数の大部分は小数です。ALPは、これらの数値を10のべき乗で乗算して整数にマッピングし、その後、SIMDフレンドリーなFrame-of-Referenceエンコーディング1のFastLanesバリアントを使用して結果を圧縮します。
例: 数値10.12は1012になり、FastLanesエンコーダーに渡されます。 -
高精度な浮動小数点数:
残りの値は通常、高精度な浮動小数点数/倍精度浮動小数点数です。ALPはこれらの値の左側部分のみに圧縮機会をターゲットとし、FastLanes辞書エンコーディングを使用して圧縮します。右側部分は、高精度を維持するために必要であり、しばしば非常にランダムで圧縮不可能であるため、圧縮されずに残されます。
📊 ALPのパフォーマンスは?
これらの結果は、圧縮アルゴリズムの3つの主要な指標(解凍速度、圧縮率、圧縮速度)すべてにおいて、ALPの優れたパフォーマンスを強調しています。各カテゴリで他の方式を上回っています。
🧪 結果の再現方法
以下のスクリプトを実行するだけです。
./publication/script/master_script.sh
ベンチマークの再現方法の詳細については、こちらのガイドhereを参照するか、公式のACM再現性レポートをお読みください。
https://dl.acm.org/doi/10.1145/3687998.3717057
🏅 ACMアーティファクトと受賞
私たちはSIGMOD Availability & Reproducibility Initiativeに参加し、論文が3つのバッジすべてを獲得したことを嬉しく思います。
[画像: ACM Artifacts Available] [画像: ACM Artifacts Evaluated] [画像: ACM Results Reproduced]
🎉 また、ALPがSIGMOD Best Artifact Awardを受賞したことを誇りに思います!
⏱️ 自分のデータセットをベンチマークしたいですか?
ガイドをご覧ください: How to Benchmark Your Dataset
自分のデータでALPを実行する方法を説明しています。
🗂️ リポジトリ構造
src/: ALPおよびALP_RDのコア実装benchmarks/: ベンチマークツールとデータセットinclude/: 統合のためのヘッダーファイルscripts/: データ処理のためのユーティリティスクリプトtest/: 単体テストpublication/: 論文および補足資料
📚 論文
-
会議論文:
ALP: Adaptive Lossless Floating-Point Compression, ACM SIGMOD 2024
https://dl.acm.org/doi/10.1145/3626717 -
再現性レポート:
Reproducibility Report for ACM SIGMOD 2024 Paper: 'ALP: Adaptive Lossless Floating-Point Compression'
https://dl.acm.org/doi/10.1145/3687998.3717057
📄 ライセンス
このプロジェクトはMITライセンスの下でライセンスされています。詳細はLICENSEファイルを参照してください。
📬 連絡先
質問がある場合、貢献したい場合、またはALPおよび関連プロジェクトの最新情報を知りたい場合は、Discordでコミュニティに参加してください。
[画像: Join us on Discord] [画像: Community Status]
🧩 使用されているシステム
ALPは以下のシステムに統合されています。
注釈
- FastLanesの詳細についてはこちらをご覧ください: https://github.com/cwida/fastlanes ↩