HN 日本語サマリー

← 一覧へ戻る
プログラミング

Show HN: misa77 - LZ4よりも2倍高速なデコーダー(より良い比率で)

Show HN: misa77 - a codec that decodes 2x faster than LZ4 (at better ratios) (github.com)

137 pointsby nonadhocproblem40 コメント

要約

misa77は、LZ4よりも2倍高速なデコード速度と、同クラスのコーデックと比較して優れた圧縮比を実現する新しいコーデックです。このコーデックは、分岐を減らし、アウトオブオーダー実行コアに優しいスマートなフォーマット設計により、特にデコード性能で優れています。ただし、圧縮速度は遅いという特徴があります。

全文翻訳

過去数ヶ月間、このコーデックに取り組んできました。

以下の特徴があります。

  - 比率クラスにおける最先端のデコードスループット
  - 妥当な圧縮率(高負荷レベルではLZ4に匹敵)
  - 低速な圧縮

ほとんどの改善は、分岐処理の削減と、スマートなフォーマットの使用により、デコード処理をアウトオブオーダーコアに非常に優しくしたことによるものです。

Intel x86-64上のtarred Silesiaコーパスでの結果は以下の通りです。

  codec       decode      ratio    encode
  misa77 -0   5219 MB/s   42.64%   54.5 MB/s
  misa77 -1   4274 MB/s   39.65%   51.2 MB/s
  lz4         2505 MB/s   47.59%   371 MB/s
  lz4hc -12   2531 MB/s   36.45%   7.31 MB/s