HN 日本語サマリー

← 一覧へ戻る
Web開発

Handsum: LQIP画像ファイルフォーマット

Handsum: An LQIP Image File Format (nigeltao.github.io)

38 pointsby dmit5 コメント

要約

Handsumは、低品質画像プレースホルダー(LQIP)のための新しいカスタム画像ファイルフォーマットです。このフォーマットは、48バイトから147バイトという固定サイズで、ディスク容量の節約やデータベースでの扱いやすさを実現します。離散コサイン変換(DCT)を基盤としており、既存のBlurhashやThumbhashといったフォーマットと比較して、同程度のファイルサイズで同等以上の視覚的品質を提供することを目指しています。

全文翻訳

Handsum: LQIP画像ファイルフォーマット

Nigel Tao

低品質画像プレースホルダー(LQIP)は、ファイルサイズもピクセル寸法も非常に小さい画像で、非常に高速に読み込まれ、フル解像度の画像がバックグラウンドで遅く読み込まれる間に、即座の視覚的フィードバックを提供します。ファイルサイズが十分に小さいため、Webページにbase64エンコードしてインライン化することが可能であり、ネットワークの往復回数を最小限に抑え、ページの読み込み時間を改善します。

既存のLQIP技術には、BlurhashやThumbhashといったカスタム画像ファイルフォーマットのほか、単に低品質のJPEGやWebPと非常に小さいピクセル寸法を使用する方法があります。この記事では、もう一つのLQIPカスタム画像ファイルフォーマットであるHandsumを紹介します。

Handsumファイルも固定のバイトサイズを持ちます。最低品質設定で48バイト、最高品質設定で147バイトです。デスクトップ、ネイティブ、またはコマンドラインアプリで、サムネイル画像をデータベースに保存する場合、これにより固定サイズのカラムを使用でき、より高速でシンプルなイテレーションが可能になります。

Handsumは、Blurhashアルゴリズム、Thumbhashアルゴリズム、およびJPEG自体でも使用されている離散コサイン変換(DCT)に基づいています。比較的単純なHandsumフォーマットの仕組みを理解することは、もしあなたが比較的複雑なJPEGフォーマットの仕組みを理解したいと思った場合に役立つでしょう(JPEG仕様は186ページのPDFファイルですが、Handsumはより単純です)。

Webページ例

これは、Handsum Webページデモのアノテーション付きスクリーンショットです。これは、WasmにコンパイルされたC言語で書かれたHandsumデコーダーを使用しています。

[画像: Handsum Wasm]

比較

ここでは、HandsumをPNG、Thumbhash(Blurhashと非常に似ています)、WebP、ETC2、JPEGと比較します。この画像を開いて、ズームイン・パンしてみてください。

[画像: Handsum Comparison]

ここには多くの情報があります。分解してみましょう。

各行は、Wikipediaで見られる有名な画像に関連しています:アースライズ、ラ・グランド・ジャット島の日曜日の午後、リンカーン、モナ・リザ、国会議事堂、真珠の耳飾りの少女、星月夜、津波、ファン・エイク、睡蓮。

最初の列「Original」は、32×32ピクセルの境界ボックス内に収まるようにスケーリングされた(アスペクト比を維持した)画像自体です。例えば、500×745ピクセルのモナ・リザ画像は21×32にリサイズされます。

それ以外の各列は、元の画像をエンコードしてからデコードした結果です。

各セル(例: 1368または615)の上にある数値は、エンコードされたサイズ(バイト単位)です。バイト数が多いほど、明らかに品質が高いことが相関しています。問題は、許容できる品質を維持しながら、ファイルサイズ(バイト単位)をどれだけ小さくできるかということです。

2番目の列「PNG 16」は、画像を16×16ピクセルの境界ボックス内に収まるように縮小し、ロスレスPNGとしてエンコードしただけです。(はい、pngcrushを使用したり、WebPロスレスを使用したりすれば、わずかに小さいファイルサイズを得られるかもしれませんが、それほど大きな違いはないでしょう。)デコードすると16×16以内(例: 11×16のモナ・リザ)の画像が得られ、それを32ピクセル幅または高さにアップサンプリング(バイリニアフィルタを使用)します。

3番目の列はThumbhash LQIPコーデックを使用しています。これは、わずか24〜27バイトの非常に小さいエンコーディングを生成します。

次の4つの列は、Handsumを4つの品質設定で使用しています。「Hsum 16 q=1」の「16」は、「PNG 16」と同様に、コーデック自体が16×16の境界ボックス内に収まるものを生成するため、32にアップサンプリングして他のセルと比較してより良い画像を得ることを意味します。

その後の4つの列は、VP8ベースのWebPロスレスを品質0、25、75で使用しています。「WebP 16」列は16×16内でエンコード(したがってデコード)し(ここでも16×16にアップサンプリングします)、「WebP 32」列は32×32の画像内でエンコードします(デコード時のアップサンプリングは不要です)。

次の2つの列は、ETC2(PKM / PACKMANコンテナでラップ)を使用しています。これはEricsson Texture Compressionフォーマットで、OpenGL ES 3.0(リンクされた仕様の付録C.1)で必須であり、BCn / DXTn / S3TCのような他のテクスチャフォーマットに似ています。ETC2はGPUでのデコード(高い並列化が可能)のために設計されていますが、他の画像フォーマットと同様にCPUでもデコードできます。ETC2は興味深く、過小評価されている画像フォーマットですが、これに深く踏み込むのはこの記事の範囲外です。ここでも、「16」は低解像度のソース画像をエンコードしてデコード後にアップサンプリングすることを意味し、「32」は高解像度のソース画像をエンコードすることを意味します。

最後の2つの列はJPEGで、品質75です(これはWebPの「quality = 75」と大まかに同等ですが、正確には同じではありません)。ここでも、「16」対「32」は、低解像度+アップサンプリング対高解像度を意味します。

Handsumのq=1(最低品質)では、より大きく(ファイルサイズが大きい)、より良い(視覚品質が良い)Thumbhashと大まかに同等です。大きいというのは相対的な意味です。絶対的な差はわずか24バイトです。「より良い視覚品質」とは、サムネイルに基づいて有名な画像を推測するように言われた場合、モナ・リザや真珠の耳飾りの少女については、Handsum(q=1)ではもっともらしいが、Thumbhashではありえない、という意味です。それでも、WebP 16 q=0が生成する現代のポテトアートよりは良いです。

Handsumのq=4(最高品質)では、指定されたファイルサイズ予算に対して、WebPロスレス(VP8)やETC2と大まかに同等です。ただし、一点違いがあります。指定された品質設定(およびc=3の場合、下記参照)では、すべてのHandsum画像ファイルは同じバイトサイズになります。q=1ファイルは常に48バイト、q=2ファイルは75バイト、q=3ファイルは123バイト、q=4ファイルは147バイトです。

例えば、絵画やレコードなどの作品カタログを表示する組み込みアプリを作成したい場合、カタログエントリごとに256バイトを予算として割り当てることができます。アーティスト名と作品名にそれぞれ50バイト(必要に応じて省略)、その他のメタデータ(タイムスタンプ、トラック長など)にさらに数バイトを割り当てると、サムネイルに150バイト残る可能性があります。16×16のサムネイルをエンコードするためにWebPを使用する場合、q=75はほとんどの場合150バイト以下に収まりますが、常にそうとは限りません。また、WebPエンコーダーは通常、品質設定はありますがバイト予算設定はないため、十分に小さいWebPを生成するには少し工夫が必要です。対照的に、Handsum q=4を使用すれば、常に147バイトが保証されます。

Handsumの仕組み

Handsumには3つの色設定があります(c=1はグレースケール、c=3はRGB、または同等にYCbCr、c=4はアルファチャンネルを追加)。この記事ではc=3のみを扱います。参照実装のコードコメントには、c=1およびc=4の詳細があります。

この記事では、最も単純なDCT実装を持つq=4(最高)品質設定に主に焦点を当てます。

ソース画像(例: 500×745ピクセルのモナ・リザ)に対して、エンコードアルゴリズムはそれを144バイトのピクセルデータ(q=4の場合)に削減します。これに3バイトのヘッダー(15ビットのマジックシグネチャ、2ビットの色、2ビットの品質、5ビットのアスペクト比)を先頭に追加すると、147バイトになります。

Handsumエンコードは一連のステージに分解できます。デコードは、ステージを逆の順序で単純に逆にするだけでなく、後処理の「ループフィルタ」ステージ(下記参照)があります。デコードがステージ0(リサイズ)に到達すると、完全な逆ではありません。デコードされた画像の最も長い次元(幅または高さ)は16ピクセルであり、ヘッダーの5ビットのアスペクト比が短い方の次元を与えます。Handsumは汎用画像フォーマットではなく、サムネイル画像フォーマットにすぎません。

[画像: Handsum Stages]

ステージ0: リサイズ

[画像: Stage 0]

3バイトRGB(赤、緑、青)/ピクセルで16×16にリサイズすると、データは768バイトから始まります。エンコードの後のステージは、元のソース画像のアスペクト比に関係なく、この16×16のワークスペースで動作します。

ステージ1: YCbCr変換

[画像: Stage 1]

RGBからYCbCrへの変換は、JPEG / BT.601と同じ公式を使用します。

Y  = (+0.2990 * R) + (+0.5870 * G) + (+0.1140 * B)
Cb = (-0.1687 * R) + (-0.3313 * G) + (+0.5000 * B)
Cr = (+0.5000 * R) + (-0.4187 * G) + (-0.0813 * B)

この3バイトRGB/ピクセルから3バイトYCbCr/ピクセルへの変換は、無限精度の実数ではロスレス(および完全に可逆)であり、有限精度のコンピュータ数値ではわずかにロッシーです。

(理論的には)ロスレスな変換は、それ自体ではバイト数を節約しません。なぜなら、私たちはまだ3×16×16 = 768バイトだからです。線形代数の愛好家なら、これは(ロスレスな)基底変換だと認識するでしょう。しかし、これは後続のステージが16×16画像をより良く圧縮するための準備をします。

圧縮とは、768という数値を下げることを意味します。しかし、固定バイトサイズ出力(768 / 144は5.333倍の圧縮率)では、この数値を下げることは、情報の一部を破棄すること(「ロッシー圧縮」の意味で失うこと)を必要とします。YCbCrに切り替えることで、人々がほとんど気づかない情報を破棄する機会が得られます。

ステージ2: クロマダウンサンプリング

[画像: Stage 2]

人間の視覚は輝度(luma)に敏感で色度(chroma)に鈍感なので、色度チャンネルの情報をより積極的に破棄して(より高い圧縮率を達成するために)できます。このステージでは、2つの色度チャンネルのデータの75%(全体768バイトの50%)を単純にドロップし、CbとCrを16×16から8×8にダウンサンプリングします。これで、(16×16 + 8×8 + 8×8) = 384バイトになり、50%節約できました。

これは、WebP画像で使用されている古典的な4:2:0クロマサブサンプリングであり、JPEG画像でも非常に一般的です。JPEGの仕組みをすでに知っている人にとっては、Handsumの16×16ピクセルワークスペースは、本質的に1つのJPEG 4:2:0 MCU(Minimum Coded Unit)です。

ステージ3: DCT

[画像: Stage 3]

16×16の輝度グリッドと8×8の色度グリッドを2×2ブロックにスライスし、ブロックごとに4サンプルずつ適用し、各ブロックに独立して離散コサイン変換(DCT)を適用します。これは4サンプルをブロックごとに4サンプルに変換します。ステージ1と同様に、これは単なる基底変換です。ステージ1と同様に、これ自体ではバイト数を減らしませんが(無限精度の実数ではロスレス変換)、後続の機会を解き放ちます。

Handsum q=4は2×2ブロック(したがってブロックあたり4つの係数)を使用します。Handsumの低い品質設定では、4×4または8×8ブロックを使用します(JPEGのDCTも8×8を使用します)。DCTはこれらのブロックサイズのいずれにも適用可能ですが、DCTの公式は2×2で最も単純であり、それについては後で詳しく説明します。

ステージ4: 量子化

[画像: Stage 4]

RGBサンプルあたり8ビット(0 .. 256の半開区間)から始めました。8ビットから4ビット(0 .. 16の半開区間)への量子化は、エンコード側でvalue >>= 4、デコード側でvalue *= 0x11を行うのと概念的には同じです。

実際には、Handsumの量子化はもう少し複雑です。

  • DCおよびACコンポーネント(下記参照)は、わずかに異なる方法で逆量子化されます。0 .. 256の範囲のサンプルでは、DCを0x11倍して、純粋な黒(0x00)と純粋な白(0xFF)に到達できるようにします。ACについては、0x10倍するだけです。なぜなら、中間点(0x80 = 128)を正確に再現できるようにしたいからです。プリDCTサンプルのすべてが等しい場合、すべてのACコンポーネントは中間値になり、デコード時にフラットなサンプルを再現できないと、目立つアーティファクトが発生します。意図的なトレードオフは、非常に高いAC値を再現できないことです。
  • 同様に、ただしわずかに異なり、エンコード時に色度(輝度ではない)値を正の方向にバイアスし、デコード時に負の方向にバイアスします。これにより、グレースケール画像をエンコードする際に、中立の色度サンプルがバイアス後に(0x80ではなく0x88の)DC値になり、量子化を通じて正確にラウンドトリップできるようになります。
  • 色度値は、バイアスだけでなくスケーリングもされます。以前のブログ記事「Visualizing Y′CbCr Chroma Space」で述べたように、実際にはほとんどの色度値は、0 .. 256ではなく64 .. 192の範囲にあります。スケーリングにより、4ビット値でより多くの詳細を捉えることができ、極端な値を区別する能力と引き換えになります。
  • 上記の箇条書きは、2×2 DCTの後、係数が8ビット値(0 .. 256の範囲)ではなく9ビット値(-256 .. +256の範囲)になるという事実を無視しています。以下の公式を参照してください。
  • Handsumの参照エンコーダー(これはあるエンコードアルゴリズムを使用するのであって、そのエンコードアルゴリズムを使用するわけではありません)は、実際にはデコーダーが使用するものと比較して、エンコード時にACコンポーネントの「バケット幅」を小さく使用します。これは、ループフィルタによる平均への回帰(下記参照)をある程度補償するためです。

JPEGもポストDCT係数を量子化しますが、JPEGの量子化係数は設定可能です。libjpegに-quality 25や-quality 90設定を渡すとき、実際に行っているのは量子化係数を調整することです(そしてそれらの係数はJPEGファイルに書き込まれます)。量子化係数が大きいほど多くの情報が失われますが、量子化後の数値が小さくなり、ゼロ値の連続が増えるため、より良く圧縮できます。

Handsumの品質設定は異なります。Handsumの量子化係数はハードコードされており、設計上、出力は固定バイトサイズであるため、JPEGのランレングスエンコーディングやハフマンコーディングのようなエントロピー圧縮技術は使用しません。いずれにせよ、ここでビットの半分(最下位ビットの半分)をドロップすると、384バイトから192バイトへの50%の節約になります。

ステージ5: 高周波成分の除去

[画像: Stage 5]

最終ステージでは、各2×2ブロックの4つのポストDCT係数から1つを単純にドロップし、さらに25%節約して192バイトから144バイトにします。

Handsum q=3では、16個の4×4係数のうち6個(38%)をドロップします。q=2では、16個の4×4係数のうち10個(63%)をドロップします。q=1(最低品質)では、64個の8×8係数のうち49個(77%)をドロップします。いずれの場合も、Handsumは低周波成分を保持し、高周波成分を破棄します。JPEGの「ジグザグ係数順序」に慣れている人は、この優先順位に馴染みがあるかもしれません。

DCTを早期に行う理由は、q=4の場合、この4番目の係数が、通常はそれほど目立たない高周波「チェッカーボード」パターン(2×2ブロックごと)を制御するためです。ステージ4とステージ5の画像を比較して、見逃した場合のために、違いを見つける場所を以下に示します。

[画像: Stage 4 vs 5]

対照的に、DCTステージを行わず、4つのプリDCT(ポストDCTではない)サンプルのうち1つをドロップした場合、視覚的な影響は非常に明白(そして悪い)になります。

[画像: Stage bad]

離散コサイン変換(DCT)

DCTはHandsumコーデックの中で最も難しい概念です。これは基底変換であり、ある軸で測定された値(この場合、4つの値)を、異なる軸で測定された同じ数の異なる値に変換することを意味します。例えば、六角形のタイルを持つ2次元戦略ゲームでは、座標を、90度離れた従来の(x, y)軸から、軸が120度離れた、よりヘックス数を数えるのに適した座標に変換できます。どちらの座標ペアも同じタイルを表しますが、異なる数値を使用します。

2×2 DCTの場合、測定される軸はより抽象的です。WikipediaのJPEGのDCTセクションには、空間領域のgxy値を周波数領域のGuv値に変換する8×8 DCTの daunting な公式がありますが、その(u, v)軸はWikipediaでは水平および垂直空間周波数と正しく(しかし混乱を招くように)呼ばれています。

[画像: FDCT Formulae]

この奇妙に見える赤い枠の表は一旦脇に置いておきましょう。後で戻ってきます。

「空間領域」とは、4つの入力値、g00, g01, g10, g11とラベル付けできるものが、2×2ブロック内の左上、右上、左下、右下のサンプルに対応することを意味します。

gxyからGuvへの変換は順DCT(FDCT)であり、エンコードで使用されます。他のエンコードステージはロッシーになる可能性があるため、デコード時には、Guvを近似するFuv値から開始し、同じWikipediaページのさらに下には、元の画像のgxy値を近似するfxy値を回復するためにデコードで使用される、同様に daunting な逆DCT(IDCT)の公式があります。

[画像: IDCT Formulae]

2つの公式のコサイン項は同じですが、FDCTは(特定のuとvに対して)xとyをループし、IDCTは(特定のxとyに対して)uとvをループします。

2×2離散コサイン変換

2×2 DCTの場合、x, y, u, vはすべて0または1です。さらに、cos(0)は1に等しく、他のコサイン項はすべて(±1/√2)です。FDCTの公式は劇的に単純化されます。

G00 = (+g00 + g01 + g10 + g11) / 2
G01 = (+g00 - g01 + g10 - g11) / 2
G10 = (+g00 + g01 - g10 - g11) / 2
G11 = (+g00 - g01 - g10 + g11) / 2

gxy(またはfxy)空間領域では、00, 01, 10, 11を上対下、左対右として視覚化するのは簡単です。Guv(またはFuv)周波数領域では、これらの00, 01, 10, 11の添え字をどのように考えるかはあまり明らかではありません。

注意点として、G00は4つのプリDCT値の平均(2倍したもの)にすぎません。4つの入力すべてを要約する1つの値を選ぶとすれば、G00はかなり良い値です。G00はDC(Direct Current)DCTコンポーネントとしても知られ、他のすべてのGuv値はAC(Alternating Current)コンポーネントです。ACコンポーネントを視覚化する方法については、まずIDCTの公式も単純化してみましょう。

f00 = (+F00 + F01 + F10 + F11) / 2
f01 = (+F00 - F01 + F10 - F11) / 2
f10 = (+F00 + F01 - F10 - F11) / 2
f11 = (+F00 - F01 - F10 + F11) / 2

美しい対称性により、IDCTの公式はFDCTの公式とまったく同じです(変数名が異なります)。この偶然の一致は2×2 DCTに特有であり、4×4 DCT、8×8 DCT、または他のブロックサイズでは一般的に真ではありません。

しかし、F01 ACコンポーネントが大きいほど、f00とf10(ブロックの左側の2つのサンプル)が大きくなり、f01とf11(ブロックの右側の2つのサンプル)が小さくなることも明らかです。F01は「水平勾配」コントローラーのようなものです。同様に、F10は「垂直勾配」、F11は「チェッカーボードパターン」(上記のステージ5の議論で強調されたものとまったく同じ)です。

F00, F01, F10, F11入力を備えた「オーディオミキサー」を想像でき、これらのFuvスライダーを動かすことでfxyサンプル出力に影響を与えられます。

[画像: DCT 2×2 Sliders]

各Fuvコンポーネントには2×2のインパルス応答関数があり、これはfxyサンプルがFuvの変化(インパルス)にどのように反応するかを示します。その2×2グリッドは基底関数であり、これらの基底関数の2×2グリッドをプロットできます。

[画像: DCT 2×2 Basis Functions]

2×2の場合、この可視化は非常に単純ですが、JPEGで使用される8×8 DCTの場合、これは以前に言及したJPEG/DCT Wikipediaページの赤い枠の表であり、可視化の左上(u-v空間)に「低周波」コンポーネント(基底関数)、他の隅に「高周波」コンポーネントがあります。

Alex Dowadは、個々のFuvコンポーネントをオン/オフして、再構築されたfxy値にどのように影響するかを確認できるインタラクティブな8×8 DCTページを持っています。

Ekrem FidanがDCT and DFT for 1D and 2D Signalsブログ記事で行ったように、4×4または16×16 DCTの基底関数の同じ赤い枠の可視化を作成できます。

Handsumに戻ると、2×2 DCTは4つの値(左上、右上、左下、右下)を4つの異なるが同等の値(平均、水平、垂直、チェッカーボード)に変換します。人々は間違いなく右下のピクセルが欠けていることに気づくでしょうが、チェッカーボードのオーバーレイが欠けていることにはそれほど気づきません。

ループフィルタ

より大きな画像を小さなブロックに分割し、各ブロックを(多かれ少なかれ)独立してエンコードすることの結果として、デコード時にブロックの境界線がしばしば見えるようになります。低品質のJPEGでは、8×8ブロックの境界線が、同様にETC2とその4×4ブロック境界線が、以下に拡大・強調表示されています。

[画像: ETC2 4×4 blocks]

WebPもブロックに分割しますが、デコードがすべてのエンコードステージを逆転させた後、ブロック境界線に隣接するピクセルをぼかす後処理ステップによって、これらの視覚的な境界線を軽減します。WebPはこれをVP8ループフィルタと呼びます。Handsumも同様のことを行いますが、無条件であり、WebPのフィルタは閾値処理されます。Handsum q=4の2×2ブロックの場合、すべてのピクセル(エッジ上ではないもの)はブロック境界上にあります。

単純な例として、8つの再構築されたサンプルの1次元行があり、そのうち内側の6つが「:」ブロック境界線に隣接していると仮定します。1次元ループフィルタは、3:1の比率で境界線をぼかします(Handsumの2次元ループフィルタは9:3:3:1を使用します)。

Before:   a    b    :  c       d    :  e       f    :  g      h
After:    a   ¾b+¼c : ¾c+¼b   ¾d+¼e : ¾e+¼d   ¾f+¼g : ¾g+¼f   h

[画像: Handsum Loop Filter]

3:1(または9:3:3:1)フィルタは平均に回帰します。後処理されたサンプルはより滑らかになりますが、より穏やかにもなります。フィルタリングによって色が鮮やかでなくなりますが、エンコーダー側で意図的に小さい量子化「バケット幅」を使用することで、ある程度これを補償できます。これはそれ自体で色のコントラストを誇張し、ループフィルタで失われた鮮やかさの一部を回復します。

Handsumの実装

参照実装は、すべてのc=およびq=設定をエンコードおよびデコードするgithub.com/google/wuffs/lib/handsum Goライブラリです。

その参照実装を使用するhandsumコマンドラインツールは、handsum -encode foobar.png > foobar.c3q4.handsumのように実行します。

C言語にメモリ安全にトランスパイルされたWuffs標準ライブラリは、すべてのc=およびq=設定をデコードできます。

より単純なbasic-handsum-decode Cライブラリは、c=3, q=4バリアントのみをデコードし、c3q4と略されます。これは、冒頭でリンクされているWasmデモを動かしています。

JPEGの研究

HandsumはJPEGの非常に単純化されたサブセット(およびループフィルタ)です。もしあなたがJPEG(Web上で最も人気のある画像フォーマット)の実際の仕組みについてもっと学びたいのであれば、このさらに読むセクションには、あなたを飽きさせない十分なリンクがあります。

Webサーバー

最後に楽しいことですが、URLパスにエンコードされたHandsum q=1データのみで、オンデマンドでファビコンサイズのPNG画像を生成するWebサーバー(またはFUSEサーバー)を実行できます。

[画像: Handsum Web Server]

結論

もしあなたがすでにBlurhash、Thumbhash、ETC2、またはWebPを使用しており、それがうまく機能しているのであれば、それは素晴らしいことです。Handsumはそれらのいずれかに比べて圧倒的に優れているわけではなく、LQIPファイルフォーマットのツールボックスにまた一つ加わった選択肢にすぎません。BlurhashやThumbhashよりも高品質で、より大きく(そして固定された)ファイルサイズです。それらはすべてDCTベースであり、「Handsum」という名前は「より大きなThumbhash」をもじったものであり、もちろん「handsome」とも韻を踏んでいます。

公開日: 2026-07-08