JPEGの仕組み:JPEGの非可逆圧縮方法をインタラクティブに探る
How JPEG works: Interactively explore JPEG's lossy compression methods (cgjennings.ca)
要約
この記事は、1992年に標準化されたJPEG画像フォーマットの非可逆圧縮技術の仕組みを、平易な言葉で解説しています。人間の視覚特性に基づき、輝度の変化を色度の変化よりも重視し、低周波数の変化をより重要視するという2つの原則を利用して、不要な情報を削除することでファイルサイズを削減します。記事内では、インタラクティブなデモを通じて、画像がどのように圧縮・展開されるかをステップごとに体験できます。
全文翻訳
JPEGの仕組み
[画像: Camouflaged leopard]
2017年9月9日
約11分
Visualization Images Compression JPEG STEM [画像]
JPEGの非可逆圧縮方式をインタラクティブに探る
目次
はじめに
テクノロジーの世界では、「永遠」とは約5年を意味します。1992年のJPEG画像規格が、5年以上の「永遠」を経てもなお健在であると考えると、謙虚な気持ちになります。なぜこれほど成功したのでしょうか?この記事では、JPEGの主要なアイデアを平易な言葉で紹介し、ページ上にインタラクティブなJPEGコンプレッサーを組み込んで、自宅で実際に試せるようにします。
圧縮方式
圧縮技術は、データ中の繰り返しパターンを見つけ出し、それらをより短いものに置き換えます。これは、長い単語やフレーズの代わりに略語や頭字語を使用するようなものです。ビデオ、静止画像、音声は通常、うまく圧縮できません。画像や音声の問題は、良い略語を見つけるにはデータがノイズが多すぎることが多いことです。このため、JPEGや他の多くのメディアフォーマットでは、非可逆圧縮と呼ばれるものが使用されます。
非可逆圧縮とは、情報の一部を破棄することによってファイルサイズを削減することです。図書館員が棚のスペースがなくなり、もっと本を入れる必要があると想像してください。彼女が一部の本をデジタルコピーやマイクロフィッシュコピーに置き換えた場合、それは可逆圧縮です。彼女が本を燃やした場合、それは非可逆圧縮です。
演奏するのは音符ではなく、演奏しない音符である。マイルス・デイヴィス
良い非可逆圧縮の秘訣は、誰も気にしない情報を破棄することです。誰も読まない本を燃やすのです。何を残すかをどうやって決めるか?科学です!画像圧縮の場合、人間の知覚にとって重要な部分とそうでない部分を理解することから始めます。次に、重要な品質を維持し、残りを捨てる方法を見つけます。JPEGでは、非可逆圧縮は2つの心理視覚原理に基づいています。
[画像: Camouflaged leopard]
南アフリカの車両の近くで、部分的にカモフラージュされたヒョウが歩いている。クレジット:Lee R. Berger。
- 色の変化よりも明るさの変化の方が重要である:人間の網膜には約1億2000万個の明るさ感知細胞(杆体細胞)がありますが、色を感知する細胞(錐体細胞)は約600万個しかありません。
- 高周波変化よりも低周波変化の方が重要である。人間の目は、物体のエッジのような低周波の光の変化を判断するのが得意です。忙しいパターンやテクスチャの細かいディテールのような高周波の光の変化を判断するのはそれほど正確ではありません。カモフラージュが機能する理由の一部は、高周波パターンがカモフラージュされたものの低周波エッジを破壊することです。
JPEG圧縮は、これらのアイデアをそれぞれ順番に適用します。各ケースで、画像データは、必要な情報(明るさまたは周波数情報)に簡単にアクセスできるように変換されます。次に、重要でない情報の一部が破棄されます。最終ステップとして、残った情報は従来の可逆圧縮で圧縮され、最終結果を可能な限り小さなスペースに詰め込みます。この記事では、実際の画像を使用し、エンコーディング(JPEGとして保存)およびデコーディング(JPEGから読み込み)プロセス全体をステップバイステップで探求します。エンコーディング設定を操作して、結果がどのように影響されるかを確認できます。さあ、始めましょう!
エンコーディング
圧縮する入力画像を選択することから始めます。
入力画像
画像を選択してください:
- タワー
- 花
- カバ
- 低周波
- 高周波
- 独自の画像を選択
リストから画像を選択してください。実験できるものがいくつかありますが、初めての場合はデフォルトの「タワー」画像を使用することをお勧めします。低周波と高周波のセグメントの良い組み合わせがあり、記事の本文で時々参照します。
「独自の画像を選択」を選択するか、画像ファイルをこのページにドラッグアンドドロップすることで、独自の画像を使用することもできます。
ステップ1:色情報の分離
[画像: Image pixels]
画像はピクセルで構成されています。各ピクセルの色は、そのピクセルの色を再現するために必要な赤、緑、青の光の量の合計です。
[画像]
典型的なコンピュータ画像は、小さな色の正方形のグリッド、つまりピクセルで構成されています。各ピクセルは、そのピクセルの色を再現するために必要な赤、緑、青の光の量を示す3つの数値として保存されます。このため、RGB画像と呼ばれます。左側のイラストの左側では、選択した画像の赤、緑、青の部分が3つの別々のチャンネルに分割されているのがわかります。
JPEGにとって問題なのは、画像の明るさ情報がR、G、Bチャンネルに均等に分散していることです。明るさが色よりも重要であることを覚えておいてください。そのため、明るさを色情報から分離して、別々に処理できるようにしたいと考えています。これを実現するために、JPEGは数式を使用して、画像の色空間をRGBからYCbCrに変換します。YCbCr画像も3つのチャンネルを持ちますが、すべての明るさ情報を1つのチャンネル(Y)に保存し、色情報を他の2つ(CbおよびCr)に分割します。
左側のイラストの右側は、同じ画像がY(上)、Cb(中央)、Cr(下)のチャンネルに分割されているのを示しています。CbおよびCrチャンネルが「ぼやけて」いることに注意してください。これは、明るさ情報によって与えられたすべての定義がYチャンネルに移動したためです。
イラストのサイズを妥当なものにするために、すべてのチャンネルを縮小しました。実際には、各チャンネルは元の画像と同じサイズです。
ステップ2:色情報の破棄
Y
Cb / Cr
JPEGは、まず色情報を破棄します。明るさチャンネル(Y)をフルサイズで維持しながら、CbおよびCr(色)チャンネルのみをダウンサンプリングします。厳密には、このステップはオプションです。標準では、すべての色情報を保持するか、半分を保持するか、4分の1を保持するかを選択できます。画像の場合、ほとんどのアプリは色情報の半分を保持します。ビデオの場合は通常4分の1です。このデモでは、効果を誇張するためと、イラストをよりきれいに見せるために、4分の1を保持しています。
最初に3つのフルチャンネルがありましたが、今では1つのフルチャンネルと2つの¼チャンネルがあり、合計で1½になります。まだ始まったばかりですが、すでに元の情報の半分まで削減されました!
ステップ3:周波数領域への変換
Y'
Cb' / Cr'
人間の視覚認識に関する2番目の観察結果を利用するために、まずY、Cb、Crの各チャンネルを8×8ピクセルのブロックに分割します。これらの各ブロックを空間領域から周波数領域に変換します。
おいおい、待てよ!何だって?さて、Yチャンネルのこれらの8×8ブロックの1つだけを考えてみましょう。空間領域とは、現在私たちが持っているものです。左上の値は、そのブロックの左上のピクセルの明るさ(Y値)を表します。同様に、右下の値は、そのブロックの右下のピクセルの明るさを表します。したがって、空間という用語は、ブロック内の位置が画像内の位置を表すことを意味します。このブロックを周波数領域に変換すると、ブロック内の位置は代わりに画像内の周波数帯域を表すようになります。ブロックの左上の値は最も低い周波数情報、右下の値は最も高い周波数情報を表します。
このドメイン変換は、2D 離散コサイン変換(DCT)と呼ばれる数学的な手品によって達成されます。(離散フーリエ変換について聞いたことがあるなら、DCTは似ていますが、実数のみを使用します。これはコンピュータでの表現に便利です。)本質的なアイデアは、8×8ブロックの値を、それぞれ固有の周波数を持つコサイン関数の合計として表現することです。
数学を理解する必要はありませんが、どのように機能するかを把握できます。タワー画像のY周波数イラストを見てください。低周波情報の暗い点のおかげで、各8×8ブロックの左上隅がはっきりと見えます。空の部分のブロックを見ると、ブロックの残りの大部分が空であることがわかります。空はピクセル間で劇的な変化が多くありません。高周波情報が少ないということです。タワー部分のブロックと比較してください。レンガの忙しいテクスチャは、高周波の変化が多く、これはブロック全体に灰色として現れます。
ステップ4:品質スライダー(量子化)
次のステップは、周波数情報を選択的に破棄することです。JPEG画像を保存したことがあり、品質値を選択したことがあるなら、ここでその選択が関係してきます。仕組みは次のとおりです。まず、量子化テーブルと呼ばれる整数の8×8テーブルを2つ用意します。1つのテーブルは明るさ情報用、もう1つは色情報用です。これらの数値は、画像データの各8×8ブロックに使用され、画像データの周波数値をその量子化テーブルの対応する数値で割ります。したがって、Y周波数チャンネルの各8×8ブロックの左上隅は、明るさ量子化テーブルの左上隅の数値で割られ、以下同様です。各除算の結果は最も近い整数に丸められ、小数部分は破棄されます。
量子化されたY'
量子化されたCb' / Cr'
出力
品質
低 高
輝度(明るさ)テーブル
色度(色)テーブル
最終出力画像への選択の影響を参考のために示します。
量子化テーブルの数値が大きいほど、その周波数範囲のその部分からより多くの情報が破棄されます。高周波情報への関心が低いため、量子化テーブルのその領域の数値は大きくなります。また、明るさよりも色への関心が低いため、色テーブルの数値は明るさテーブルの数値よりも全体的に大きくなります。
量子化テーブルは、JPEGファイル内の画像データとともに保存されます。画像を正しくデコードするために必要になります。
上記の品質スライダーを操作してみてください。品質を低端にドラッグするにつれて、周波数情報がどのように失われていくかに注意してください。
ステップ5:可逆データ圧縮
注意深く考えると、除算後の小数部分を破棄することで周波数情報を破棄しましたが、データ量は同じであることに気づくでしょう。つまり、3つのチャンネルの各ピクセルに対して1つの数値があります。このステップでは実際には何も得られなかったように思えます。しかし、このデータは従来の可逆圧縮を使用して圧縮されるようになります。しかし、待ってください。そもそも非可逆圧縮を使用した理由は、可逆圧縮が画像にはうまく機能しないからではありませんでしたか?はい、しかし、先ほど行った量子化は、データをノイズが少なくすることによって、より圧縮しやすくします。その理由を見るために、これらの3つの数値シーケンスを比較してください。
n = 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, …
n/2 = 0, 1, 1, 2, 2, 3, 3, 4, 5, 5, 5, 6, 6, 7, 7, 8, 8, …
n/16 = 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, …
[画像: JPEG zig-zag order]
ブロックデータはジグザグ順に圧縮され、類似の周波数をグループ化します。
最初の行は、たとえばY周波数チャンネルのあるピクセルの値をリストします。2番目の行は同じ値を2で割って丸めたものです。3番目の行は16で割って丸めたものです。除数が大きいほど、データ内の繰り返しが多くなることがわかります。データ内の繰り返しが多くなるほど、圧縮が容易になり、最終的な画像ファイルが小さくなります。
JPEGには、データをより圧縮可能にするための最後のトリックがあります。それは、各8×8ブロックの値をジグザグパターンでリストすることです。これにより、数値が最も低い周波数から最も高い周波数へと並べ替えられます。つまり、最も量子化された部分(除数が大きい部分)が隣接して配置され、きれいで繰り返しのある小さな数値のパターンが作成されます。
デコーディング
これで、JPEG画像を書き込むための基本的な要素が揃いました。画像をRGBからYCbCrに変換して明るさを分離し、一部の色を破棄し、周波数領域に変換し、結果の周波数情報の精度の一部を破棄し、結果のデータを圧縮します。
画像を読み戻すときに何が起こるのでしょうか?基本的に、エンコーディングプロセスの各ステップを逆にする必要があります。ステップごとに見ていきましょう。
ステップ6:解凍
量子化されたY'
量子化されたCb' / Cr'
最初のステップは、量子化された(除算および丸められた)周波数データを解凍することです。このデータは可逆的に圧縮されたため、結果は上記のステップ5と同じになります。
ステップ7:量子化データからの再構築
Y'
Cb' / Cr'
次に、量子化プロセスを逆にする必要があります。以前と同じ手順を使用しますが、テーブルの数値を割る代わりに、掛け合わせます。数値を丸めたため、まったく同じ数値は戻ってきません。結果は元の周波数データの不完全な近似であり、量子化テーブルで許可された精度に限定されます。品質が低いほど、量子化除数が大きくなり、精度が失われ、再構築の正確さが低下します。
ステップ8:空間領域への逆変換
Y
Cb / Cr
周波数情報を再構築したので、それを周波数領域から空間領域に変換する必要があります。これは問題ありません。エンコーディング中に使用した変換には、そのジョブを実行する逆変換があります。
データがより認識可能な形式になったので、知覚可能な情報損失の程度を判断し始めることができます。
ステップ9:欠落した色情報の補完
Cb
Cr
[画像: Examples of scaling artifacts]
チップマンクのグラフィックが2つの異なる方法で400%に拡大されています。1つの拡大画像はブロック状で、もう1つはぼやけています。
チャンネルを単一の画像に結合するために、2つの色チャンネルCbおよびCrを元のサイズにスケーリングし直す必要があります。しかし、破棄した情報は失われているため、補間で近似する必要があります。存在する周囲のピクセルを平均して、欠落したピクセルを補完します。これにはさまざまな方法があり、どれも完璧ではありません。拡大された画像は、使用される方法に応じて、ブロック状またはぼやけた傾向があります。
ステップ10:RGBへの逆変換
[画像]
この時点で、完全な画像がありますが、まだYCbCr色空間にあります。これはコンピュータが直接表示できないものです。最初に開始したRGB色空間に変換し直す必要があります。
出力画像
入力
出力
差分
最後に、個別のR、G、Bチャンネルを単一の画像に結合して、結果を表示できます。比較のために、元の入力画像とデコードされた出力画像の双方が左側に表示されます。その下には、「差分画像」があり、両者の不一致を強調しています。ピクセルが暗いほど、その場所での出力が入力とより多く変化したことを意味します。
これで完了です。入力画像をエンコードし、デコードし、似た画像を取得しました。それがJPEGです。プロセス全体を見たので、戻って他の画像の一部を試してみてください。
コメントや修正はありますか? お知らせください! このサイトでは自動コメントシステムを使用していませんが、フィードバックを感謝しており、ページをそれに応じて更新します。