HN 日本語サマリー

← 一覧へ戻る
プログラミング

ページレベルでのVACUUM

Vacuum at the Page Level (boringsql.com)

12 pointsby radimm2 コメント

要約

PostgreSQLのVACUUMコマンドがテーブルのページレベルでどのように動作するかを詳細に解説した記事です。DELETE操作によって生成された不要なデータ(デッドタプル)がページ内でどのように扱われ、VACUUMの各フェーズ(ヒープスキャン、インデックスクリーンアップ、ヒープクリーンアップ)を経て最終的にディスクスペースがどのように解放されるかを、具体的なコマンドとページのスナップショットを用いて説明しています。

全文翻訳

ページレベルでのVACUUM

HOT Updates in Postgresの記事では、ページプルーニングがHOTチェーンをクリーンアップする様子を解説しました。これはPostgreSQLが通常の読み取り中にデッドタプルのスペースを再利用するエレガントなショートカットです。しかし、プルーニングはあくまでショートカットであり、単一のページ内、かつHOT更新されたタプルにのみ有効です。それ以外のすべて(インデックス列に影響するコールドアップデート、通常のDELETE、インデックスエントリのクリーンアップ、フリースペースマップの登録、ビジビリティマップのメンテナンス)にはVACUUMが必要です。

この記事では、VACUUMがどのように動作するかをバイト単位で見ていきます。各フェーズの前後にページのスナップショットを取得し、ページヘッダー、ラインポインタ、タプルヘッダー、フリースペースマップ、ビジビリティマップのどこがどのように変化するかを追跡します。使用するツールは、いつものようにpageinspect、pg_visibility、pg_freespacemapです。

セットアップ

比較を意味のあるものにするために十分な行数を持つテーブルと、VACUUMの完全なサイクルを実証するためのインデックスが必要です。

CREATE EXTENSION IF NOT EXISTS pageinspect;
CREATE EXTENSION IF NOT EXISTS pg_visibility;
CREATE EXTENSION IF NOT EXISTS pg_freespacemap;

CREATE TABLE vacuum_demo (
    id integer GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
    category text NOT NULL,
    payload text
);

INSERT INTO vacuum_demo (category, payload)
SELECT
    'cat_' || (i % 5),
    repeat('x', 100)
FROM generate_series(1, 50) AS i;

ペイロードが各100バイトの50行です。プライマリキーがインデックスを提供しており、これは重要です。VACUUMの動作はインデックスが存在する場合に変化します。まず一度VACUUMを実行して、クリーンなベースラインから開始します。

VACUUM vacuum_demo;

削除前のスナップショット

ページ0のベースライン状態を記録します。まずページヘッダーです。

SELECT lower, upper, special, pagesize
FROM page_header(get_raw_page('vacuum_demo', 0));
 lower | upper | special | pagesize
-------+-------+---------+----------
   224 |  1392 |    8192 |     8192
(1 row)

pd_lowerは224にあります。これは24バイトのページヘッダーと、各4バイトの50個のラインポインタ(24 + 200 = 224)です。pd_upperは1392にあり、タプルは1392バイトから8191バイトを占有しています。空きスペースは1392 - 224 = 1168バイトです。あまり余裕がありません。100バイトのペイロードは積み重なると大きくなります。

次にラインポインタとタプルヘッダーです。

SELECT lp, lp_flags, lp_off, lp_len, t_xmin, t_xmax, t_ctid
FROM heap_page_items(get_raw_page('vacuum_demo', 0))
LIMIT 10;
 lp | lp_flags | lp_off | lp_len | t_xmin | t_xmax | t_ctid
----+----------+--------+--------+--------+--------+--------
  1 |        1 |   8056 |    135 |    746 |      0 | (0,1)
  2 |        1 |   7920 |    135 |    746 |      0 | (0,2)
  3 |        1 |   7784 |    135 |    746 |      0 | (0,3)
  4 |        1 |   7648 |    135 |    746 |      0 | (0,4)
  5 |        1 |   7512 |    135 |    746 |      0 | (0,5)
  6 |        1 |   7376 |    135 |    746 |      0 | (0,6)
  7 |        1 |   7240 |    135 |    746 |      0 | (0,7)
  8 |        1 |   7104 |    135 |    746 |      0 | (0,8)
  9 |        1 |   6968 |    135 |    746 |      0 | (0,9)
 10 |        1 |   6832 |    135 |    746 |      0 | (0,10)
(10 rows)

lp_lenはタプルの実際のバイト長である135ですが、各タプルはページ上でMAXALIGNされた136バイトのスロットを占有します。lp_offの値が136ずつ減少していることに注意してください。このアラインメントされたストライドが、以下の空きスペース計算で使用されます。

すべてのラインポインタはLP_NORMAL(lp_flags = 1)です。すべてのタプルはt_xmax = 0を持っており、誰もこれらの行を挿入以来触っていません。すべてのt_ctidはそれ自身を指しています。これは完全にクリーンなページです。

デッドタプルを作成

ここでいくつかの行をデッドにします。

DELETE FROM vacuum_demo WHERE id % 3 = 0;
DELETE 16

これにより、約3行に1行(ID 3, 6, 9, 12など)が削除されます。16行がデッドになりました。VACUUMが実行される前のページを見てみましょう。

SELECT lp, lp_flags, lp_off, lp_len, t_xmin, t_xmax, t_ctid
FROM heap_page_items(get_raw_page('vacuum_demo', 0))
LIMIT 10;
 lp | lp_flags | lp_off | lp_len | t_xmin | t_xmax | t_ctid
----+----------+--------+--------+--------+--------+--------
  1 |        1 |   8056 |    135 |    746 |      0 | (0,1)
  2 |        1 |   7920 |    135 |    746 |      0 | (0,2)
  3 |        1 |   7784 |    135 |    746 |    747 | (0,3)
  4 |        1 |   7648 |    135 |    746 |      0 | (0,4)
  5 |        1 |   7512 |    135 |    746 |      0 | (0,5)
  6 |        1 |   7376 |    135 |    746 |    747 | (0,6)
  7 |        1 |   7240 |    135 |    746 |      0 | (0,7)
  8 |        1 |   7104 |    135 |    746 |      0 | (0,8)
  9 |        1 |   6968 |    135 |    746 |    747 | (0,9)
 10 |        1 |   6832 |    135 |    746 |      0 | (0,10)
(10 rows)

行3、6、9を見ると、t_xmaxがDELETEステートメントのトランザクションIDである747になっています。しかし、それ以外のすべては変更されていません。lp_flagsはまだ1(LP_NORMAL)です。lp_offとlp_lenも同じです。タプルはまだ物理的にページ上にあり、スペースを消費しています。ページヘッダーも変更されていません。

SELECT lower, upper, special, pagesize
FROM page_header(get_raw_page('vacuum_demo', 0));
 lower | upper | special | pagesize
-------+-------+---------+----------
   224 |  1392 |    8192 |     8192
(1 row)

pd_lowerとpd_upperはDELETE前と同じです。PostgreSQLは行をデッド(t_xmaxにタイムスタンプを付けることによって)とマークしましたが、1バイトのスペースも回収していません。デッドタプルはブロートであり、VACUUMが到着するまでそのままです。

VACUUMがテーブルを処理する方法

VACUUMを実行してページの変化を見る前に、それがどのように実行されるかについての1つの点が、スナップショットが示すすべてを説明します。VACUUMは3つのパスで作業を行い、それらの間の分割が、削除されたタプルのストレージがいつ消え、そのラインポインタがいつ消えるかの理由のすべてです。そのギャップに注目してください。それはこの記事の残りの部分が可視化するものです。

フェーズ1:ヒープスキャン - プルーニング、フリーズ、デッドTIDの収集

VACUUMはすべてのヒープページを順番にスキャンし、この最初のパスは単なる確認以上のことを行います。各ページについて、ページプルーニング(通常の読み取り中に機会的に発生するheap_page_prune_and_freezeメカニズム)を実行します。プルーニングによってバイトが実際に戻ってきます。デッドタプルのストレージを削除し、ページをデフラグメントし、pd_upperを進めます。また、十分古いタプルを機会的にフリーズします。

PostgreSQL 17より前は、VACUUMはmaintenance_work_memから割り当てられたフラット配列にデッドTIDを格納していました。配列がいっぱいになると、VACUUMは一時停止し、収集されたバッチのインデックスとヒープのクリーンアップを実行してからスキャンを再開する必要がありました。PostgreSQL 17以降、VACUUMははるかにメモリ効率の良いラジックスツリーベースのTIDストアを使用しており、maintenance_work_memがボトルネックになる可能性ははるかに低くなっています。

しかし、この記事の残りの部分が依存する微妙な点があります。プルーニングは、インデックスがまだTIDで参照しているため、削除されたタプルのラインポインタをLP_UNUSEDとして単純にマークすることはできません。したがって、インデックスを持つテーブルの場合、デッドタプルのラインポインタはLP_DEADに設定されます。そのストレージは失われますが、4バイトのスロットは、インデックスエントリが削除されるまで、TIDの場所を保持します。それらのLP_DEAD TIDが、次のフェーズのためにVACUUMが収集するものです。

フェーズ2:インデックスクリーンアップ

デッドTIDのリストを手に入れたら、VACUUMはテーブルの各インデックスをスキャンします。各インデックスについて、すべてのインデックスエントリをウォークし、デッドTIDを指すエントリを削除します。これはコストのかかる部分です。VACUUMは、削除が必要なエントリが少数であっても、すべてのインデックスページを読み取る必要があります。

これもインデックスブロートが発生する理由です。長期間実行されているトランザクションが可視性ホライゾンを遅らせているか、テーブルに多くのインデックスがあり、デッドTIDリストがメモリを超えているためにVACUUMがこのフェーズを完了できない場合、デッドタプルを指すインデックスエントリが蓄積します。インデックスブロートの影響については、VACUUM Is a Lieで詳しく説明しました。

フェーズ3:ヒープクリーンアップ - ラインポインタの解放

インデックスがクリーンになった後、どのインデックスエントリもそれらのデッドTIDを参照しなくなるため、予約されたスロットは最終的に解放できます。VACUUMは、デッドタプルがあった各ページを再訪し、フェーズ1でできなかったことを行います。

  1. 収集された各LP_DEADラインポインタをLP_UNUSED(0)にフリップし、スロットを再利用します。
  2. 残りのすべてのタプルがすべての人に見える場合、ビジビリティマップビットを設定します。

インデックスのないテーブルは、この分割を完全にスキップします。参照すべきインデックスエントリがないため、フェーズ1のプルーニングはデッドラインポインタを1回のヒープパスでLP_UNUSEDに直接設定し、フェーズ3はありません。LP_DEADからLP_UNUSEDへの2パスのダンスは、まさにインデックスのためです。

リストにないものに注意してください。タプルデータはすでに削除され、ページはフェーズ1のプルーニングでデフラグメントされました。その時点でpd_upperが移動しました。フェーズ3はタプルバイトではなく、ラインポインタスロットを再利用します。プレーンなVACUUMの前後にのみ見ると、この区別は不明瞭になります。それを可視化しましょう。

中間状態を捉えるために、VACUUMを2ステップで実行します。VACUUM (INDEX_CLEANUP OFF)はフェーズ1のプルーニングを実行しますが、インデックスクリーンアップをスキップするため、2回目のヒープパスもスキップします。デッドラインポインタをLP_DEADのままにしておくしかありません。

プルーニング後:LP_DEAD、およびスペースはすでに回収済み

プルーニング後のページヘッダーです。

SELECT lower, upper, special, pagesize
FROM page_header(get_raw_page('vacuum_demo', 0));
 lower | upper | special | pagesize
-------+-------+---------+----------
   224 |  3568 |    8192 |     8192
(1 row)

pd_lowerはまだ224です。ラインポインタ配列は縮小していません。しかし、pd_upperは1392から3568にジャンプしました。これは2176バイトの回収されたスペースです(16個のデッドタプル × 136バイトのアラインメントストライド = 2176)。ページ上の空きスペースは1168バイトから3344バイトに増加しました。そして、まだインデックスには触れていません。これはすべてプルーニング中に、最初のヒープパスで行われました。

次にラインポインタです。

SELECT lp, lp_flags, lp_off, lp_len, t_xmin, t_xmax, t_ctid
FROM heap_page_items(get_raw_page('vacuum_demo', 0))
LIMIT 10;
 lp | lp_flags | lp_off | lp_len | t_xmin | t_xmax | t_ctid
----+----------+--------+--------+--------+--------+--------
  1 |        1 |   8056 |    135 |    746 |      0 | (0,1)
  2 |        1 |   7920 |    135 |    746 |      0 | (0,2)
  3 |        3 |      0 |      0 |        |        | 
  4 |        1 |   7784 |    135 |    746 |      0 | (0,4)
  5 |        1 |   7648 |    135 |    746 |      0 | (0,5)
  6 |        3 |      0 |      0 |        |        | 
  7 |        1 |   7512 |    135 |    746 |      0 | (0,7)
  8 |        1 |   7376 |    135 |    746 |      0 | (0,8)
  9 |        3 |      0 |      0 |        |        | 
 10 |        1 |   7240 |    135 |    746 |      0 | (0,10)
(10 rows)

ラインポインタ3、6、9はLP_UNUSEDではなく、lp_flags = 3 (LP_DEAD)になりました。それらのストレージは失われ(lp_offとlp_lenは0)、スロットはまだ存在し、TIDを予約しています。プライマリキーがまだそれらを指しているため、まだ解放できません。

SELECT live_items FROM bt_page_stats('vacuum_demo_pkey', 1);
 live_items
------------
         50
(1 row)

50個のインデックスエントリ。削除前と同じです。スキップしたインデックスクリーンアップは、まさに16個の古いエントリを削除するものであり、それが実行されるまで、それらのLP_DEADスロットはそのまま残ります。

完全なVACUUM後:LP_UNUSED

ここで通常のVACUUMを実行してジョブを完了します。

VACUUM vacuum_demo;

SELECT lower, upper, special, pagesize
FROM page_header(get_raw_page('vacuum_demo', 0));
 lower | upper | special | pagesize
-------+-------+---------+----------
   224 |  3568 |    8192 |     8192
(1 row)

pd_upperは3568で変更されていません。これがポイントです。2回目のヒープパスではタプルバイトは回収されません。すでにプルーニングで回収されているため、ありません。それはラインポインタスロットを解放することです。インデックスがクリーンになった後です。

SELECT lp, lp_flags, lp_off, lp_len, t_xmin, t_xmax, t_ctid
FROM heap_page_items(get_raw_page('vacuum_demo', 0))
LIMIT 10;
 lp | lp_flags | lp_off | lp_len | t_xmin | t_xmax | t_ctid
----+----------+--------+--------+--------+--------+--------
  1 |        1 |   8056 |    135 |    746 |      0 | (0,1)
  2 |        1 |   7920 |    135 |    746 |      0 | (0,2)
  3 |        0 |      0 |      0 |        |        | 
  4 |        1 |   7784 |    135 |    746 |      0 | (0,4)
  5 |        1 |   7648 |    135 |    746 |      0 | (0,5)
  6 |        0 |      0 |      0 |        |        | 
  7 |        1 |   7512 |    135 |    746 |      0 | (0,7)
  8 |        1 |   7376 |    135 |    746 |      0 | (0,8)
  9 |        0 |      0 |      0 |        |        | 
 10 |        1 |   7240 |    135 |    746 |      0 | (0,10)
(10 rows)

ラインポインタ3、6、9はLP_DEADからlp_flags = 0 (LP_UNUSED)に変わりました。スロットは空になり、このページに着地する次のINSERTで再利用可能になりました。そしてインデックスは34エントリに減りました。16個の古いエントリは削除されました。

SELECT live_items FROM bt_page_stats('vacuum_demo_pkey', 1);
 live_items
------------
         34
(1 row)

生き残ったヒープタプルはプルーニングでコンパクト化されました。lp_offの値がVACUUM前の位置からシフトしていることに注意してください。VACUUMは生き残ったタプルを移動させて、pd_lowerとpd_upperの間に単一の連続した空きスペースブロックを形成しました。

pd_lowerは変更されていません。ラインポインタ3、6、9は現在LP_UNUSEDですが、配列内にスロットを占有しています。次のINSERTはこのスロットの1つを再利用し、末尾に新しいものを追加するのではなく、それを使用します。PostgreSQLは、ページヘッダーのPD_HAS_FREE_LINESフラグを通じて再利用可能なスロットを追跡します。

フリースペースマップ

VACUUM前、PostgreSQLのフリースペースマップ(FSM)は、このページに回収可能なスペースが含まれていることを全く認識していませんでした。デッドタプルはFSMからは見えず、占有されたバイトとして見えていました。VACUUM後、回収されたスペースが登録されます。

SELECT blkno, avail
FROM pg_freespace('vacuum_demo');
 blkno | avail
-------+-------
     0 |  3328
(1 row)

ページ0は現在、3,328バイトの利用可能スペースを報告しています。これは、pd_upper - pd_lowerの生の1368バイトよりもわずかに少ないです。これは、FSMが約32バイトの粗いカテゴリで空きスペースを追跡し、切り捨てるためです。しかし、重要な点は、このページが新しいINSERTの候補になったことです。

このFSMの更新がないと、PostgreSQLは挿入時にこのページをスキップし、代わりに新しいページでテーブルファイルを拡張します。これは、内部に十分な空きスペースがあるにもかかわらずテーブルが成長する仕組みです。FSMはVACUUMが実行されなかったため更新されませんでした。

-- 新しい挿入は、ファイルを拡張する代わりに、バキュームされたスペースを再利用します
INSERT INTO vacuum_demo (category, payload)
SELECT 'cat_new', repeat('y', 100)
FROM generate_series(1, 10) AS i;

SELECT pg_relation_size('vacuum_demo') AS size;
 size
------
 8192
(1 row)

テーブルはまだ単一の8KBページです。10個の新しい行は、VACUUMがページ0で解放したスペースに着地しました。FSMは挿入者にそれを直接指示したため、新しいページは追加されませんでした。VACUUMを挟まない削除と挿入は異なる結果になります。FSMはページが満杯であると報告し続け、挿入者はそれをスキップし、ファイルは成長します。これは、ディスク上で半分空いているにもかかわらず、ディスク上で拡大し続けるテーブルの背後にあるメカニズムです。

ビジビリティマップ

ビジビリティマップは、ヒープページごとに2ビットを追跡します。先ほど行った10個の挿入により、ページ0に新しい、まだすべて表示されていないタプルが残ったため、ビットは現在クリアされています。もう一度VACUUMを実行するとページが安定し、ビットが設定されます。

VACUUM vacuum_demo;

SELECT blkno, all_visible, all_frozen
FROM pg_visibility('vacuum_demo');
 blkno | all_visible | all_frozen
-------+-------------+------------
     0 | t           | f
(1 row)

ページ0はall_visibleとマークされています。これは、ページ上のすべてのタプルがすべてのトランザクションから見えることを意味します。その影響は大きいです。

  • インデックスオンリースキャンは、このヒープページを全くフェッチせずにインデックスから結果を返すことができます。ビジビリティマップは、このページにあるものが表示可能であることを確認するため、インデックスのデータコピーは正しいことが保証されます。
  • 将来のVACUUMパスは、デッドなものが見つからないため、ヒープスキャンフェーズ中にこのページをスキップできる可能性があります。

ビジビリティマップは、メインのヒープファイルと並行して別のフォークファイルとして格納されます。base/16384/24601にあるテーブルの場合、ビジビリティマップはbase/16384/24601_vmです。非常に小さいです。ページあたり2ビットということは、1GBのテーブル(131,072ページ)では、ビジビリティマップに約32KBしか必要ないということです。

all_frozenビットはまだfalseです。このフラグはより強力なものを示します。すべてのタプルが見えるだけでなく、それらのxmin値がすべてフリーズされていることです。XIDラップアラウンドをさらに注意を払うことなく乗り越えることができます。

ここでページから行を削除すると、all_visibleビットがクリアされます。

DELETE FROM vacuum_demo WHERE id = 1;

SELECT blkno, all_visible, all_frozen
FROM pg_visibility('vacuum_demo');
 blkno | all_visible | all_frozen
-------+-------------+------------
     0 | f           | f
(1 row)

ページ上の単一のデッドタプルでさえ、all_visibleフラグを無効にするのに十分です。PostgreSQLは、保守的である必要があるため、DELETEの瞬間にこのビットを早期にクリアします。インデックスオンリースキャンは、このフラグが正しいことに依存しています。

フリーズ

ページを最終的な静止状態にしましょう。VACUUM FREEZEを実行すると、PostgreSQLはタプルの年齢に関係なく、テーブル上のすべてのタプルをフリーズすることを強制します。

VACUUM FREEZE vacuum_demo;

ここでタプルを検査します。

SELECT lp, t_xmin, t_infomask,
    CASE WHEN (t_infomask & 256) > 0 AND (t_infomask & 512) > 0 THEN 'FROZEN'
         WHEN (t_infomask & 256) > 0 THEN 'XMIN_COMMITTED'
         ELSE 'no hint bits' END AS freeze_status
FROM heap_page_items(get_raw_page('vacuum_demo', 0))
WHERE lp_flags = 1
LIMIT 8;
 lp | t_xmin | t_infomask | freeze_status
----+--------+------------+---------------
  2 |    746 |       2818 | FROZEN
  3 |    748 |       2818 | FROZEN
  4 |    746 |       2818 | FROZEN
  5 |    746 |       2818 | FROZEN
  6 |    748 |       2818 | FROZEN
  7 |    746 |       2818 | FROZEN
  8 |    746 |       2818 | FROZEN
  9 |    748 |       2818 | FROZEN
(8 rows)

古いPostgreSQLバージョン(9.4より前)では、フリーズは文字通りt_xminを2(FrozenTransactionId)に書き直していました。最新のPostgreSQLは元のxmin値を保持し、代わりにinfomaskビットを設定します。これはデバッグに役立ちます。元の行を作成したトランザクションをまだ確認できます。

ラインポインタ1は消えています。これは、先ほど削除したid = 1であり、VACUUM FREEZEは残りをフリーズする前にそれをプルーニングしました。ラインポインタ3、6、9は現在t_xmin = 748を持っています。これらはフリースペースマップセクションからのcat_new行で、前のVACUUMが解放したスロットを再利用しました。生き残ったすべてのタプルはFROZENです。t_infomask値2818は0x0B02で、これはHEAP_XMIN_COMMITTED(0x0100)+ HEAP_XMIN_INVALID(0x0200)+ HEAP_XMAX_INVALID(0x0800)、およびここにあるすべての行がtext列のために持つHEAP_HASVARWIDTH属性ビット(0x0002)です。PostgreSQL MVCC, Byte by Byteで説明したように、XMIN_COMMITTEDとXMIN_INVALIDの両方の組み合わせがフリーズマーカーです。これは、「XIDカウンターがどうなっても、このタプルのxminは永久に過去のものである」ことを意味します。

テーブルレベルのフリーズホライゾンも確認できます。

SELECT relfrozenxid FROM pg_class WHERE relname = 'vacuum_demo';
 relfrozenxid
--------------
          750
(1 row)

これはPostgreSQLに次のように伝えます。vacuum_demo内のすべてのタプルは、フリーズされているか、XID 750より新しいxminを持っています。Autovacuumは、アンチラップアラウンドフリーズが必要な時期を判断するためにこの値を使用します。すべてをフリーズしたばかりなので、このホライゾンは現在のトランザクションIDに進みました。

そして、ビジビリティマップは両方のフラグが設定されていることを示します。

SELECT blkno, all_visible, all_frozen
FROM pg_visibility('vacuum_demo');
 blkno | all_visible | all_frozen
-------+-------------+------------
     0 | t           | t
(1 row)

all_frozenビットがtrueになりました。将来のVACUUMパス(アンチラップアラウンドフリーズパスを含む)は、このページを完全にスキップできます。クリーンアップするものもフリーズするものもありません。大規模でほとんど静的なテーブル(ルックアップテーブル、履歴データ、アーカイブパーティション)の場合、これは大幅なパフォーマンス向上につながります。VACUUMは、ページあたり2ビットをチェックするだけで、数百万ページを数秒でスキップできます。

VACUUM FULL vs 通常のVACUUM

これまでに見てきたすべては、通常の(レイジー)VACUUMです。それがテーブルのファイルサイズを縮小できないという誤解が根強くあります。それは完全に正しくはありません。レイジーVACUUMは、実行の最後に完全に空になった末尾のページを切り捨てようとし、そのスペースをオペレーティングシステムに返します。それができないのは、ファイルの内部に閉じ込められた空きスペースをコンパクト化することです。満杯のページに囲まれた半分空のページです。その区別がすべての話であり、両方の半分は簡単に見ることができます。

18ページを埋めるテーブルから始めます。

CREATE TABLE vt (id int GENERATED ALWAYS AS IDENTITY PRIMARY KEY, category text, payload text);
INSERT INTO vt (category, payload)
SELECT 'cat_' || (i % 5), repeat('x', 100)
FROM generate_series(1, 1000) AS i;

SELECT pg_relation_size('vt') AS full_size;
 full_size
-----------
    147456
(1 row)

147,456バイトは18ページです。次に、最初の50行(すべてページ0に格納されている)以降のすべてを削除し、バキュームします。

DELETE FROM vt WHERE id > 50;

VACUUM vt;
SELECT pg_relation_size('vt') AS after_regular_vacuum;
 after_regular_vacuum
----------------------
                 8192
(1 row)

1ページに縮小しました。最初のページ以降のすべてのページが完全に空になったため、それらの17ページはファイルの末尾にあり、ライブなものは何もなかったため、VACUUMの切り捨てフェーズはそれらをOSに返しました。通常のVACUUMはファイルを縮小しました。空きスペースがたまたま末尾にあったためです。

次に、それが助けられないケースです。テーブルを再構築し、各行を1つおきに削除します。これにより、どのページも完全に空になることはありません。

DROP TABLE vt;
CREATE TABLE vt (id int GENERATED ALWAYS AS IDENTITY PRIMARY KEY, category text, payload text);
INSERT INTO vt (category, payload)
SELECT 'cat_' || (i % 5), repeat('x', 100)
FROM generate_series(1, 1000) AS i;

DELETE FROM vt WHERE id % 2 = 0;

VACUUM vt;
SELECT pg_relation_size('vt') AS after_regular_vacuum;
 after_regular_vacuum
----------------------
               147456
(1 row)

まだ18ページです。行の半分が削除され、VACUUMはすべての空きスペースをFSMに登録しましたが、すべてのページにはまだライブタプルが含まれているため、切り捨てる末尾の空きページはありません。ファイルは縮小できません。空きスペースは内部に閉じ込められています。これは、人々が「テーブルの半分を削除してもディスク上のサイズは変わりません」と言うときのブロートのまさにそのものです。

それがVACUUM FULLの目的です。

VACUUM FULL vt;
SELECT pg_relation_size('vt') AS after_vacuum_full;
 after_vacuum_full
-------------------
             73728
(1 row)

147KBから73KBへ、18ページから9ページへ。VACUUM FULLはテーブル全体を新しいファイルに書き直し、500個の生き残った行をタイトに詰め込み、古いファイルを削除しました。通常のVACUUMはすでにそのスペースを再利用可能にしていましたが、それをファイルからコンパクト化できたのはVACUUM FULLだけでした。

VACUUM FULLはAccessExclusiveLockを必要とします。テーブル全体で、すべての読み取りと書き込みをブロックします。大規模なテーブルの場合、それはそのテーブルの完全なダウンタイムを数分または数時間意味する可能性があります。本番環境では、pg_repack or pg_squeezeを、排他ロックなしで同じコンパクト化を達成するオンラインの代替手段として検討してください。

トレードオフは明確です。通常のVACUUMは軽量(ShareUpdateExclusiveLock、読み取りや書き込みをブロックしない)でスペースを再利用可能にし、末尾のページが空の場合にのみファイルを切り捨てます。VACUUM FULLは内部の空きスペースをファイルからコンパクト化しますが、AccessExclusiveLockを取得し、すべてをブロックします。ほとんどのワークロードでは、通常のVACUUMで十分です。新しいINSERTは解放されたスペースを再利用し、テーブルは安定したサイズに達します。VACUUM FULLは、ブロートが手に負えなくなった場合の是正ツールです。

まとめ

INSERTからVACUUMまでのタプルの完全なライフサイクルを、すべての状態変化を可視化しながらトレースしましょう。

INSERT

  • ラインポインタがLP_NORMAL(1)として割り当てられ、新しいタプルを指します。
  • タプルはt_xmin = 挿入中のXID、t_xmax = 0でスタンプされます。
  • pd_lowerは4バイト(新しいラインポインタ)で進み、pd_upperはタプルのサイズ分減少します。

DELETE

  • タプルのt_xmaxが削除中のXIDに設定されます。
  • ページのビジビリティマップall_visibleビットがクリアされます。
  • スペースは回収されず、ラインポインタの変更も、pd_lower/pd_upperの変更もありません。

VACUUMフェーズ1(ヒープスキャン + プルーニング)

  • 各ページがプルーニングされます。デッドタプルのデータが削除され、ページがデフラグメントされます。
  • pd_upperが増加し、フリースペースマップが更新されます。
  • デッドラインポインタがLP_DEAD(インデックス付きテーブル)またはLP_UNUSED(インデックスなし)に設定されます。
  • デッドTIDが収集され、タプルが機会的にフリーズされます。

VACUUMフェーズ2(インデックスクリーンアップ)

  • デッドTIDを指すインデックスエントリがすべてのインデックスから削除されます。
  • ヒープページは変更されません。

VACUUMフェーズ3(ヒープクリーンアップ、インデックス付きテーブルのみ)

  • LP_DEADラインポインタがLP_UNUSED(0)にフリップされ、スロットが再利用可能になります。
  • ここではタプルバイトは回収されません。プルーニングがすでにフェーズ1でそれを行いました。
  • ビジビリティマップall_visibleビットが設定されます(残りのすべてのタプルが見える場合)。

VACUUM FREEZE

  • タプルのinfomaskビットがXMIN_COMMITTED + XMIN_INVALID(フリーズ済み)に設定されます。
  • ビジビリティマップall_frozenビットが設定されます。
  • pg_class.relfrozenxidが進められます。

ラインポインタは、トレースしたステートマシン(インデックス付きテーブルではLP_NORMALからLP_DEADへ、そしてLP_UNUSEDへ、インデックスなしでは直接LP_UNUSEDへ)を通過しますが、フェーズのトレースがなぜが存在する場所です。

すべてのINSERTはラインポインタを作成します。すべてのDELETEはt_xmaxにタイムスタンプを付けますが、ページ上の他のものは何も変更しません。そして、すべてのVACUUMサイクル(プルーニング、インデックスクリーンアップ、ヒープクリーンアップ)は、デッドスペースを再利用可能なスペースに変換します。ページは8KBを超えず、VACUUMの仕事は、それらの8,192バイトのうち、ライブデータに利用可能な限り多くを確実にすることです。