PostgreSQLのMVCCは悪い。他のすべてのもそうだ。
PostgreSQL's MVCC is bad. So is everyone else's (boringsql.com)
要約
この記事は、PostgreSQLのMVCC(Multi-Version Concurrency Control)の実装が抱える問題点を、書き込み増幅、テーブルの肥大化、アイドルトランザクションによる影響、32ビットトランザクションIDの制限といった具体的な課題を挙げて批判しています。しかし、MVCC自体は読み書きの分離に不可欠な設計であり、他のデータベースも同様の課題に直面し、それぞれ異なるトレードオフを抱えていることを指摘しています。
全文翻訳
PostgreSQLのMVCCは悪い。他のデータベースも同様だ。
Postgresを好まない人々をフォローしていると、最初に学ぶことの一つは「MVCCは悪い」ということです。40年前のデザインミスだと。その痕跡は至る所にあります。サイズが倍増するテーブルの肥大化、32ビットトランザクションカウンターの制限、VACUUMとの終わりのない戦い、デッドタプル(無効な行バージョン)の悪夢。これには裏付けもあります。Uberは2016年に書き込み増幅(write amplification)を測定し、それによってMySQLに移行しました。Andy PavloのデータベースグループはMVCCを「PostgreSQLで最も嫌いな部分」と呼んでいます。これは現実です。Postgresは最悪の部類に入ります。
これらの批判のどれも誇張ではありませんが、それは実際的な設計上の選択に起因します。肥大化、書き込み増幅、VACUUMの管理:すべての非難は、欠陥ではなく、一つの決定にたどり着きます。そして、私たちはそれらをライブのPostgreSQL 19 beta2インスタンスで一つずつ再現し、実際に損害が発生する様子を見ていきます。しかし、コミュニティからコミュニティへと広がるこの評価は、常に一つの問いを途中で止めています。「何と比較して?」他のすべてのエンジンは何をしていて、それは何のコストがかかるのでしょうか?
なぜなら、MVCCはオプションではないからです。リーダーがライターをブロックしないようにしたいデータベースは、どこかに複数バージョンの行を保持する必要があり、そうするすべてのエンジンは同じ4つの問いに答えます:
- 古いバージョンはどこに生き残るか? テーブル自体か、それとも別の構造か?
- バージョンチェーンはどちらを指すか? 古いものから新しいものへか、新しいものから古いものへか?
- インデックスは何を指すか? 物理的な行の場所か、論理的なキーか?
- 誰が、いつクリーンアップするか? 後でバックグラウンドプロセスか、それともトランザクション自体か?
PostgreSQLの回答:テーブル内、古いものから新しいものへ、物理的な場所、後でバックグラウンドプロセス。批判者がリストするすべてのコストは、これらの4つの回答から派生します。そして、すべての代替案は異なる回答のセットであり、その請求書は他の誰か、ライター、履歴のリーダー、一時データベース、キャッシュ、コンパクターに送られます。そのうちの一つは、PostgreSQLの設計が初日から無料で持っていた唯一の特性を得るために、何年もエンジニアリングを費やしました。すべての代替案は、トランザクションが昼食を挟んで開いたままであると、異なった形で失敗します。
PostgreSQLに対する非難
仕組み全体を知りたい場合は、PostgreSQL MVCC, Byte by Byteでpageinspectを使って解説しています。短く言うと:PostgreSQLでのUPDATEは行を決して変更しません。それは行の完全な新しいコピーをヒープに書き込み、古いバージョンのt_xmaxにタイムスタンプを付け、両方のバージョンをディスク上に残します。可視性は読み取り時に、タプル(行バージョン)ごとに決定されます。クリーンアップは誰か他の人の問題、具体的にはVACUUMの問題です。
4つの非難が続きます。以下に一つずつ再現します。
非難1:書き込み増幅
Uberの苦情の核心です。テーブル上のすべてのインデックスは、行の物理的な場所(ページ番号とスロット、ctid)を指しており、UPDATEは新しい物理的な行を作成するため、すべてのインデックスは新しい場所を指す新しいエントリを必要とします。触ってもいない列のインデックスでさえそうです。
同じ100万行のテーブルの2つのコピーを設定します。1つはプライマリキーのみ、もう1つは追加の4つのセカンダリインデックスを持つもの:
CREATE TABLE accounts (
id bigint PRIMARY KEY,
email text NOT NULL,
status text NOT NULL,
balance numeric NOT NULL,
created_at timestamptz NOT NULL,
last_seen timestamptz
);
INSERT INTO accounts
SELECT g, 'user' || g || '@example.com', 'active', 100, now(), now()
FROM generate_series(1, 1000000) g;
CREATE INDEX ON accounts (email);
CREATE INDEX ON accounts (status);
CREATE INDEX ON accounts (balance);
CREATE INDEX ON accounts (created_at);
CREATE TABLE accounts_lean (LIKE accounts);
ALTER TABLE accounts_lean ADD PRIMARY KEY (id);
INSERT INTO accounts_lean SELECT * FROM accounts;
次に10万行を更新します。last_seenのみを更新します。last_seenはどちらのテーブルのどのインデックスにも含まれていないことに注意してください。WAL(Write-Ahead Log)の生成量を測定します(pg_stat_walで、CHECKPOINTとpg_stat_reset_shared('wal')を実行してクリーンなウィンドウを取得した後):
UPDATE accounts_lean SET last_seen = now()
WHERE id > 100000 AND id <= 200000;
wal_records | wal_fpi | wal_bytes | wal_pretty
-------------+---------+-----------+------------
302510 | 1419 | 38218531 | 36 MB
UPDATE accounts SET last_seen = now()
WHERE id > 100000 AND id <= 200000;
wal_records | wal_fpi | wal_bytes | wal_pretty
-------------+---------+-----------+------------
709440 | 1981 | 72394573 | 69 MB
同じ論理的な変更、10万個のタイムスタンプ。accounts_leanテーブルは約3.0 WALレコード/行を生成しました。インデックス付きテーブルは7.1を生成しました:ヒープの更新、プライマリキーの新しいエントリ1つ、4つのセカンダリインデックスそれぞれの新しいエントリ1つ(変更した列をインデックスしていないものもすべて)。行が移動し、すべてが物理的な場所を指しているため、すべてが書き直されました。
これがUberが測定した増幅であり、それは累積します:より多くのWALは、より多くのチェックポイント作業、より多くのフルページ書き込み、そしてすべてのレプリカに送信されるバイト数を意味します。多数のインデックスを持つテーブルでの単一列の更新は、有用な変更バイトあたりの最も高価な操作の1つです。
PostgreSQLの緩和策はHOT更新(Heap-Only Tuples)です:インデックス付き列が変更されず、新しいバージョンが同じページに収まる場合、インデックスはそのままにされます。last_seenはインデックスされていないため、この条件は満たされました。ページは単に満杯になり、各新しいバージョンは別のページに着地しました。テーブルに余裕を与えて再度試してください:
ALTER TABLE accounts SET (fillfactor = 70);
VACUUM FULL accounts;
UPDATE accounts SET last_seen = now()
WHERE id > 200000 AND id <= 300000;
wal_records | wal_bytes | n_tup_hot_upd (this batch)
-------------+-----------+----------------------------
455812 | 51 MB | 41,996 of 100,000
改善されましたが、数値に注目してください:HOTは42%であり、100%ではありません。各ページには30%の空きスペースと約80行があります。最初の約30回の更新がページ内の予約領域を消費すると、そのページの残りの行は他の場所に溢れ出し、インデックスもすべて影響を受けます。オポチュニスティックなプルーニングがページ内の無効なバージョンをリサイクルした後、同じバッチを再度実行します:
wal_records | wal_bytes | n_tup_hot_upd (this batch)
-------------+-----------+----------------------------
304990 | 22 MB | 66,314 of 100,000
66%のHOTと、行あたり3.0 WALレコードで、ほぼaccounts_leanテーブルのコストに戻りました。これが緩和策の正直な形です:HOTはオポチュニスティックであり、オンデマンドではなく定常状態で到着し、予約スペースとしてテーブルサイズの30%を静かに消費します。これは機能し、適切に選択されたfillfactorを持つOLTPテーブルでは、通常90%以上のHOT比率が見られます。しかし、デフォルトの動作は行あたり7.1レコードであり、批判者はデフォルトについて説明しています。
非難2:あなたのテーブルは事故現場
すべてのUPDATEはINSERTと遅延DELETEです。何もしないと、無効なバージョンが蓄積します:
VACUUM (FULL, ANALYZE) accounts_lean; -- reset: 89 MB, 0% dead
\timing on
BEGIN;
UPDATE accounts_lean SET balance = balance + 1; -- all 1M rows
ROLLBACK;
SELECT pg_size_pretty(pg_relation_size('accounts_lean'));
SELECT tuple_count, dead_tuple_count, round(dead_tuple_percent)
FROM pgstattuple('accounts_lean');
BEGIN
Time: 0.032 ms
UPDATE 1000000
Time: 1590.112 ms (00:01.590)
ROLLBACK
Time: 0.124 ms
pg_size_pretty
----------------
178 MB
tuple_count | dead_tuple_count | dead_pct
-------------+------------------+----------
1000000 | 1000000 | 47
1つのステートメント、そしてコミットさえしなかったトランザクションでテーブルが倍増しました。100万個の無効なタプルがVACUUMを待っており、VACUUM Is a Lieでカバーされているように、その間に増大したインデックスはそれ自体では決して縮小しません。これは肥大化のトレッドミルです:ストレージ設計は、書き込み速度でゴミが生成され、VACUUM速度で収集されることを保証し、それらの2つのレートを一致させることは、PostgreSQLがあなたにアウトソースする運用上のジョブであり、autovacuumのデフォルトを出発点とします。
非難3:1つのアイドルトランザクションが井戸を汚染する
実験を続けます。別のセッションで、トランザクションを開き、ただ...スナップショットを保持します:
-- session B
BEGIN ISOLATION LEVEL REPEATABLE READ;
SELECT count(*) FROM accounts_lean;
-- go to lunch
セッションAに戻り、10万行を更新し、VACUUMを実行します:
INFO: finished vacuuming "mvcc_critics.public.accounts_lean":
tuples: 14 removed, 1099945 remain,
100000 are dead but not yet removable
removable cutoff: 718, which was 1 XIDs old when operation ended
「無効だがまだ削除できない」。セッションBのスナップショットはまだこれらのバージョンを必要とする可能性があるため、VACUUMはそれらを保持しなければなりません。これはこのテーブルだけでなく、セッションBがそれらを読み取るかどうかに関わらず、データベース内のすべてのテーブルでxminホライゾンが遅延されます。PostgreSQLはリーダーをキャンセルすることも、失敗させることもありません。MVCCレベルでは厳密に真実ですが、本番環境では通常、外部からそのキャンセルを追加します:idle_in_transaction_session_timeoutとstatement_timeoutは、ランチブレークトランザクションがxminホライゾンを遅延させる前にそれを終了させるために存在します。トランザクションがアイドルである限り、データベース全体でゴミの収集が静かに停止します。すべてのPostgresオペレーターは、最終的に長期間実行されるトランザクションや古いレプリケーションスロットを追跡することを学びます。
非難4:32ビットの負債
すべてのタプルヘッダーは、その作成者トランザクションIDを32ビットで格納します。40億トランザクションでカウンターがラップするため、PostgreSQLは古いタプルを定期的にフリーズし、数ヶ月間変更されていないページを書き直して、XIDスペースを回復する必要があります。遅れすぎると、データベースは自身を保護するために書き込みを受け付けなくなります。Sentry(2015年のラップアラウンド障害について書いた会社)や、その後数社が再学習したことを尋ねてください。しかし、PostgreSQLだけが、時計が切れるのを防ぐために、定期的に変更されていないページを書き直すことを要求します。
公平を期すために言うと、Oracleのカウンターも有限です:SCNは長年48ビットでしたが、Oracle DBAは2019年にSCNヘッドルームのパッチ適用に時間を費やしました。データベースリンクがカウンターを前方にジャンプさせることが発見された後です。幅の拡大が先に起こり、パニックを引き起こしました:12.2は2016年にSCNを64ビット(「ビッグSCN」)に拡張し、2019年のパッチは、古いデータベースがリンクされた12.2が送信できるより大きな値を受け入れられるようにしたもので、バージョン互換性のダンスをデータベースリンク全体で犠牲にしました。
したがって:非難は妥当です。デフォルトでの書き込み増幅、書き込み速度で生成され、あなたがチューニングする必要のあるプロセスで収集されるゴミ、アイドルスナップショットによって人質に取られるクリーンアップ、そして永遠に巻き戻す必要がある32ビットの時計。PostgreSQLのMVCCは、4つの具体的で実証可能な方法で悪いのです。
アンチキャンプ:OracleとInnoDB
OracleとMySQLのInnoDBは、4つの問いに反対の方法で答えます:バージョンはテーブルの外に生き残り、チェーンは新しいものから古いものへ指し、クリーンアップは部分的にライターの問題です。これは、「Postgres MVCCは悪い」という記事の多くが暗黙のうちに修正として提示している設計であり、最も注意深く調べる価値があります。
InnoDBでのUPDATEは、クラスタ化インデックス(InnoDBでは、テーブルはプライマリキーでソートされたBツリーそのものです)内でインプレースで行を更新します。上書きする前に、古い値をundoログ(別のストレージ領域)にコピーし、行にそのundoレコードへのポインタを付けます。各行には、このための2つの隠しシステム列があります:DB_TRX_ID(それを最後に変更したトランザクション)とDB_ROLL_PTR(undoへのポインタ)。Oracleの構造は詳細が異なります(undoセグメント、ブロックレベルの整合性のある読み取り)が、形状は同一です:テーブルは最新バージョンのみを保持し、履歴はその外部のデルタチェーンにぶら下がっています。
古いスナップショットを持つリーダーは、現在の行を見つけ、DB_TRX_IDが新しすぎると判断し、undoチェーンを逆にたどり、デルタを適用して、見ることができるバージョンを再構築します。Oracleはこれをブロック粒度で行い、メモリ内にブロックの整合性のあるイメージ全体を再構築します。
これが何を買うか見てみましょう、4つの非難に対してポイントごとに:
- テーブルはコンパクトなままです。 行ごとに1つのバージョン、一度だけ。肥大化トレッドミルなし、
pgstattupleで47%の無効を示すこともなし。Undoは固定サイズのリング(Oracle)でリサイクルされるか、継続的にパージされます(InnoDB)。 - セカンダリインデックスは免除されます。 InnoDBのセカンダリインデックスはプライマリキー(論理参照)を指します。Oracleのセカンダリインデックスは
ROWID(物理アドレス)を格納しますが、Oracleはインプレース更新と行移行中にそのアドレスを安定させます。そのように、last_seenの更新は4つのセカンダリインデックスに影響を与えません。この単一の決定が、Uberが測定した書き込み増幅ギャップの大部分を占めます。 - VACUUMなし。 クリーンアップは通常の操作に織り込まれています:InnoDBのパージスレッドはundo履歴を継続的にトリミングします。Oracleはundoセグメントをリサイクルします。
- ラップアラウンド儀式なし。 InnoDBのトランザクションIDは48ビットであり、OracleのSCNは12.2以降64ビット(48ビット時代はチャージ4のヘッドルーム懸念で終了)であり、どちらのエンジンもタプルをフリーズする必要がないほど幅広いです。
4対4。これで決まりか?
勝利を数える前の注意点:OracleのデフォルトREAD COMMITTEDは、トランザクションの開始時ではなく、各ステートメントの開始時にスナップショットを取得します。PostgreSQLのREPEATABLE READトランザクションがundoをピン留めするほど、アイドルトランザクションはundoをピン留めしません。undoの圧力、およびORA-01555のリスクは、長期間実行されるステートメント、開いたカーソル、または明示的なSERIALIZABLEまたはREAD ONLYトランザクションから来ます。
「インプレース」への注意点:新しいバージョンがブロック内に収まる場合にのみ機能します。OracleはPCTFREE(デフォルト10%)で挿入時にヘッドルームを残します。更新がそこに収まる場合、行はインプレースで拡張され、インデックスは変更されません。収まらない場合、Oracleは行を別のブロックに移動し、元のスロットに転送ポインタを残します。ROWIDは同じままなので、インデックスのメンテナンスは不要です。
コストは読み取りに移動します:インデックスルックアップはポインタをたどって別のブロックに移動します。十分な成長を伴う更新は移行された行を作成し、テーブルは最終的に再編成されます(ALTER TABLE ... MOVE)。PostgreSQLは書き込み増幅として拡張のコストを支払いますが、Oracleは読み取り増幅とメンテナンスとして支払います。
ここに請求書があります。
ロールバックはトランザクションのコストと同じです。 PostgreSQLは、100万行のUPDATEを0.124ミリ秒でロールバックしました。ヒープバージョン管理システムでは、「アボート」は何も行わないことを意味します:古いバージョンはすでに存在しています。(混乱を引き起こすのに1.59秒、それを放棄するのに0.124ミリ秒かかりました。混乱はVACUUMのために残りますが、あなたのトランザクションは完了です。)undoベースのエンジンでは、ロールバックはundoチェーンをたどり、各行を1つずつ変更を元に戻します。順方向のコストと同程度、時にはそれ以上です。すべてのMySQLオペレーターは、最終的に長期間実行されるUPDATEを終了し、undoを適用する必要があるため、ステートメントが実行されたよりも長くロールバックを待ちます。クラッシュリカバリは、エンジンが完全に正常になる前に同じジョブを再生します。SQL Serverが後にPostgresスタイルのバージョンストアを成長させたのは、まさにこの脱出のためですが、話を進めすぎないようにしましょう。
リーダーは、読み取り時にもその履歴のコストを支払います。PostgreSQLでは、古い行バージョンはヒープに残ります。それを読み取るコストは、他のものを読み取るコストと同じです。リーダーが最近コミットされたタプルにアクセスすると、最初にpg_xactをチェックしてヒントビットを設定する場合があります。これはタプルあたりの1回限りのコストであり、その後、それはヒープに残ります。undoモデルでは、最新のもの以外のすべてのバージョンは、各読み取りのために再構築する必要があります。これには、別のストレージ領域へのポインタをたどり、デルタを適用することが含まれます。ホットテーブルでの長期間実行されるレポートは、スナップショットが古くなるにつれて遅くなります。この遅延は、undoページのためにバッファプールに圧力をかけます。
アイドルスナップショットの問題は消えませんでした。失敗モードが変わっただけです。 undoスペースは有限です。長期間実行されるクエリが、すでにリサイクルされたundoを必要とするバージョンを必要とする場合、OracleはPostgreSQLのようにクリーンアップを一時停止しません。それはクエリを終了させます:ORA-01555: snapshot too old、データベースで最もよく知られたエラーコードの1つです。InnoDBは同じ設計内で反対の選択をします:パージは最古の読み取りビューを待ち、履歴が積み重なり(SHOW ENGINE INNODB STATUSで履歴リストの長さが増加するのを確認してください)、undoテーブルスペースが膨張します。MySQL 8の自動undo切り詰めは、ログが非アクティブになったテーブルスペースを縮小しますが、成長を引き起こした長い読み取りがログをアクティブに保つ原因であり、リーダーが続く限りゴミはそのままです。それはpgstattupleが見ることができない場所に移動した肥大化です。同じ根本的な緊張、あなたの毒を選んでください:リーダーをキャンセルするか、ゴミを保持するか。
InnoDBのパージスレッドは、機能的には、別の名前のVACUUMです:undo履歴をスキャンし、削除マークされたインデックスレコードを削除し、書き込みバースト下でautovacuumと同じように遅延する可能性があります。MySQL側の戦争物語スレッド(履歴リストの長さが数百万、パージ遅延の停止)は、名詞を変えたPostgres肥大化スレッドのように読めます。
したがって、undoキャンプはMVCCのコストを排除しませんでした。それはそれらを移動しました:将来(バックグラウンドクリーンアップ、テーブル肥大化)から、ライターのクリティカルパス(ロールバック、インプレース更新のブックキーピング)と古いデータのリーダー(再構築)へ。あなたのワークロードがほとんど常にコミットし、インデックスが多く付けられた行を更新し、ホットテーブルに対して長い読み取りをほとんど実行しない場合、その取引は実際に優れています。それは、Uberが持っていたワークロードにほぼ相当します。
SQL Serverは、MVCC自体が選択であったというリマインダーです。そのデフォルトのREAD COMMITTEDはバージョン管理されていません:リーダーは共有ロックを取得し、ライターは排他ロックを取得し、互いにブロックします。MVCCが存在する目的の同時実行性の問題は、単に...発生し、ロックヒントと短いトランザクションで管理されます。長年「リーダーがブロックされている」という標準的な修正はWITH (NOLOCK)でしたが、これはコミットされていない行を読み取ることを選択することです。
2005年以来、バージョン管理はオプトイン(READ_COMMITTED_SNAPSHOTまたは完全なSNAPSHOT分離)で利用可能になりました。それをオンにすると、SQL Serverは更新前の行バージョンをtempdbにあるバージョンストアにコピーし始め、各変更された行にバージョンポインタを付けます。ポインタは14バイトで、バージョン管理された各行に追加され、その行のチェーンをtempdbまでたどるために使用されます。これはロックエンジンにボルトで留められたundoスタイルの設計であり、1つの記憶に残る運用上の特性があります:バージョンストアはインスタンス全体で共有され、すべてのソートスピルや一時テーブルと同じtempdbにあります。1つの忘れられた長期間実行されるスナップショットトランザクションとバージョンストアはトリミングできず、tempdbはディスクを使い果たすまで成長し、その時点でインスタンス全体が、それとは無関係なデータベースを含むクエリの失敗を開始します。アイドルスナップショットの問題が再び、この投稿で最も広範囲の被害範囲をもたらしました。
最も興味深いSQL Serverの開発は最近です:Accelerated Database Recovery(2019年、Azure SQLではデフォルトでオン)は永続的なバージョンストアを追加しました。そしてそれがどこにあるかに注目してください:ユーザーデータベース内、tempdbではなく。行バージョンはデータベースごとのPVSに移動し、インスタンス全体の被害範囲を縮小し、トランザクションサイズに関係なくロールバックとクラッシュリカバリを即座に行えるようにし、undoを再生する代わりに古いバージョンを読み取ります。フラッグシップのロックアンドundoエンジンは、PostgreSQLの悪名高い設計が初日から無料で持っていた唯一の特性、定数時間アボートを得るためにかなりのエンジニアリング努力を費やしました。トレードオフは両方向に走ります。
MongoDB:キャッシュ内のバージョン
MongoDBのWiredTigerエンジンは、これまで見てこなかったアクセントで4つの問いに答えます:古いバージョンはRAMに生き残ります。読み取りは開始時に取得されたスナップショットに対して実行されます。ライターは、ページの現在のイメージにぶら下がったインメモリデルタとして変更をアペンドし、リーダーはスナップショットが見ることができるバージョンまでチェーンを逆にたどります。チェックポイントは定期的にクリーンなページイメージをディスクにフラッシュし、ジャーナルは耐久性を提供します。そして、undoセクションから出てくることに注意してください、ロールバックは無料です:コミットされていないバージョンはディスク上に存在しなかったため、トランザクションをアボートすることはメモリを破棄することを意味します。WiredTigerは、Microsoftのエンジニアリングプログラムなしで、初日から定数時間アボートを持っていました。
この設計は実際のものを買います:ディスク上の無効なタプルなし、サイズ設定するundoテーブルスペースなし、リーダーが決してブロックされない。
請求書は単一の事実によって届きます:キャッシュは有限で、共有されており、まだ必要としているスナップショットが持つバージョンをエビクトできません。
- 最古のスナップショットが履歴をピン留めします。 古いリーダーにまだ表示されている間にキャッシュからプッシュされたバージョンは、履歴ストア(
WiredTigerHS.wt)にスピルし、ピン留めされたリーダーが生きている限り増加します。InnoDBの履歴リストがファイルになったもの:肥大化、見なければならない場所に移動しました。 - 圧力下では、誰もが支払います。 キャッシュがダーティまたはピン留めされたコンテンツで満杯になり、エビクションが追いつかない場合、WiredTigerはアプリケーションスレッドをエビクション作業に募集し、障害モードはエラーではなく、ノード上のすべての操作(リーダーを含む)にレイテンシのスミアが発生します。最悪の場合、エンジンはトランザクションをロールバックし始めます、キャッシュがいっぱいです。アイドルスナップショットの問題が、肥大化ではなく遅延によって失敗します。
- スナップショットが古すぎます、再び。 ピン留めされた履歴が提供できるものより古いタイムスタンプでの読み取りを要求すると、MongoDBは
SnapshotTooOldで応答します。このエラーは、この投稿で3番目のエンジンです。 - 物理ポインタの請求が残ります。 ドキュメントはRecordId(物理スロット)でインデックス付けされます。ドキュメントがそのスペースを超えて成長すると移動し、すべてのセカンダリインデックスがそれを追跡するために更新されます。Uberの苦情が、ドキュメントストアで発生します。
クリーンアップはエビクションとチェックポイントです:VACUUMが、継続的に、RAMで、ほとんど見えないように実行されます。スナップショットがランチを挟んで開いたままであるまで。
LSM世代:ライフスタイルとしてのガベージコレクション
分散SQLの新規参入者、特にCockroachDBとYugabyteDBは、データをLSMツリー(RocksDBまたはその派生)に格納しており、それらのMVCC回答はさらに異なります:行バージョンは単なるキーであり、論理キーにコミットタイムスタンプがサフィックスとして付けられます。更新は決してインプレースで何も触らず、新しいキーを書き込むだけです。読み取りは、スナップショットタイムスタンプ以下で最新のバージョンをスキャンします。削除はトンボストーンキーを書き込みます。
ある意味では、これはPostgreSQLの哲学をさらに推し進めたものです:バージョンをアペンドし、決して変更せず、後でクリーンアップする。クリーンアップの話は異なります。古いバージョンはコンパクションによって削除されます。これはLSMの通常のバックグラウンドストレージレイヤーの書き直しであり、ガベージコレクションウィンドウによって制御されます:TTLより若いバージョンは、タイムトラベル読み取りとフォロワー読み取りのために保持されます。CockroachDBのデフォルトウィンドウは歴史的に数時間(当初は25、後に削減)で測定されていました。VACUUMコマンドは存在せず、マーケティングはそれを言及するでしょう。しかし、コンパクションはVACUUMであり、継続的に実行され、ストレージエンジン内の書き込み増幅と同じ遅延クリーンアップ税を支払います。そして、障害モードは上記のすべてと似ています:
- GCウィンドウより下の過去に読み取りすぎると、クエリは失敗します。スナップショットが古すぎます、再発見。
- 狭いキー範囲での重い更新または削除の乱れは、コンパクションが追いつくまで、すべてのスキャンが通過しなければならないトンボストーンと古いバージョンのレイヤーを残します。典型的な症状は、空になるほど遅くなるキューテーブルであり、LSMユーザーが肥大化したテーブルをPostgresユーザーが知っているのと同じくらいよく知っているアンチパターンです。
何も解決されませんでした。4つの問いに新しい回答が得られ、コストはコンパクターに移動しました。
RDBMSの外へ:etcd
リレーショナルワールドを離れると、同じ4つの問いがそのまま現れます。etcd、すべてのKubernetesクラスタの望ましい状態を保持するコンセンサスバックアップキーバリューストアは、名前と設計においてMVCCです。すべての書き込みはクラスタ全体のリビジョンカウンターを増やし、値は (key, revision)の下にbboltファイルに格納されます。更新は上書きせず、キーの新しいリビジョンをアペンドします。特定のリビジョンでの読み取りは、それ以下の最新バージョンを取得します。削除はトンボストーンを書き込みます。これは、あなたが読んだLSMセクションのように聞こえる場合、そうであるべきです。そして、それがこの投稿の冒頭の4つの非難のように聞こえる場合、読み続けてください。
- バージョンはストアに生き残り、クリーンアップは別のジョブです。 古いリビジョンは、現在のデータと同じバックエンドファイルに、コンパクションがそれらを削除するまで座っています。これは手動(
etcdctl compact)またはスケジュール(--auto-compaction-retention)で実行されます。スキップすると、バックエンドは無制限に成長します:書き込み速度で生成され、コンパクション速度で収集されるゴミ。SQLなしの肥大化トレッドミル。 - クリーンアップはディスクを返しません。 bboltは、PostgreSQLのヒープのように、ファイルを縮小しません。コンパクションされたページは、再利用のために内部フリーリストに入ります。スペースを取り戻すには、ノードごとに実行される
etcdctl defragが必要です。各ノードは、書き直している間、一時的に停止します。VACUUM FULL、一度に1つのクォーラムメンバー。 - 「スナップショットが古すぎます」、そのまま再発見。 コンパクションポイントより古いリビジョンから読み取るか、ウォッチすると、etcdは失敗します:
etcdserver: mvcc: required revision has been compacted。ORA-01555が再び、古いresourceVersionからウォッチを再開したすべてのKubernetesクラスタで発生します。 - デフォルトの2GBバックエンドクォータを超えると、etcdは
NOSPACEを発生させ、Kubernetesコントロールプレーンの書き込みを含む書き込みを拒否します。人間がコンパクト、デフラグ、アラーム解除するまで。これはラップアラウンド障害の最も近い非リレーショナルな親戚です:ストレージ衛生タスクを障害に変える安全制限。そして、監視はオペレーターにアウトソースされます。
etcdは、PostgreSQLとほぼ同じように4つの問いに答えました:バージョンをアペンドし、決して変更せず、後でクリーンアップし、リーダーを早期にキャンセルしない。それは同じ運用カレンダーを継承しました。これらの問いは、リレーショナルモデルの優位性よりも古く、それを生き残るでしょう。請求書から逃れる方法はありません、ただ誰がそれを支払うかを選ぶだけです。
その分散KVネイバーであるFoundationDBは、この投稿の誰よりも残虐にランチの質問に答えます:トランザクションには厳格な5秒の寿命があります、完全に停止。ランチを挟んでトランザクションを開いたままにすると、VACUUM、パージ、またはコンパクターを遅延させるのではなく、トランザクションは単に無効になります。これは、アイドルトランザクションの問題を、命令によってクライアントの問題にした唯一のデザインです。
PostgreSQL自体の修正
undo設計が明らかに優れているなら、PostgreSQLにundoベースのストレージエンジンを使用すべきです。人々は試しました。zheapは、2018年に発表され、まさにそれでした:undoログによるインプレース更新で、肥大化問題に直接対処しました。それはコアのための一般的なundoフレームワークに関するEnterpriseDBでの長年の作業につながりました。その後、CYBERTECで第二の人生を見つけましたが、現在はコードはほとんど休止状態です。重要なのは、 Álvaro HerreraがPGConf.DE 2026基調講演でPostgres 2029の概要を説明したことです。コアテーブルアクセスに関する主な要求は「zheap(VACUUM不要)」でした。しかし、動詞の時制に注目してください:10年後には可能だったかもしれません。zheapからの主な教訓はその単純な設計が重要であるということです。バージョンがundoに存在すると、回復、レプリケーション、インデックス、ホットスタンバイのようなすべてのサブシステムが新しいルールを採用します。これは、半分のエンジンを再構築する必要があるかもしれないことを意味します、ちょうど他の半分が行を格納する方法を変更するために。
コアの外での試みは続いています。OrioleDB(Alexander Korotkovによるエンジン、現在はSupabaseの一部)は、undoベースのバージョン管理とインデックス編成テーブル、および行レベルWALをブレンドしています。それは印象的なベンチマーク結果を示しており、新しいアプローチが有益であることを証明しています。しかし、それはまだコアPostgreSQLへのパッチを必要としており、それらはアップストリームに統合されています。テーブルアクセスメソッドAPI(PostgreSQL 12)は、ヒープの代替を可能にします。また、64ビットトランザクションIDはラップアラウンドを完全に防ぐことができます。それらは長期間実行されるパッチセットを持っており、少なくとも1つの商用フォークに含まれています。
一方、コアPostgreSQLは、設計を変更せずに定数を縮小するために15年間を費やしてきました。HOT更新は8.3で登場しました。VACUUMがクリーンなページをスキップできるようにする可視性マップは8.4で登場し、9.6で改善されました。Bツリーの重複排除は13で着地し、インデックスページの内部でのバージョン変更と戦うボトムアップインデックス削除は14で登場しました。バージョン17ではVACUUMのTIDストアが更新されました。それは、複数パスのインデックスVACUUMを必要としていたメモリ制限を削除しました。バージョン19では、REPACKが追加され、VACUUM FULLとCLUSTERをCONCURRENTLYモードで統合し、排他ロックなしで再構築します。この投稿の冒頭の4つの非難は、2010年にはすべて悪化していました。設計は持ちこたえましたが、請求書は縮小しました。
スコアカード
5つのストレージ設計(etcdはPostgreSQL列にマッピングされます)、同じ4つの問い、そして失敗モードのない列はありません:
| PostgreSQLヒープ | Oracle / InnoDB undo | SQL Server + RCSI | WiredTiger (MongoDB) | LSM (CockroachDB etc.) | |
|---|---|---|---|---|---|
| 古いバージョンはどこに生き残るか | テーブル内 | undoセグメント/ログ | tempdbバージョンストア | キャッシュ内、デルタチェーンとして(履歴ストアにスピル) | LSM内、タイムスタンプ付きキー |
| 更新書き込み | 完全な新しい行 + すべてのインデックスエントリ(HOTを除く) | インプレース + undoデルタ;セカンダリインデックスは変更なし | インプレース + tempdbへのバージョンコピー | インメモリデルタ;チェックポイントでページを書き直し;移動したドキュメントはすべてのインデックスを更新 | 新しいキーバージョン |
| セカンダリインデックスは何を指すか | 物理的なctid;すべてのインデックスは移動したすべてのバージョンを追跡します(HOTを除く) | 論理的なPK(InnoDB)、rowid(Oracle);インプレース更新下で安定 | クラスタリングキー / RID;行は14バイトのバージョンタグを取得します | RecordId;各バージョンは新しいキー、タイムスタンプ付きサフィックス | |
| アボートコスト | 約ゼロ | 実行された作業に比例 | ADR(2019年以降)で約ゼロ;undo再生前 | 約ゼロ(コミットされていないデルタは遅延して破棄) | 約ゼロ(インテントは遅延して削除) |
| 長いリーダーの原因 | 肥大化、VACUUM飢餓、保持されたxmin | ORA-01555 または undo/履歴の増加 | tempdbの増加、インスタンス全体のリスク(ADRはバージョンをユーザーDBに移動) | 履歴ストアの増加、キャッシュ圧力、エビクションの停止 | GCウィンドウエラー、トンボストーンの負債 |
| クリーンアップ | VACUUM(あなたがチューニングするもの) | パージ/undoリサイクル(彼らのもの、まだ停止する) | バージョンストアのクリーンアップ | エビクション + チェックポイント(継続的、RAM内) | コンパクション(継続的) |
| シグネチャ障害 | ラップアラウンド、肥大化 | 履歴リストの爆発、一日中続くロールバック | tempdbフル | ノード全体でのレイテンシのスミア;SnapshotTooOld | トンボストーンで詰まったスキャン |
マルチバージョン化、履歴の保持、履歴の読み取り、履歴の破棄のコストは保存されています。各エンジンは、誰が、いつ、どのように失敗するかを選択するだけです:PostgreSQLは将来に請求し、肥大化によって失敗します。undoキャンプはライターと履歴のリーダーに請求し、クエリをキャンセルするかundoを急増させることで失敗します。SQL Serverはtempdbに請求し、インスタンス全体で失敗します。WiredTigerはキャッシュに請求し、すべてを一度に遅くすることで失敗します。LSMエンジンはコンパクターに請求し、タイムトラベルと乱れで失敗します。
PostgreSQLの特定の選択は、このテーブルの側から見ると、リーダーをブロックせず、クエリを「スナップショットが古すぎます」でキャンセルせず(オプトインした場合を除く、そしてそれも愛情不足で17で削除されました)、ロールバックを待たせず、ゴミを検査できない場所に隠さないものです。すべての無効なタプルは、pageinspectで開くことができる8KBのページに座っています。価格は、そのゴミがあなたのものになるということです:可視的で、測定可能で、あなたのメンテナンスカレンダーに載っています。
したがって、はい、PostgreSQLのMVCCは悪いのです。他のすべてのも同様です。Postgresは運用上うるさい障害モードと手動でチューニングされた緩和策を選択しました。だからこそzheapが試みられ、OrioleDBが存在するのです。しかし、誰かがデータベースがマルチバージョン化を解決したと言ったなら、彼らに4つの問いを尋ねてください:古いバージョンはどこに生き残るか、チェーンはどちらを指すか、インデックスは何を指すか、そして誰がクリーンアップするか。そして、トランザクションがランチを挟んで開いたままであると何が起こるかを尋ねてください。
更新 2027-07-29: リーダーとの協議を経て、注意すべき点としてOracleの行移行の注意点を追加しました。
更新 2027-07-30: OracleのデフォルトREAD COMMITTEDがトランザクションレベルではなくステートメントレベルのスナップショットを使用することを明確にする注釈を追加しました。
更新 2026-08-05: HOT更新の段落(失敗条件)と64ビットSCNの年表を修正しました。