Postgres 19 がリリース、Neon および Databricks Lakebase で利用可能に
Postgres 19 is out, and it's available on Neon and Databricks Lakebase (databricks.com)
要約
PostgreSQL 19 がリリースされ、Databricks Lakebase で即日利用可能になりました。今回のリリースでは、テーブルの肥大化、クエリプランの不安定さ、レプリカ遅延といった運用上の課題に対処するための新機能が多数追加されています。特に、ダウンタイムを最小限に抑える `REPACK` コマンドや、クエリプランの最適化を支援する `pg_plan_advice` などが注目されます。
全文翻訳
PostgreSQL 19 が Lakebase で利用可能に
[画像]
PostgreSQL 19 が本日 GA (一般提供開始) となり、Lakebase で利用可能になりました。 新しいメジャーバージョンが他のマネージド PostgreSQL サービスで利用可能になるまでには通常数週間かかりますが、今回はお客様に同日アクセスを提供したいと考えました。
Lakebase チームのエンジニアの多くは PostgreSQL のコミッターおよびコントリビューターであり、クエリプランの助言から共有メモリ、ロケール処理、リリース管理に至るまで、このリリースに直接貢献しました。試すには、新しい Lakebase プロジェクトを作成し、バージョンとして PostgreSQL 19 を選択してください。
PostgreSQL 19 の新機能
PostgreSQL 19 は実用的なリリースです。PostgreSQL のあり方を変えるような単一の目玉機能はありません。その代わりに、バージョン 19 はデータベースチームがよく知っている運用上の問題、すなわちテーブルの肥大化、不安定なクエリプラン、レプリカ遅延、不完全な統計情報、そして本番環境で安全に実行するのが難しいメンテナンス作業に焦点を当てています。
共通するテーマは「制御」です。PostgreSQL 19 は、プロジェクトの信頼性と予測可能な動作への偏りを失うことなく、デフォルト設定が十分でない場合に介入するための、より多くの方法を提供します。
変更点の全リストは、PostgreSQL 19 リリースノートに記載されています。
REPACK
PostgreSQL はマルチバージョン同時実行制御を使用しているため、UPDATE は新しい行バージョンを作成し、DELETE は不要になったタプルを残します。定期的なバキューム処理はスペースを再利用可能にしますが、必ずしもスペースをオペレーティングシステムに返したり、有用な物理行順序を復元したりするわけではありません。長期間にわたって頻繁に更新されたテーブルは、肥大化し、クラスタリングが悪化する可能性があります。
一般的な解決策は VACUUM FULL、CLUSTER、または pg_repack のような外部ツールでした。組み込みコマンドは機能しますが、操作全体で ACCESS EXCLUSIVE ロックを取得するため、テーブルへの通常のアクセスがブロックされます。
PostgreSQL 19 は REPACK を追加しました。これは、操作の大部分で通常の読み書きを継続しながらスペースを回収します。例えば、チャットアプリケーションは、既存のインデックスを使用して会話と送信時間で行をクラスタリングしながら、messages テーブルを再構築できます。
REPACK は VACUUM FULL のようにスペースを回収します。USING INDEX を使用すると、CLUSTER のように物理的に行を並べ替えることもできます。CONCURRENTLY を使用すると、PostgreSQL は通常の読み書きを継続しながらテーブルを再構築し、論理デコーディングを通じて進行中の変更をキャプチャします。その後、短い ACCESS EXCLUSIVE ロックを取得して、残りのキャプチャされた変更を適用し、新しいテーブルとインデックスファイルを配置します。このフェーズは通常短時間ですが、ビジーなテーブルでは長くなる可能性があります。
運用上の制約があります。同時実行リパックは、操作の期間中、追加のレプリケーションスロットを作成するため、max_repack_replication_slots で利用可能な容量が必要であり、非遅延プライマリキーまたは適切なインデックスベースのレプリカIDを持つテーブルが必要です。また、テーブルのコピーとそのすべてのインデックスのためのテンポラリディスクスペースも必要で、場合によってはテーブルサイズのソートファイルも必要になります。大量の更新および削除トラフィックを持つテーブルには、追加の制限があります。ターゲットテーブルで約 1億400万タプルを超えるタプルが REPACK (CONCURRENTLY) 実行中に更新または削除された場合、現在のアップストリーム PostgreSQL 19 実装は失敗します。これは、テーブル内に既に存在する行ではなく、リパック中に加えられた変更をカウントします。
すべてのリレーションタイプが対象となるわけではありません。長時間実行されるトランザクションは、最終的なロックを遅延させる可能性があります。同時実行リパックは MVCC セーフではありません。コミット後、リパック開始前に取得されたスナップショットを使用するトランザクションは、テーブルを空として認識する可能性があります。物理クラスタリングも、後続の書き込みが発生すると劣化します。
REPACK CONCURRENTLY は依然として計画が必要ですが、以前はより多くのダウンタイムまたは拡張機能が必要だったジョブをコア機能にもたらしました。
クエリプランの助言
PostgreSQL のコストベースオプティマイザは、テーブル統計情報とコスト見積もりを使用して実行プランを選択します。ほとんどの場合、それはうまく機能します。
統計情報は個々のテーブルをよく記述しますが、実際のデータセットには捉えにくい関係性が含まれることがよくあります。たとえば、エンタープライズ顧客が全顧客の 0.1% を占めるが、注文の 30% を生成すると想像してください。テーブルごとの統計情報では、このクロステーブル相関を捉えることはできません。
orders.customer_id にインデックスがある場合、プランナーは各エンタープライズ顧客がわずか数件の注文しか持たないと見積もり、インデックスを繰り返しプローブするネストループを選択する可能性があります。それらの顧客が実際には注文の 30% を占める場合、各ルックアップは予想よりもはるかに多くの行を返し、ハッシュ結合の方が適切かもしれません。
PostgreSQL 19 は、これらの状況のために pg_plan_advice と pg_stash_advice を追加しました。
pg_plan_adviceは、プランナーの決定を助言として記述し、提供された助言を適用し、それが従われたかどうかを報告します。pg_stash_adviceは、クエリIDごとに助言を格納し、一致するクエリが計画されるときに自動的に適用します。
これらのコンポーネントは、クロステーブル統計情報を追加したり、プランナーを置き換えたりするものではありません。代わりに、不正確な見積もりが不十分なプランを生成した場合に介入できるようにします。
エンタープライズ顧客からの注文をカウントするクエリを考えてみましょう。
SELECT count(*) FROM orders o JOIN customers c ON o.customer_id = c.id WHERE c.is_enterprise;
ここで、c はフィルタリングされた顧客テーブルのエイリアスです。以下の助言は、PostgreSQL にそれらの顧客をハッシュ結合の内側の側面に配置するように要求します。
SELECT pg_plan_advice.set_advice('EXPLAIN (VERBOSE) SELECT count(*) FROM orders o JOIN customers c ON o.customer_id = c.id WHERE c.is_enterprise;',
'{