HN 日本語サマリー

← 一覧へ戻る
プログラミング

PostgresをRustで書き直し、Postgresの回帰テストを100%クリア

Postgres rewritten in Rust, now passing 100% of the Postgres regression tests (github.com)

740 pointsby SweetSoftPillow620 コメント

要約

RustでPostgresを書き直したプロジェクト「pgrust」が、Postgresの回帰テストを100%クリアしたことが発表されました。Postgres 18.3との互換性を目指し、既存のデータディレクトリから起動可能で、RustとAIを活用してPostgresの内部変更を容易にすることが目標です。まだ本番環境での使用には適していませんが、Postgresの保守性向上と革新の可能性を示しています。

全文翻訳

pgrust

Postgresより高速で、ClickHouseをも凌駕するRustによるPostgresの書き直し。

[画像: Postgres 18.6] [画像: Regression suite: 100%] [画像: Version: v0.3.1] [画像: License: AGPL-3.0]

新着: v0.3.1 はバグ修正リリースです。リリースノート · v0.3の新機能

PlanetScaleでのMichaelのpgrustに関する講演ビデオとスライド

AIはJITコンパイラの経済性をどう変えるか

pgrustは、Postgresを2026年に構築されたとしたらどうなるかを示すために再実装されたものです。Postgresと互換性があり、SQL方言も互換性があります。Postgresの全46,066テストをパスしています。なぜこれを構築しているのかというストーリーについては、pgrust: RustとAIでPostgresを再構築するをご覧ください。

全てのコードはRustで書かれており、C実装の挙動に合わせるように書かれています。Rustにより、Postgresのいくつかのコア部分を再設計することが容易になります。pgrustは以下を備えています:

  • 新しいベクトル化されたプッシュベースのJITコンパイル実行エンジン
  • スレッドベースの並行モデル
  • 個々のクエリがデータベース全体をダウンさせないように設計されたクエリスケジューラ
  • 低メモリ状態になった際にpgrustがOSのOOM killerよりも制御できるようにする組み込みOOM killer。これにより、OSによってデータベース全体が停止させられる可能性が大幅に減少します。

その他にも多くの素晴らしい機能があります。スケジューラとOOM killerは、数千件のPostgres障害の背後にある4人の騎手のうちの2つに対処します。

状況

現時点ではpgrustを本番環境で実行することは推奨しませんが、私たちは内部で成功裏に実行しています。失うことのできないデータについては、Postgresを真実の情報源として使用してください。

pgrustは現在、Postgresのリグレッションスイートをパスしています。PostgresやClickHouseよりも高速ですが、まだ多くのバグがあります。現在、私たちの最優先事項はテストと信頼性です。

今日、本番環境で利用可能なPostgresが必要な場合は、Postgresを使用してください。

既存のPostgreSQL拡張機能は動作しません。pgrustにはまだ安定した拡張機能ABIがありません。一部のバンドルされたcontribモジュールはポートされていますが、PL/Python、PL/Perl、PL/Tclはポートされていません。

pgrustは特にGraviton4向けにチューニングされており、JITコンパイラはGraviton4のみをターゲットとしています。pgrustは他のプラットフォームでも動作しますが、同等のパフォーマンスは得られません。

パフォーマンス

c8g.4xlarge (AWS Graviton4) でPostgreSQL 18.3に対して測定。

ClickBenchの総合スコアでは、pgrustはClickHouseより18.5%高速で、PostgreSQLより数百倍高速でした。これは、pgrustの組み込みカラム型レイアウトであるpgrcolumnarを使用しました。

sysbench-oltpでは、pgrustは300GBスケールでの読み取り専用ワークロードにおいて、Postgres 18.3よりも30%高いスループットを達成しました。

その速度向上の1つの部分に関するコードレベルのウォークスルーについては、300倍高速な分析のためにPostgresを再構築する: バッチ処理、演算子融合、SIMDをお読みください。

これらの実行は、PostgreSQL 9.0 High Performanceの著者であるGreg Smithによって独立してレビューされました。

2つの正直な注意点があります。以前、pgrustがPostgresより50%以上高速であると報告していました。Kubernetes上では、OLTPのギャップが50-60%と、30%よりも大きくなることを測定しており、同じバイナリがベアメタルEC2とは異なる挙動をする理由を特定できていないため、低い数値を引用しています。第二に、公開しているバイナリはアーキテクチャごとに汎用的なものです。ベンチマークの数値はGraviton4向けにチューニングされたビルド(-Ctarget-cpu=neoverse-v2)から来ており、ダウンロードしたものから正確に再現することはできません。

ベンチマークと耐久性設定はデフォルトインストールから変更されていません: fsyncはオンです。ハーネスはbenchmarks/にあり、ご自身で実行できます。

執筆

テスト

pgrustに関する最も一般的な質問は、「誰がそれを信頼できるのか?」ということです。テストスイートをパスしたからといって、コードが正しいとは限りません。pgrustを信頼できるようにすることが、今日の最優先事項です。(リグレッションスイートをパスさせること自体、3回の試行錯誤を要しました。行き詰まりについてはRustにおけるPostgres: リグレッションスイートをパスさせるにまとめています。)

その目標を達成するために、私たちはいくつかの異なるアプローチを取っています:

  1. 3000のユーザー向けPostgres関数のうち、Kaniを使用して、pgrustで1000個の関数が同一の動作をすることを確認できました。その過程で、pgrustとPostgresの間に12個の差異を発見しました。そのうち4つはPostgres自体のバグでした。詳細はproofs/をご覧ください。
  2. Antithesisと協力して、pgrustのシミュレーションテストを行い、pgrustを徹底的にテストしています。
  3. pgrustの挙動がPostgresと同一であることを保証するために、積極的な差分ファズテストを実施しています。
適合性スイート

実行しているリグレッションスイートは、PostgreSQL自身のsrc/test/regressであり、crates/postgres-18.6-reference/src/test/regressに未変更でベンダーとして取り込まれ、アップストリームのpg_regressによってpgrustサーバーに対して駆動されています(ゲート: 231個のparallel_scheduleファイル全てが、ベンダーの期待出力に対してバイト単位で一致しています)。前提条件、ローカルおよびCIクラスターの正確なコマンド、ハーネスがカウントするもの(ファイル数、行数、クエリ数)、そして「46,066」という数値について言えることとそうでないことは、docs/conformance/README.mdに記載されています。ゲート契約はdocs/conformance/regress-gate.mdです。

Unsafe Code

pgrustはunsafeコードを使用しますが、必要な特定の箇所のみです。Postgresは全ての内部値をDatum(型指定のない8バイト値)として表現しますが、Rustには安全な同等のものがないため、内部値をパックおよびアンパックするコードはunsafeです。pgrustがバイト単位でPostgresのメモリレイアウトと一致する必要がある箇所も同様です。

必要のない特定のunsafe箇所があり、それらを削除してもパフォーマンスに影響がない場合は、お知らせください。より多くのunsafeコードを削除したいと考えています。

クイックスタート

ブラウザで: https://pgrust.com、WebAssemblyにコンパイルされた完全なpgrustサーバー、インストール不要。

お使いのマシンで: pgrustはまだ独自のinitdbやpsqlを提供していないため、以下の各フローではまずPostgreSQL 18クライアントツールをインストールし、次にpgrustをダウンロードし、データベースを初期化して起動します。ブロックを上から順に貼り付けてください。

macOS (Apple Silicon)
# PostgreSQL 18 クライアントツール (initdb, psql)。このフォーミュラはkeg-onlyなので、
# HomebrewはPATHに配置しません。exportが必要です。
brew install postgresql@18
export PATH="$(brew --prefix postgresql@18)/bin:$PATH"

# pgrustをダウンロードし、チェックサムを確認します。curlでダウンロードすると、
# ブラウザダウンロードが取得するクォーティングフラグが設定されないため、Gatekeeperが邪魔になりません(以下の注意を参照)。
curl -LO https://pgrust.com/downloads/v0.3/pgrust-0.3-macos-arm64
curl -LO https://pgrust.com/downloads/v0.3/pgrust-0.3-macos-arm64.sha256
shasum -a 256 -c pgrust-0.3-macos-arm64.sha256
chmod +x pgrust-0.3-macos-arm64

# Postgresのinitdbを使用してデータディレクトリを作成します。
initdb -D /tmp/pgrust-data --no-locale --encoding UTF8 -U postgres

# pgrustは実行時にPostgresの共有ディレクトリからタイムゾーンデータベースやその他のデータファイルを読み込みます。これら2つの変数が設定されていないと、
# /usr/local/pgsql/shareを探し、起動に失敗します。
export PGRUST_PGSHAREDIR="$(brew --prefix postgresql@18)/share/postgresql"
export PGRUST_TZDIR="$PGRUST_PGSHAREDIR/timezone"

# サーバーを起動します。フォアグラウンドで実行され、このターミナルにログが出力されます。
ulimit -s 65520
RUST_MIN_STACK=33554432 ./pgrust-0.3-macos-arm64 \
  -D /tmp/pgrust-data \
  -k /tmp -p 5432 \
  -c listen_addresses= \
  -c io_method=sync \
  -c max_stack_depth=60000

サーバーを実行したまま、別のターミナルから接続します:

export PATH="$(brew --prefix postgresql@18)/bin:$PATH"
psql -h /tmp -p 5432 -U postgres -c "select version()"

PostgreSQL 18.6 (pgrust 0.3)と表示されるはずです。

macOS Intel: pgrust-0.3-macos-arm64の代わりにpgrust-0.3-macos-x86_64を使用すると、同じフローが機能します(brew --prefixは異なるHomebrewプレフィックスを処理します)。pgrust-0.3-macos-universalというユニバーサルバイナリもあり、両方をカバーします。

Gatekeeperに関する注意: バイナリはまだAppleによって署名されていません。上記のようにcurlでダウンロードした場合、ファイルはクォートされず、この問題は発生しません。ブラウザでダウンロードした場合、macOSは「Appleは...マルウェアがないことを確認できませんでした」というメッセージでバイナリの実行を拒否します。xattr -d com.apple.quarantine pgrust-0.3-macos-arm64でクォートフラグをクリアするか、システム設定 > プライバシーとセキュリティ > 「開く」でバイナリを承認してください。

Linux (DebianおよびUbuntu)
# アーキテクチャを選択してください。
PLATFORM=linux-x86_64    # または: linux-aarch64

# PGDG aptリポジトリからのPostgreSQL 18クライアントツール (initdb, psql)。
# DebianとUbuntuでは、initdbはサーバーパッケージpostgresql-18に含まれており、PATHには配置されないため、exportが必要です。
sudo apt-get update
sudo apt-get install -y curl ca-certificates gnupg
sudo install -d /usr/share/postgresql-common/pgdg
sudo curl -fsSL -o /usr/share/postgresql-common/pgdg/apt.postgresql.org.asc \
  https://www.postgresql.org/media/keys/ACCC4CF8.asc
echo "deb [signed-by=/usr/share/postgresql-common/pgdg/apt.postgresql.org.asc] http://apt.postgresql.org/pub/repos/apt $(. /etc/os-release && echo $VERSION_CODENAME)-pgdg main" \
  | sudo tee /etc/apt/sources.list.d/pgdg.list
sudo apt-get update
sudo apt-get install -y postgresql-18 postgresql-client-18
export PATH="/usr/lib/postgresql/18/bin:$PATH"

# pgrustをダウンロードし、チェックサムを確認します。
curl -LO "https://pgrust.com/downloads/v0.3/pgrust-0.3-$PLATFORM"
curl -LO "https://pgrust.com/downloads/v0.3/pgrust-0.3-$PLATFORM.sha256"
sha256sum -c "pgrust-0.3-$PLATFORM.sha256"
chmod +x "pgrust-0.3-$PLATFORM"

# Postgresのinitdbを使用してデータディレクトリを作成します。
initdb -D /tmp/pgrust-data --no-locale --encoding UTF8 -U postgres

# pgrustは実行時にPostgresの共有ディレクトリからタイムゾーンデータベースやその他のデータファイルを読み込みます。これら2つの変数が設定されていないと、
# /usr/local/pgsql/shareを探し、起動に失敗します。Debianはシステムtzdataに対してPostgresをビルドするため、PGRUST_TZDIRはzoneinfoを指します。
export PGRUST_PGSHAREDIR=/usr/share/postgresql/18
export PGRUST_TZDIR=/usr/share/zoneinfo

# サーバーを起動します。フォアグラウンドで実行され、このターミナルにログが出力されます。
ulimit -s 65520
RUST_MIN_STACK=33554432 "./pgrust-0.3-$PLATFORM" \
  -D /tmp/pgrust-data \
  -k /tmp -p 5432 \
  -c listen_addresses= \
  -c io_method=sync \
  -c max_stack_depth=60000

サーバーを実行したまま、別のターミナルから接続します:

psql -h /tmp -p 5432 -U postgres -c "select version()"

PostgreSQL 18.6 (pgrust 0.3)と表示されるはずです。

停止、再起動、クリーンアップ

  • サーバーを停止するには、そのターミナルでCtrl-Cを押すか、kill -INT <pid>を使用します。これはPostgresの高速シャットダウンであり、安全です。
  • 再度起動するには、同じデータディレクトリで同じサーバーコマンドを再度実行します。データは再起動後も保持されます。
  • 最初からやり直すには、データディレクトリを削除します: rm -rf /tmp/pgrust-data。これにより、その中の全てのデータが削除されます。
  • 起動に失敗し FATAL: lock file "/tmp/.s.PGSQL.5432.lock" already exists と表示される場合、別のサーバー、おそらく既存のPostgresインストールがポート5432を既に使用しています。-p 5433を指定して別のポートでpgrustを起動し、psql -h /tmp -p 5433 -U postgresで接続してください。通常のPostgresが同じマシンで実行されている場合は、接続後にselect version()を確認してください。誤ったサーバーにサイレントに接続し、なぜ何もpgrustのように動作しないのか疑問に思うのは簡単です。
  • 起動に失敗し could not open directory "/usr/local/pgsql/share/timezone" と表示される場合、クイックスタートのPGRUST_PGSHAREDIRおよびPGRUST_TZDIR変数がサーバーを実行しているシェルで設定されていません。

ソースからのビルド

Rustツールチェーン(rustupのインストールであればどれでも動作します。rust-toolchain.tomlはビルドをRust 1.96.0にピン留めし、rustupが自動的に取得します)とRE2正規表現ライブラリが必要です:

  • Debian/Ubuntu: sudo apt-get install -y build-essential pkg-config libre2-dev
  • macOS: brew install re2 pkg-config
cargo build --release --locked --bin postgres

サーバーバイナリはtarget/release/postgresに配置されます。クイックスタートのダウンロード済みバイナリと全く同じように実行してください。PGRUST_PGSHAREDIRとPGRUST_TZDIRの設定も同様です。リリースビルドは、RE2がないとコンパイルが拒否されます。これは意図的です。フォールバック正規表現エンジンのみのビルドは、正規表現を多用するワークロードでは大幅に遅くなります。公開しているバイナリはさらに--profile distを使用しており、これはファットLTOを有効にし、より高速なバイナリを生成しますが、コンパイルに時間がかかります。

Docker

Docker Hubの事前ビルド済みイメージは、公式のpostgresイメージのドロップイン代替品です。同じ環境変数(POSTGRES_PASSWORD、POSTGRES_USER、POSTGRES_DB、PGDATAなど)、同じ/docker-entrypoint-initdb.d初期化スクリプト、同じデータボリューム/var/lib/postgresql/data。マルチアーキテクチャ(amd64 + arm64):

docker run -d --name pgrust -e POSTGRES_PASSWORD=secret -p 5432:5432 malisper/pgrust:v0.3

その後、接続します:

psql -h localhost -p 5432 -U postgres

ソースからイメージをビルドするには、リポジトリのDockerfileはBuildKitキャッシュマウントを使用するため、buildxでビルドします(現在のDockerではデフォルトです。古いインストールでは代わりにDOCKER_BUILDKIT=1 docker buildを実行してください):

docker buildx build --load -t pgrust .

v0.3の新機能

このリリースは主にpgrustの信頼性を向上させるためのものです。

  • PostgreSQL 18.6になり、バグ修正とセキュリティ修正が含まれています。
  • cbstoreはpgrcolumnarに変更されました。USING cbstoreを使用するSQLをUSING pgrcolumnarに更新してください。古い名前はもう機能しません。

実装

実行エンジン

  • 新しいベクトル化されたプッシュベースの実行エンジンとJITコンパイル。
  • マシンコードを直接生成するJIT。コンパイル時間は約50msから約5µsに短縮されました。現在はneoverse-v2 (Graviton4) のみをターゲットとしています。
  • L1/L2ヒットを最大化するように戦略を適応させるキャッシュ最適化ハッシュテーブル。現在は集計に使用されています。

並列処理

  • プロセスではなくスレッドを使用(接続とクエリ並列処理の両方)。
  • 新しいPostgresのクエリスケジューラ。クエリには優先度が与えられ、長時間実行されるクエリの優先度は下げられるため、重いクエリが高速なクエリを妨害しにくくなります。
  • ワークスティーリングを中心に再構築された並列クエリ: アイドル状態のスレッドは、実行中のクエリを高速化するために動的に割り当てられます。

ストレージ

  • pgrcolumnar: 辞書エンコーディングといくつかの圧縮スキームを備えたカラム指向フォーマット。
  • パイプライン化されたfsync。ワーカーはfsyncを呼び出した後、完了する前にロックを解放します。クエリが確認されず、その効果が観測されるまでfsyncが完了しないため、これは安全です。競合の激しい更新を30〜50倍高速化します。

その他

  • 組み込みOOM killer。マシンのメモリ制限に近づくと、pgrustはワーカーを1つ選択してキルするため、そのクエリは終了し、サーバー自体は実行を継続できます。
  • PGOによる実行可能レイアウトの最適化

ロードマップ

pgrustは、PostgresやClickHouseよりも優れたパフォーマンスを達成しつつ、Postgresと同一の挙動を維持できることを証明しました。次に、pgrustのテストと徹底的なテストを行い、人々がデータをpgrustに任せられるようにすることに取り組んでいます。

それ以降は以下を追加したいと考えています:

  • インスタントフォーク
  • スケールゼロを含むオートスケーリング
  • JSONのプランナーサポート
  • バキューム不要設計のためのundo logサポート
  • 不良プランを防ぐためのアダプティブプランナー
  • テストおよび組み込み用に設計されたpgrustのミニバージョン

貢献

現在、プルリクエストは積極的に受け付けていません。プロジェクトへの協力に関心がある場合は、Discordでご連絡ください。

何か問題が発生した場合、セットアップが不明瞭な場合、またはPostgresの挙動で一致させたいものがある場合は、必ずイシューを開いてください。

ライセンス

pgrustはAGPL-3.0の下でライセンスされています。PostgreSQLから派生した部分はPostgreSQLライセンスの下に留まります。詳細はNOTICEを参照してください。

連絡先