Pgtestdbのテンプレートクローニングによるテストアプローチは高速
Pgtestdb's template cloning approach to testing is fast (brandur.org)
要約
Postgresのテンプレートデータベース機能を利用したpgtestdbパッケージは、テストデータベースのセットアップにおいて、スキーマ移行よりも高速ではないものの、非常に高速なアプローチを提供します。しかし、テストスイート全体の実行速度では、スキーマベースのアプローチが再利用最適化により約3.5倍速く、pgtestdbはエンドツーエンドテストなどに推奨されるものの、再利用の最適化を適用することでさらに高速化できる可能性が示唆されています。
全文翻訳
pgtestdb のテンプレートクローニングによるテストアプローチは高速
昨日、Peter Downs 氏の pgtestdb という Go/Postgres テストパッケージの存在を Cup o’ Go から思い出しました。
pgtestdb は、Postgres の組み込み機能である テンプレートデータベース を中心に構築されています。これは、バニラの psql シェルからすぐに試すことができます。
CREATE DATABASE dbname TEMPLATE template_to_copy;
テンプレートのコピーは非常に高速で、テストデータベースをゼロからマイグレーションするよりも、そして最近の一部のプロジェクトが使用しているような重厚な Docker ベースの手法よりも はるかに 高速です。低レベルでは、Postgres はテンプレートのリレーションを列挙し、そのマテリアライズされたヒープ、インデックス、およびカタログファイルを 8 kB のページチャンクでコピーします。
この機能については数年前に読んだ記憶がありますが、正直なところ存在を忘れており、他のテストアプローチと比較してどの程度パフォーマンスが出るのか興味があったため、Codex を使って pgtestdb を River のテストスイートに組み込んでみました。
River のテスト方法論は、速度と信頼性においてほぼゴールドスタンダードであると考えています。これは、スキーマに基づいてテストケースを分離するカスタムテストヘルパーセットを使用しています。このアプローチは テストトランザクション よりも遅いですが、いくつかの利点があります。
- テスト失敗時に検査できるよう、テスト状態をそのまま残します。
- listen/notify のようなデータベース全体機能をテストできます。
- 複数のトランザクションの相互作用やロールバックの境界をテストできます。
結果
Postgres では、スキーマはデータベースよりも軽量なので、スキーマベースのアプローチにはその利点があります。しかし、スキーマをクローンすることはできないため、スキーマベースのアプローチは毎回マイグレーションを実行する必要があり、その点では pgtestdb が明確な利点を持っています。
これにより、興味深い比較が得られるはずです。以下は私が得た結果です。
| Method | Count | Mean | p90 | p95 | Max |
|---|---|---|---|---|---|
| pgtestdb clone | 466 | 98.4ms | 247.4ms | 299.5ms | 465.1ms |
| Create + migrate schema | 81 | 99.4ms | 152.1ms | 209.0ms | 327.0ms |
両アプローチのタイミングは驚くほど似ており、セットアップ時間は約 100 ms です。
新しいデータベースの作成には時間がかかるものだと常々思っていたので、pgtestdb のアプローチがこれほど速いことに驚きました。
River のテストは、既に高速であり、スキーマ分離のテストが River の スキーマベースの設定 が謳い通りに機能することを検証するのに偶発的に役立つため、既存のスキーマベースの方法のままにしておきます。しかし、特にエンドツーエンド(つまり、クライアントによって挿入されたジョブがワーカーによって完全に完了するまで)のテストを目指すユーザーのために、pgtestdb をドキュメントで推奨することにします。
再利用による最適化
上記の議論では少し控えめに言っていました。スキーマベースのアプローチの セットアップ時間 は pgtestdb のフルデータベースと同程度ですが、テストスイート全体の実行速度は前者の方が約 3.5 倍高速です。
| Method | Wall time |
|---|---|
| pgtestdb clone | 51.07s |
| Create + migrate schema | 14.54s |
しかし、これはスキーマがそれほど速いからではありません。River のテストヘルパーには、Go の瞬間的な並列処理に必要な数のテストスキーマを作成し、テストケースが終了したらプールしておくという便利な最適化があります。未割り当てのスキーマが利用可能な場合、テストケースは新しいスキーマをゼロから生成するのではなく、それをクリーンアップして再利用します 1。
これは、スキーマバージョンなどの詳細を考慮する必要があるため、少し言うは易く行うは難しです。つまり、スキーマバージョンをまたいでテストする場合、各テストケースは期待するバージョンと同じバージョンのスキーマのみを再利用する必要があります。もちろん、これは非常に可能ですが、少し考える必要があります。私は LLM の前に River の実装を書きましたが、バグをすべて取り除くのに数日かかりました。
再利用について言及したのは、pgtestdb でも同様のことが可能であり、パッケージの一部として、またはそれを呼び出すプロジェクトでの拡張として行える可能性があるからです。テストデータベースをブートストラップするのに 100 ms は非常に高速ですが、10,000 件のテストを実行するフルアプリケーションを構築している場合、理想的には 10 倍高速なテストセットアップが必要です。再利用により、それが 10〜20 ms にまで低下し、テストトランザクションにより近いものになります。