Pgtestdbのテンプレートクローニングによるテストアプローチは高速
Pgtestdb's template cloning approach to testing is fast (brandur.org)
要約
この記事では、Go言語とPostgresのテストパッケージであるpgtestdbが、Postgresのテンプレートデータベース機能を利用した高速なテストアプローチを提供することを解説しています。テンプレートのコピーは、ゼロからテストデータベースを移行するよりもはるかに高速であり、Dockerベースの重厚な手法よりも優れています。テストのセットアップ時間は約100ミリ秒と非常に速く、特にエンドツーエンドテストに推奨されています。
全文翻訳
pgtestdbのテンプレートクローニングによるテストアプローチは高速
昨日、Peter Downs氏のpgtestdbというGo/Postgresのテストパッケージの存在をCup o’ Goで思い出しました。
pgtestdbは、Postgresの組み込み機能であるテンプレートデータベースを中心に構築されています。これは、標準的なpsqlシェルからすぐに試すことができます。
CREATE DATABASE dbname TEMPLATE template_to_copy;
テンプレートのコピーは非常に高速で、テストデータベースをゼロからマイグレーションするよりも、そして最近のプロジェクトで使われている一部の重量級Dockerベースの手法よりもはるかに高速です。低レベルでは、Postgresはテンプレートのリレーションを列挙し、そのマテリアライズされたヒープ、インデックス、カタログファイルを8 kBのページチャンクでコピーします。
この機能については数年前に読んだ記憶がありますが、正直なところ存在を忘れていました。他のテストアプローチと比較してどの程度パフォーマンスが出るのか興味があったため、CodexにpgtestdbをRiverのテストスイートに組み込んでもらい、その結果を見てみました。
Riverのテスト方法論は、速度と信頼性においてほぼゴールドスタンダードであると考えています。スキーマに基づいてテストケースを分離するカスタムテストヘルパーセットを使用しています。このアプローチはテストトランザクションよりも遅いですが、いくつかの利点があります。
- テスト失敗時に検査できるよう、テスト状態をそのまま残す。
- listen/notifyのようなデータベース全体の機能のテストを可能にする。
- 複数のトランザクションの相互作用やロールバックの境界をテスト可能にする。
結果
Postgresでは、スキーマはデータベースよりも軽量であるため、スキーマベースのアプローチにはその利点があります。しかし、スキーマをクローンすることはできないため、スキーマベースのアプローチは毎回マイグレーションを実行する必要があり、その点ではpgtestdbが明確な利点を持っています。
これにより、興味深い比較ができるはずです。以下は私が得た結果です。
| Method | Count | Mean | p90 | p95 | Max |
|---|---|---|---|---|---|
| pgtestdb clone | 466 | 98.4ms | 247.4ms | 299.5ms | 465.1ms |
| Create + migrate schema | 81 | 99.4ms | 152.1ms | 209.0ms | 327.0ms |
両方のアプローチのセットアップ時間は、約100 msという驚くほど似通ったタイミングであることがわかります。
新しいデータベースの作成には時間がかかるものだと常々思っていたので、pgtestdbのアプローチがこれほど速い結果になったことに驚きました。
Riverのテストは、既に高速であり、スキーマ分離のテストがRiverのスキーマベースの設定が謳い文句通りに機能することを検証するのに偶発的に役立つため、既存のスキーマベースの方法のままにしておきます。しかし、特にエンドツーエンド(つまり、クライアントによって挿入されたジョブがワーカーによって完全に完了するまで)のテストを目指すユーザーのために、pgtestdbをドキュメントで推奨することにします。
再利用による最適化
上記の比較では少し控えめに言っていました。スキーマベースのアプローチのセットアップ時間はpgtestdbのフルデータベースと同等ですが、テストスイート全体としては前者の方が約3.5倍高速に実行されます。
| Method | Wall time |
|---|---|
| pgtestdb clone | 51.07s |
| Create + migrate schema | 14.54s |
しかし、これはスキーマがそれほど速いからではありません。Riverのテストヘルパーには、Goの瞬間的な並列処理に必要な数のテストスキーマを作成し、テストケースが終了したらそれらをプールしておくという便利な最適化があります。未使用のスキーマが利用可能な場合、テストケースは新しいスキーマをゼロから生成するのではなく、それをクリーンアップして再利用します1。
これは、スキーマバージョンなどの詳細を考慮する必要があるため、少し言うは易く行うは難しです。つまり、スキーマバージョンをまたいでテストする場合、各テストケースは期待するバージョンと同じバージョンのスキーマのみを再利用する必要があります。もちろん、これは非常に可能ですが、少し考える必要があります。Riverの実装はLLM以前に書いたのですが、バグをすべて取り除くのに数日かかりました。
再利用について言及したのは、pgtestdbでも同様のことが可能であり、パッケージの一部として、あるいはそれを呼び出すプロジェクトでの拡張として実現できる可能性があるからです。テストデータベースをブートストラップするのに100 msは非常に高速ですが、10,000件のテストを実行するフルアプリケーションを構築している場合、理想的には10倍高速なテストセットアップが必要です。再利用により、それが10〜20 msにまで短縮され、テストトランザクションにより近いものになります。