HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

PostgresへのCDCの実装方法

How We Pushed CDC into Postgres (snowflake.com)

121 pointsby craigkerstiens23 コメント

要約

Snowflakeは、Postgresの変更データキャプチャ(CDC)をデータレイクへのプッシュ型に再構築し、データレプリケーションを効率化しました。この新しいアプローチは、PostgresのWAL(Write-Ahead Logging)を直接活用し、Apache Iceberg™テーブルにトランザクションバッチとして変更をプッシュすることで、低コスト、低遅延、トランザクション整合性を実現します。これにより、従来のプル型CDCに伴う複雑さや障害点を排除し、信頼性の高いデータ同期を可能にしました。

全文翻訳

PostgresへのCDC(変更データキャプチャ)の実装とレプリケーションの自動化

トランザクションデータベースのデータを分析データベースで利用可能にすることは、あらゆるモダンなデータアーキテクチャの不可欠な部分です。しかし、それは同時に、壊れやすいツール、高コスト、複雑な運用との絶え間ない戦いでもあります。SnowflakeでPostgresサービスを構築し始めたとき、この問題を解決することが自然に最優先事項となりました。

この記事では、データミラーリングのエンジニアリングの深層を探ります。Postgresのレプリケーションをどのようにゼロから再考したのかについて解説します。

Postgresレプリケーションの最適化

Postgresは素晴らしいオペレーショナルデータベースですが、その変更データキャプチャ(CDC)の機能はまだ改善の余地が多くあります。多くのパイプラインは、レプリケーションツールが継続的なデータとスキーマの変更、スナップショット、障害間の複雑な相互作用を処理することに負担を強いられるため、壊れやすくなりがちです。Snowflake Postgresのために、信頼性が高く、すぐに使えるエクスペリエンスを構築するには、Postgresレプリケーションをゼロから再発明する必要がありました。

データミラーリングは、Snowflake Postgresのパブリックプレビュー機能で、低コスト、低遅延、トランザクション一貫性を備えた、非常に回復力の高いデータレプリケーションをSnowflakeに実行します。内部的には、PostgresからApache Iceberg™テーブルへ、トランザクションバッチで直接変更をプッシュすることで機能します。バッチはSnowflake内のテーブルに自動的に適用されます。これはトランザクション的かつサーバーレスで行われます。

「データレイクへのトランザクションプッシュ、Snowflakeでのトランザクション適用、追加インフラ不要」というシンプルさは、レプリケーションを多くの複雑な障害条件を持つ混沌としたプロセスから、永遠に実行されるシンプルな時計仕掛けへと変えます。

ボタンを押すだけで、PostgresテーブルがSnowflakeに表示されます。

プルからプッシュへ:変更データキャプチャをPostgresへ移行

変更データキャプチャ(CDC)とは、トランザクションデータベースからの変更を、別のシステムで再生可能な形式でキャプチャするプロセスです。

Postgresで利用可能な主要な機能は「論理デコーディング」と呼ばれ、WALレコードを論理的な行レベルの挿入/更新/削除操作にデコードすることを指します。これらの操作は、ネットワーク上のストリームとして公開されます。そこから先の負担はクライアントにかかります。

実際には、レプリケーションにはさらに多くのステップが必要です。バックフィル、スキーマ変更、CREATE/ADD/REMOVE/DROP TABLE操作の処理、新しいテーブルのスナップショット、障害発生時の再起動、変更の効率的なマージ、トランザクション境界の維持、適切なサイジングなどです。Postgresの組み込み論理レプリケーションでさえ、これらの側面のほんの一部しか扱えません。

論理デコーディングアプローチの1つの問題は、変更を消費する外部システムがPostgresの状態について何も知らないことです。例えば、スキーマ変更がいつ発生したか、テーブルスナップショットが変更とどのように整合しているか、あるいはPostgresが稼働しているのか、ネットワークがダウンしているのかさえ知りません。

この問題に対する解決策は非常にシンプルです。変更をPostgresからデータレイク、そして我々の場合はIcebergテーブル(圧縮されたParquetを使用)にプッシュします。Amazon S3のようなオブジェクトストアは、非常にスケーラブルで信頼性が高く、Postgresのバックアップには常に使用されています。変更データキャプチャの適切な宛先でもあります。

ミラーリングは、snowflake_cdcという新しいPostgres拡張機能を使用し、バックグラウンドで(“base workers”を使用して)テーブルごとの変更ログと「メタログ」に変更のバッチを継続的にプッシュします。拡張機能を使用する利点は、Postgresで何が起こっているかを正確に把握できることです。スキーマ変更や複雑なDML(データ操作言語)およびDDL(データ定義言語)トランザクションを注意深く調整できます。変更をプッシュしながらスナップショットを取得し、スナップショットを変更と整合させることもできます。

[画像: Figure 1. Snowflake Postgres Data Mirroring]

プッシュベースの変更データキャプチャは、インフラストラクチャとその関連問題を一掃し、オブジェクトストアを介してプロデューサーとコンシューマーを効果的に分離します。

レプリケーションタイムラインの解明

データミラーリングのようなレプリケーションシステムを構築する上で重要な側面は、データベースのタイムラインです。レプリケーションプロセスは、過去のデータベースの状態を扱います。

Postgresへの各書き込みは、実質的に4つのステージを経て、それぞれが同じタイムライン上で異なる時点で動作する連続的なプロセスを表します。

  • 書き込み(Write):書き込みはテーブルを変更し、WALに追加します(「現在」)。
  • デコード(Decode):過去のWALを行レベルの変更に変換します。
  • キャプチャ(Capture):過去の行レベルの変更をバッチでキャプチャします。
  • 適用(Apply):過去の変更バッチを宛先テーブルにマージします。

デコーダープロセスは、Postgresの特別な機能を使用して、書き込み時点のカタログテーブル(「履歴スナップショット」)を読み取ります。これにより、レコードがデコードされる時点でテーブルが既に変更または削除されていたとしても、バイナリWALレコードを行レベルの論理的変更として理解できます。データミラーリングの場合、レコードは一時ファイルに格納されます。

デコーダーは定期的に、現在のバッチを最終化し、バッチが準備できたことをキャプチャプロセスに通知する信号を受け取ります。キャプチャプロセスは、最終化されたファイルをIceberg変更ログに追加し、メタログにレコードを書き込み、レプリケートされたLSN(Log Sequence Number)を追跡します。スキーマ変更も同様の書き込み→デコード→キャプチャのパスをたどり、新しい変更ログにつながる可能性があります。

[画像: Figure 2. Snowflake Postgres Data Mirroring]

新しいメタログと変更ログレコードがIcebergテーブルに表示されます。Snowflakeの適用プロセスは、メタログ内のすべての命令を実行する有限状態機械として機能します。操作が変更バッチ(一般的なケース)の場合、テーブルごとに隣接するすべての変更バッチが一緒に処理されます。

このアプローチにより、スキーマ変更がトランザクションの一部として追加書き込みが発生した場合でも、変更ストリームに正しくシーケンスされることが保証されます。WALが失われる予期せぬ障害が発生した場合でも、Postgresは新しいスナップショットを自動的にプッシュし、Snowflakeにそれらを消費するように指示できます。これは、フェイルオーバースロットを使用するため、実際には非常にまれです。

トランザクションを分散システムビルディングブロックとして

データベースシステムは、1つのシンプルなプリミティブ、すなわちトランザクションを通じて、システムおよびハードウェア障害に関連する膨大な複雑さを隠蔽できます。

トランザクションが低レベルのシステム障害によって失敗した場合、何も起こらず、再度試行します。トランザクションが成功した場合、同じ作業を二度と行わないことを保証できます。

ETL(Extract, Transform, Load)やCDCのようなプロセスを扱う際に感じるフラストレーションは、トランザクションが突然通用しなくなり、すべての異なる障害モードに自分で対処しなければならないために発生します。

この問題に対する私たちの最初の答えは、オープンソースのpg_lake拡張機能のマネージドバージョンである「Postgres for your data lake」であり、現在は一般提供されています。これにより、PostgresはPostgresテーブルとIcebergテーブルを横断してトランザクションを実行するというユニークな能力を得ます。ETLは通常、外部ツールを必要とし、ユーザーは冪等性を設計し、非常に注意深いブックキーピングを行う必要があります。今や、SQLを使用してPostgresテーブルから削除し、Icebergテーブルに挿入してコミットするだけで済みます。その時点で、データはSnowflakeでクエリ可能になります。このアプローチは多用途ですが、SQLは高頻度更新のエンドツーエンドレプリケーションには適していないため、データミラーリングが追加するレイヤーはそこです。

内部的には、データミラーリングはpg_lakeとSnowflakeのIceberg実装を最大限に活用します。Postgresテーブルからのデータおよびスキーマ変更のバッチを、Postgres側の1つのトランザクションで複数のIceberg変更ログにプッシュします。次にSnowflakeは、Snowflake側のトランザクションで一度に複数のバッチをマージします。これは、すべてのSnowflakeテーブルが1つのトランザクションで、Postgresのトランザクション境界に正確に移動し、外部キーと結合の整合性を維持することを意味します。

トランザクションレプリケーションアプローチは、非常に高いスループットにスケールし、従来のクロスシステムレプリケーションで一般的に見られるほとんどの障害や競合状態を回避します。

高性能な適用とライブビュー

トランザクションが可能にするもう1つの重要なことは、大規模な整合性です。

レプリケーションの一般的なアプローチは、すべての操作をupsert(更新または挿入)の一種にすることです。その理由は、テーブルスナップショットと変更の間の整合性の問題、および障害後に複数回再生される可能性のある変更を解決することが非常に困難だからです。しかし、upsertアプローチにはいくつかの問題があります。

  1. 宛先には、特にテーブルが追加されたときに、一貫性のない中間状態が存在する可能性があります。
  2. 挿入は、ターゲットテーブル内の既存の行と照合する必要があるため、レプリケートするのが非常に高コストになります。これは、列指向ストレージでは非常に高コストです。
  3. 最近の変更を既存のテーブルと効率的に組み合わせることが非常に困難または不可能になります。

レプリケーションをPostgresから制御されるトランザクションプロセスにすることで、同じ制約はありません。挿入がスナップショットや別の変更バッチに既に表示されているリスクなしに、正確に1回適用される完璧な削除と挿入のストリームを作成できます。

これは何を意味するかというと:

  1. 挿入が多いワークロード(通常は最大のテーブル)のレプリケーションは、挿入はupsertではなく追加されるため、非常に高速かつコスト効率が高くなります。
  2. 最近の変更を既存のデータと効率的に組み合わせることができます。

それがライブビューにつながります。

ライブビューはデータミラーリングの機能であり、テーブルごとの変更ログ内の未適用の変更とターゲットテーブルのデータを組み合わせます。重要なのは、クエリ内の任意のフィルターとプロジェクションを、変更ログ内のParquetファイルとベーステーブルの両方のストレージレイヤーとテーブルスキャンに直接プッシュできることです。言い換えれば、ライブビューは高速です。

[画像: Figure 3. Snowflake Postgres Data Mirroring]

ライブビューを使用すると、低遅延を実現するために変更を頻繁に適用する必要がなくなります。たとえ適用頻度が低くても、ライブビューの遅延は1分未満に保たれ、わずかに高いオーバーヘッドで高性能なクエリを実行できます。

レプリケーションを時計仕掛けに

プッシュベースのCDC、タイムラインに関する慎重な設計、両側のトランザクション境界、およびライブビューの組み合わせにより、ミラーリングはレプリケーションを混沌としたプロセスからスイスの時計のようなものに変えます。遅延する外部コネクタはありません。変更と競合するスナップショットはありません。テーブルが大きくなるにつれて遅くなるupsertはありません。オブジェクトストレージに変更をプッシュするPostgres拡張機能があり、Snowflakeがそれらを適用します。両方ともトランザクション的であり、独立しており、無期限に実行されます。

一度設定すれば、永遠に実行されます。

Snowflake Postgresのためのデータミラーリング

歴史的に、オペレーショナルワークロードとアナリティカルワークロードは異なる世界に存在していました。それらの世界は、壊れやすいパイプラインと追加のシステムによって結び付けられ、コストが増加し、多くの苦痛が伴いました。私たちの焦点は、シンプルでありながらよく設計されたソリューションで、両側に確固たる基盤を置いてこれらの世界を統合することです。

Snowflake Postgresを使用すると、信頼できる本番グレードのPostgresを利用でき、ワークロードを統合するための2つの方法で柔軟性が得られます。

  • データミラーリング: パブリックプレビューでは、PostgresからSnowflakeへの常時稼働の自動レプリケーションが提供されます。一度設定すれば、スキーマ変更を含むテーブルは継続的に同期されます。
  • Postgres for your data lake: 一般提供されており、Icebergのようなオープンフォーマットを使用して、PostgresとSnowflake間の柔軟で開発者主導のデータ移動が可能です。SQLを記述するだけで、データは希望するタイミングと方法で移動します。

Snowflake Postgresの開始方法

すぐに始めたい場合は、これらのリンクを確認してください。