大規模並列Postgresバックアップ
Massively Parallel Postgres Backups (planetscale.com)
要約
PlanetScaleは、シャーディングされたPostgresデータベースのバックアップを効率的に行うための大規模並列化技術について解説しています。この手法では、バックアップ専用のEC2インスタンスを各シャードごとに動的に起動し、既存のバックアップからのリストアとWAL(Write-Ahead Log)の再生を組み合わせて、ペタバイト級のデータベースでも数時間でバックアップを完了させます。これにより、本番環境への影響を最小限に抑えつつ、高速かつ信頼性の高いバックアップを実現しています。
全文翻訳
Postgresの大規模並列バックアップ
12時間ごとに、バックアップシステムは稼働中のデータベース全体の状態を、本番クエリに影響を与えることなく、一貫性のある暗号化されたスナップショットに変換する必要があります。
このようなバックアップは極めて重要であり、同時にほとんどのエンジニアが考えたくないことでもあります。
とにかくバックアップを機能させる
PlanetScaleの目標は、PostgresおよびMySQLバックアップの取得、スケジュール設定、管理、復元を容易にすることです。
これは外部から顧客が体験することですが、内部でこれを実現するには、クラウドインフラストラクチャとDBMSツールの慎重なオーケストレーションが必要です。
特にシャーディングされたデータベースのバックアップは興味深く、バックアップ専用ノードの起動、オブジェクトストレージからのデータ取得、WALの再生など、すべてを大規模な並列処理で行う必要があります。これらの技術により、ペタバイト規模のデータベースを数時間で、50 GB/s以上の速度でバックアップできます。
ここでは、シャーディングされたデータベースを大規模な並列処理で効果的にバックアップする方法を舞台裏から見ていきましょう。
バックアップのライフサイクル
ここでは、毎秒数十万件のクエリを処理している8つのシャードを持つNeki(シャーディングされたPostgres)データベースの例を示します。
シャーディングが初めての方は、768台のサーバーを1台のように見せる方法に関する最近の投稿をご覧ください。バックアップを取得する最初のステップは、これが最初のバックアップであるか、以前にバックアップを取得したことがあるかによって異なります。ここでは、Amazon S3(または他のクラウドの類似オブジェクトストレージ)に既にキャプチャされ保存されている、以前の正常なバックアップが存在することを前提とした、定常状態の場合から始めます。
シャーディングされたPostgresデータベースは、連携して動作する多数の個別のプライマリPostgresサーバーであるため、Nekiでは大規模バックアップのビルディングブロックとして通常のPostgresバックアップを使用します。
Postgresでバックアップを取得するには3つの方法があり、これについては以前に詳細を記述しました。その中で最も優れた、そしてNekiが使用する方法は、ファイルシステムバックアップとアーカイブされたWrite-Ahead Log(WAL)の再生を組み合わせることです。手順を要約すると、以下のようになります。
- 時刻
T1にディスク上のPostgresデータベースファイルに対するフルバックアップを開始します。 - バックアップは時刻
T2に完了します。T1とT2の間、ディスク上の行は変更されている可能性があります。 T1とT2の間のWAL変更を再生して、変更されたデータを修正します。- 最終結果をAmazon S3のような別のストレージ場所に保存します。
これらの手順はプライマリまたはトラフィックを提供しているレプリカで直接完了することもできます。問題は、特に大規模なデータベースの場合、このタスクが大量のIOPSとコンピューティングリソースを消費することです。目標は、バックアップが本番クエリの提供に与える影響を最小限に抑えることです。
そのため、私たちは異なるアプローチを取ります。バックアップを管理するために、シャードごとに新しいEC2インスタンスのセットを起動します。
これらの新しいインスタンスがバックアップ作業の大部分を担います。AWSやGCPのようなクラウドでシャーディングされたデータベースを運用しているため、バックアップを完了するために短時間だけ数十または数百のインスタンスを動的に起動することが可能です。わずかなコストはかかりますが、本番環境への悪影響を最小限に抑える価値はあります。
古いバックアップの再利用
次のステップは、各シャードの最新のバックアップを復元することです。以前のバックアップはオブジェクトストレージに保存されています。ここではAmazon S3を例に使用しますが、他のクラウド(Google CloudのGCSなど)でも同様です。これらはここから直接ストリーミングされます。
このアプローチでは一時的なコンピューティングリソースが必要であり、各シャードのデータをオブジェクトストレージから出し入れします。このコストは、2つの重要な理由で受け入れています。
- 最新のWALのみがプライマリから取得されるため、本番環境への影響が最小限に抑えられます。
- サーバーストレージがWALで過剰に消費されるのを防ぐため、継続的にS3にアーカイブしています。そのため、過去12時間分のWAL全体がプライマリノード上に存在しない可能性があります。
すべてのコピーが完了すると、これらの8台のサーバーは12時間前の各シャードの正確な状態を持っています。
WALの再生
次に、各シャードの古いバックアップを現在のデータベースの状態に一致するようにキャッチアップする必要があります。これには、12時間前と現在の間のPostgres Write-Ahead Logのすべての変更を再生する必要があります。
単純なアプローチは、WALをプライマリから直接取得することです。これはいくつかの理由で問題があります。
- これは本番環境に無視できない影響を与えます。高負荷のデータベースで12時間分のWALを再生するには、数十分、あるいは1時間以上かかる可能性があります。
- WALに過剰なサーバーストレージを消費させたくないため、継続的にS3にアーカイブしています。したがって、過去12時間分のWAL全体がプライマリノード上に存在しない可能性があります。
PlanetScaleでは、すべてのPostgresデータベースはwal-gを使用してWrite-Ahead Logを継続的にアーカイブしています。シャーディングされたNekiデータベースも同様ですが、各シャードは個別のWALアーカイブストリームを持っています。
代わりにそこからストリーミングするのはどうでしょうか?
これで問題はほぼ解決します。残りの問題は、Postgresはセグメントが完了してからWALをアーカイブすることです。書き込みトラフィックがセグメントをすぐに満たさない場合、5分間のarchive_timeout設定によりセグメントスイッチが強制され、アーカイブできるようになります。このため、最新の変更がまだS3に到達していない可能性があります。したがって、ハイブリッドアプローチを取ります。システムは再生の大部分にS3を使用し、その後、最後の数分間の変更をプライマリから直接ストリーミングします。理想的には、この最後のステップは数分や数時間ではなく、数秒のオーダーで完了します。
このステップをシャーディングされたデータベースに戻すと、以下のようになります。
サイクルの完了
すべてのノードが時刻 T までレプリケーションをキャッチアップしたら、その時刻 T をバックアップ時刻として記録し、WALレプリケーションを停止してバックアップの時点を固定します。時刻 T は、このバックアップに含まれる正確な時刻(秒単位まで)を知るために保存されます。これでフルバックアップは一貫性があり、データのにじみはありません。最後のステップは、これらのバックアップを暗号化し、安全に保管するために新しいS3バケットに送信することです。
完了すると、バックアップノードはその目的を果たし、廃止されます。
初期バックアップ
ここで説明したサイクルは、開始するために12時間前の良好なバックアップが存在することを前提としていました。定常状態ではこれは真実ですが、新しいデータベースの場合はそうではありません。
新しいデータベース作成から12時間以内に、pg_basebackupを使用して各シャードのバックアップノードをシードします。
pg_basebackupは、データベースクラスタ全体(データディレクトリ、テーブルスペース、リカバリに必要な設定)の物理バックアップを取得する組み込みのPostgreSQLクライアントユーティリティです。
pg_basebackupの出力を直接アップロードするのはなぜでしょうか?一時的なバックアップノードをシードするためにのみ使用します。永続的なバックアップはwal-gで作成され、初期バックアップと定常状態のバックアップでフォーマットと復元プロセスを同一に保ちます。
この最初のバックアップの手順は、定常状態の場合と似ていますが、わずかに異なります。
- シャードごとに新しいEC2インスタンスを1つ起動します。
- 各インスタンスで
pg_basebackupを実行し、プライマリからデータをコピーします。 - 各インスタンスをプライマリからのレプリケーション用に設定します。
- 各インスタンスがキャッチアップするまでWALを再生します。
- 時刻
Tでレプリケーションを停止します。 wal-gを使用して、各バックアップをフォーマット、暗号化し、S3にアップロードします。
これが存在すると、それ以降のすべてのバックアップは、復元 -> キャッチアップ -> 保存の流れで実行されます。
速度の必要性
並列処理を多用する理由の一部は、シャーディングの性質によるものです。シャードが4つであろうと400であろうと、各シャードには独自のPostgresプライマリが含まれているため、堅牢なシステム(通常のPostgresバックアップ)を各シャードで繰り返し実行する価値があります。
これにより、大規模なデータベースでもバックアップが非常に高速になります。
バックアップごとに、データ転送の手順は次のようになります。
- S3から古いバックアップを復元します。
- S3とプライマリのハイブリッドを使用してバックアップをキャッチアップします。
- 新しいファイルをS3に送信します。
シャーディングされていない32テラバイトのデータベースでこのバックアップサイクルを完了するために何が必要かを考えてみましょう。PlanetScaleでのバックアップは圧縮され、S3で保存時に暗号化されて保存されます。この32テラバイトのデータベースのバックアップは20テラバイトに圧縮されると仮定します。したがって、以下のようになります。
- S3から20,000 GBの転送。
- キャッチアップ(例: 20 GB、10 GBに圧縮)。
- S3へ20,010 GBの転送。
これは合計約40,030 GBの転送量に相当します。さまざまなノードと相互接続が500 MBpsの転送速度を維持できる場合、バックアップには約22時間かかります。重要なのは、1日2回のバックアップが必要な場合、複数のバックアップが重複する可能性があるということです。これにより、リカバリポイント目標(RPO)を満たせなくなります。
Nekiの同じデータベースが8つのシャードに分散され、それぞれ約4 TBを格納している場合、パフォーマンスは大きく異なります。合計で、同じ40,030 GBを転送、キャッチアップ、保存する必要があります。しかし、各500 MBpsに対応できる8つの異なるバックアップノードで並列に実行できる場合、合計時間を約2.8時間に短縮できます。
シャードを増やすほど、これは改善されます。32個のシャードに分散された同じデータは、42分でバックアップされます。バックアップ速度はよくスケールします。100個のシャードに100テラバイトをバックアップする場合の速度は、1つのシャードに1テラバイトをバックアップする場合とほぼ同じです。
バックアップは何に使われるのか?
バックアップを取得する理由の1つは、データの安全性です。誤ってデータを削除した場合や、数百万年に一度のデータベース災害が発生した場合、バックアップ(およびWAL)は不可欠なフォールバックとなります。
しかし、PlanetScaleでは、バックアップは日常的なデータベース運用の中核でもあります。Metalデータベース(ローカルNVMeを使用するもの)では、データベースが拡張されるたびにバックアップが使用されます。
Metalデータベースの拡張には以下が必要です。
- シャーディングされたデータベース内の既存ノードごとに、新しいサイズの新しいEC2インスタンスを起動します。8つのシャードがあり、それぞれにプライマリと2つのレプリカがあるデータベースでは、現在
8 x 3 = 24台のi8g.xlargeノードで実行されている可能性があります。実行中に、コンピューティング容量を倍増させるために、追加の24台のi8g.2xlargeを初期化します。 - 24台の新しいノードそれぞれが、S3から最新のバックアップのコピーをダウンロードし、アーカイブされたWAL経由でデータベースの現在の状態にキャッチアップを開始します。
- すべてのノードは元のプライマリのスタンバイとして初期化され、最終的なレプリケーションキャッチアップを完了します。
- すべてのノードがプライマリと同期すると、古い
i8g.xlargeプライマリから選択された新しいi8g.2xlargeプライマリへのスイッチオーバーが行われます。 - 小さいノードは廃止され、大きいプライマリとレプリカのみが残ります。
これで、すべてのシャードにわたる完全な拡張が完了しました。バックアップは、新しいノードの作成/キャッチアップを容易にするために使用されます。このプロセスは、バックアップのサイズや再生する必要のあるWALの量に応じて、数分から数時間かかる場合があります。
バックアップは、予期しない障害によりノードを交換する必要がある場合にも使用されます。平均サーバー寿命が5年である場合、小規模なデータベースで単一のプライマリがある場合、障害に気づくことはほとんどありません。数百のシャードがあり、それぞれに複数のレプリカがあるデータベースでは、特定の週または月にノード障害が発生する統計的な可能性が大幅に高まります。個々のノード障害(例えば、シャード内の単一レプリカ)が発生した場合、交換プロセスは次のようになります。
- 以前障害が発生したノードと同じサイズの新しいクラウドインスタンスを初期化します。
- 前述のプロセスを使用して、最近のバックアップをそれに復元し、WALをキャッチアップします。
- 元のプライマリのフォロワーとして初期化し、データを同期します。
- この新しいノードは、読み取りクエリをアクティブに提供したり、スイッチオーバーまたはフェイルオーバー操作中に新しいプライマリとして機能したりできるようになります。
MySQLについてはどうですか?
ここでのすべては、Nekiを搭載したPostgresデータベースでシャーディングされたバックアップと拡張をどのように完了するかについての話でした。PlanetScaleは、大規模なシャーディングされたMySQLデータベースも運用しており、クエリルーティング/シャーディングレイヤーとしてVitessを使用しています。
これらのデータベースのバックアップと拡張のプロセスは非常に似ています!これについては別のブログで詳しく説明していますが、主な違いは、Postgresバックアップ組み込み機能の代わりにVTBackupを使用し、WALの代わりにMySQLバイナリログレプリケーションを使用し、レプリケーションキャッチアップはプライマリからの代わりにプライマリから行われることです。
退屈なものにする
最終的には、これらすべてを透明にしたいと考えています。バックアップの取得は、自動スケジュールやボタンをクリックするのと同じくらい簡単であるべきです。データベースの拡張は、単一のクリックまたはAPI呼び出しであるべきです。
しかし、データベース運用の細かい部分にも深い感謝の念を抱いています。バックアップのライフサイクルを旅することで、データベースオーケストレーションがいかに素晴らしいかについて、新たな感謝の念を抱いていただければ幸いです。
これが魅力的だと感じたなら、私たちは常に優秀なデータベースエンジニアを探しています。