WAL-RUS: PostgreSQLバックアップのためのWAL-GをRustで書き換え
WAL-RUS: a Rust Rewrite of WAL-G for PostgreSQL Backups (clickhouse.com)
要約
ClickHouse Cloudは、PostgreSQLのバックアップとWALアーカイブのメモリ使用量の予測不可能性という問題に直面し、WAL-GをRustで再実装した「WAL-RUS」を開発しました。WAL-RUSは、ガーベージコレクションがないRustの特性を活かし、メモリ効率と予測可能性を大幅に向上させ、WAL-Gとの互換性を維持しつつ、継続的なWALアーカイブに最適化されています。ベンチマークでは、WAL-Gの仮想メモリ使用量が2.8GBに達するのに対し、WAL-RUSは1GB未満に抑えられ、70%以上の削減を実現しました。
全文翻訳
RustでPostgresバックアップ用のWAL-Gを書き直した理由:WAL-RUSの紹介
[画像: WAL-RUS Blog Banner.jpg]
Postgresのバックアップは、インフラストラクチャの中でも地味ながら重要な部分です。バックグラウンドで継続的にWALファイルをアーカイブし、バックアップをアップロードし、何か問題が発生した際に復旧が可能であることを保証します。
ClickHouse Cloudでは、このパスは極めて重要です。WALアーカイブは、Postgresサービスの高耐久性と回復性を維持することを可能にします。WAL-Gは、このジョブのための強力で信頼性の高いツールでした。成熟しており、実戦でテスト済みで、Postgresコミュニティに長年貢献してきました。
しかし、Postgresをよりタイトでリソース制約の厳しい環境に押し込むにつれて、私たちは特定の課題に直面し始めました。それがメモリの予測可能性です。
この課題が、予測可能なメモリ効率とWAL-G互換性を備え、PostgresのバックアップおよびWALアーカイブツールをRustで実装したオープンソースプロジェクトであるWAL-RUSを開発するきっかけとなりました。
問題点
WAL-GはGoで書かれています。Goはガベージコレクション(GC)言語であり、信頼性の高いインフラストラクチャソフトウェアの構築を容易にする一方で、GCランタイムは、特にWALアーカイブのような長時間実行されるサービスにおいて、メモリ使用量の予測を困難にします。
課題となるのは、常駐メモリ(アクティブに使用されているメモリ)だけでなく、仮想メモリ(オペレーティングシステムから予約されているメモリ)でもあります。Goのランタイムは独自のメモリプールを管理しており、アプリケーションがアクティブに使用している量よりも大幅に多くの仮想メモリを予約する可能性があります。ワークロードが変化すると、このフットプリントは、推論やチューニングが難しい方法で変動する可能性があります。Go GCガイドでは、これをGCサイクル間でメモリ使用量が増加し、コレクション後に減少するという「のこぎり歯」パターンとして説明しており、ピークメモリ消費量を予測し、リソースを効率的にプロビジョニングすることを困難にしています。
運用者にとって、これはシンプルですが重要な問題を生み出します。「バックアップインフラストラクチャのためにどれだけのメモリを予約すべきか?」という問題です。
答えは通常、「必要以上に」です。これにより、予期しないメモリプレッシャーを回避できます。WALアーカイブに予算計上されたメモリは、クエリ、共有バッファ、ページキャッシュのためにPostgres自体に確実に割り当てられないメモリです。Postgresはオーバーコミットを無効にして実行するのが最も信頼性が高いため、仮想メモリは貴重なリソースであり、現代のソフトウェアはしばしばこれを後回しにしがちです。
WAL-Gは依然として実績があり信頼性の高いツールですが、Postgresをますますリソース制約の厳しい環境にスケールさせるにつれて、私たちはより予測可能なメモリプロファイルを持つバックアップシステムを求め、同じ機能を提供しながらリソース消費を削減し、キャパシティプランニングを簡素化したいと考えました。
解決策:WAL-RUSの紹介
私たちは新しい機能を探していたわけではありません。WAL-Gは成熟しており信頼性の高いバックアップシステムであり、私たちはそれに貢献できることを嬉しく思っています。私たちの目標は、コア機能と互換性を維持しながら、より予測可能なリソースプロファイルを提供することでした。
WAL-RUSは、メモリの予測可能性とリソース使用に関して私たちが直面した運用上の課題に対処するために構築された、PostgresのバックアップおよびWALアーカイブツールのRust実装です。
1. 予測可能なリソース使用量: ガベージコレクションされたランタイムとは異なり、Rustはメモリ割り当てと並行処理を直接制御できます。WAL-RUSは、バウンドされたワーカープールと慎重に制御された並行処理を使用しており、メモリ消費量の推論が容易になり、バックアップインフラストラクチャのリソースの過剰プロビジョニングの必要性を減らします。
2. 継続的なWALアーカイブのために構築: WAL-RUSはWAL-Gのデーモンアーキテクチャを優先します。WALファイルごとに新しいプロセスを起動して新しい接続を確立するのではなく、永続的なオブジェクトストレージ接続を維持し、バックグラウンドで継続的にアーカイブ要求を処理します。
3. ストリーミングワークロードに最適化: WALアーカイブは基本的にストリーミング問題です。WALファイルを読み込み、圧縮し、オブジェクトストレージにアップロードします。WAL-RUSは、このパイプライン全体で不要なバッファリングとデータコピーを最小限に抑え、より小さく予測可能なメモリフットプリントで同じアーカイブ作業を実行できるようにします。
4. WAL-G互換性: WAL-RUSはWAL-Gと同じWALG_設定変数を使用しており、相互運用性のために継続的にテストされています。WAL-GはWAL-RUSによって生成されたアーカイブを読み取ることができ、WAL-RUSはWAL-Gによって生成されたアーカイブを読み取ることができるため、既存のデプロイメントでの移行が容易になります。
ベンチマーク
WAL-RUSを評価するために、私たちはWAL-G、pgBackRest、そしてWAL-RUSを、持続的なWAL負荷の高いPostgreSQLワークロードで比較する再現可能なベンチマークを構築しました。このベンチマークは継続的にWALを生成し、S3にアーカイブし、各アーカイバがWAL生成に追いつきながらメモリをどれだけ効率的に使用するかを測定します。公平な比較を保証するために、3つのツールすべてが4つの並行アーカイブワーカーで設定されました。
メモリ使用量
メモリ効率はWAL-RUSの主な動機であったため、メモリ消費量が最初に調査したメトリックです。
[画像: image (23).png]
WAL-Gはベンチマーク中にピーク仮想メモリ使用量が2.8 GB近くに達しましたが、WAL-RUSは1 GB未満に留まり、70%以上削減されました。WAL-RUSは実行中も安定したメモリプロファイルを維持しており、本番環境でのリソース要件の推論が容易になりました。pgBackRestもここでは称賛に値します。GCランタイムを持たないCベースの実装として、メモリ割り当てを厳密に制御しています。
WALアーカイブスループット
[画像: image (24).png]
WAL-RUSとWAL-Gの両方が、ベンチマーク全体で最小限のバックログを一貫して維持し、生成されるワークロードに追いつくことができたことを示しました。pgBackRestは、激しいWALアクティビティの期間中にバックログを増加させ、デーモンベースとプロセスベースのアーカイブスループット間のアーキテクチャ上のトレードオフを示しました。
CPU使用率
[画像: image (25).png]
CPU使用率は重要度は低いですが、監視しておく価値はあります。使用率は3つすべてで同等であり、主にLZ4圧縮の計算によるものです。
まとめと結論
WAL-RUSは、より小さく、より予測可能なリソースフットプリントで、信頼性の高いPostgreSQLバックアップとWALアーカイブを提供するという実用的な問題を解決するために構築されました。Rustの明示的なメモリ管理とデーモン化されたストリーミングアーキテクチャを組み合わせることで、WAL-RUSはWAL-Gと同等のアーカイブスループットを達成しながら、メモリ消費量を大幅に削減します。
重要なことに、WAL-RUSは既存のWAL-Gアーカイブおよび設定と完全に互換性を維持しており、既存のデプロイメントでの採用が容易です。WAL-RUSは、Postgres 17のwalサマリーを増分バックアップに使用するサポートを導入しており、これはWAL-Gへのアップストリームに取り組んでいます。
WAL-Gに機能が欠けていたからWAL-RUSを構築したわけではありません。WAL-Gは成熟しており、実戦でテスト済みのプロジェクトです。WAL-RUSを構築したのは、WAL-Gが確立したエコシステムとの互換性を維持しながら、リソース使用量をより厳密に制御したかったからです。
プロジェクトの開発と強化を続けるにつれて、WAL-RUSをClickHouse CloudのマネージドPostgresオファリングのデフォルトのバックアップおよびWALアーカイブメカニズムにする予定です。
このプロジェクトはオープンソースであり、フィードバック、テスト、貢献を歓迎します!