Aurora DSQL: スケーラブルでマルチリージョン対応のOLTP
Aurora DSQL: Scalable, Multi-Region OLTP (muratbuffalo.blogspot.com)
要約
この記事は、AWSが開発した新しい分散データベースシステム「Aurora DSQL」について、そのアーキテクチャと設計上の重要な技術的選択を解説しています。DSQLは、従来のモノリシックなデータベースを独立したスケーラブルなサービス群に分解し、クエリプロセッサ、ストレージノード、アドジュディケーター、ジャーナル、クロスバーといったコンポーネントで構成されています。同期クロック、楽観的同時実行制御(OCC)、スナップショット分離、リニアライズド2相コミット(2PC)などの採用により、高いスケーラビリティと整合性を提供しつつ、従来のデータベースのボトルネックを解消することを目指しています。
全文翻訳
ついにAurora DSQLの論文が公開されました。昨日それを読んだのは興味深い体験でした。なぜなら、私はAurora DSQLの設計と構築を行ったAWSチームで2年間(2022-23年)働いていたからです。アーキテクチャには非常に精通していたため、論文のシステム概要説明にはあまり興奮しませんでした。正直に言うと、論文を読むのは少し退屈に感じました。おそらく、論文のアイデアを探求・理解するために普段行っているような余分な思考をしていないからでしょう。しかし、今日一歩引いて、私の主観的な経験はさておき、DSQLアーキテクチャが実際には野心的で意見の分かれるエンジニアリング上の賭けのセットの上に構築されているかを詳しく説明しようと思います。
このアーキテクチャを一文で説明するとすれば(AWSの他のチームにいつもやっていたように)、それはこうなります:従来のモノリシックなデータベースを取り上げ、すべてのコンポーネントを独立した水平スケーラブルなサービスに爆発させました。
モノリスの爆発
DSQLはデータベースを以下の専門サービスに分割します。
- クエリプロセッサ (QP): カスタムPostgreSQLエンジンを実行し、クエリを解析してローカルに書き込みをバッファリングするステートレス仮想マシン。
- ストレージノード: データを保持し、マルチバージョン同時実行制御(MVCC)を使用してQPに履歴データを即座に提供するシャーディングされたノード。
- 調停者 (Adjudicators): QPから渡されたトランザクションがコミット可能かどうかをチェックする競合解決レイヤー。
- ジャーナル (Journals): ゾーンまたはリージョン全体でトランザクションを永続的に保存する、高可用性レプリケーションログ。(ストレージノードに到達する前の短期間の耐久性に優れています。私のMemoryDBレビューを参照してください。)
- クロスバー (Crossbars): ジャーナルから更新を読み取り、正しいストレージノードに変更を送信するルーティングレイヤー。
DSQL設計における大規模なアーキテクチャ上の賭け
さて、非集約化の原則に完全にコミットすることに加えて、DSQL設計におけるその他の大きな賭けは以下の通りです。
同期クロックの賭け:"協調なしで読み取りを行うために、DSQLは完全に同期化された物理クロック(この場合はAWS TimeSync)に全面的に依存しています。QPはローカルクロックをチェックし、その正確なマイクロ秒のデータをストレージに要求します。"
悲観的ロックなし:"オプティミスティック同時実行制御(OCC)はデータベースで高い中止率につながる可能性がありますが、DSQLはスナップショット分離下でのMVCCと組み合わせることでこれを機能させます。読み取り側は過去のスナップショットを参照するため、読み書きの競合は不可能です。素晴らしいですが、書き込みスキューはどうでしょうか?必要に応じて、顧客はFOR UPDATEを使用し、ビジネスロジック違反の書き込み-書き込み競合を強制するようにスキーマを設計する必要があります。"
結果整合性は死んだ:"DSQLは強力な一貫性(線形化可能性)を提供し、開発者は結果整合性のあるシステム上で正しいビジネスロジックを書くことができないと主張しています。これは微妙な点ですが、線形化可能性(単一オブジェクトのリアルタイム操作に関する保証)とスナップショット分離(マルチオブジェクトトランザクションの可視性に関する保証)は異なるものを制御します。Jepsenの一貫性モデルを参照してください。DSQLは、スナップショット分離されたトランザクションに対して一貫性のあるスナップショットを提供し、個々のキー操作がリアルタイム順序を厳密に尊重することを保証します。"
ガードレールの強制:"DSQLはトランザクションを3,000行および10MiBにハードキャップします。論文ではリトルの法則を引用してこれを正当化しており、本質的にユーザーに、予測可能性の高い安定したテールレイテンシと引き換えに、より小さなトランザクションを受け入れることを強制しています。"
線形化された2PC:"複数の調停者にまたがるトランザクションの場合、従来の2相コミット(2PC)は広域ネットワーク上では遅すぎます。なぜなら、2RTTを必要とするからです。DSQLは、調停者が投票するが、リーダーのみが最終コミットを単一のジャーナルに書き込む「Warpに触発された」トリックを使用します。これにより、複数のログの調整が回避されます。"
成果
独立したスケーラビリティ:"コンピューティング、コミットロジック、ストレージは完全に分離されています。読み取り容量を増やす必要がある場合は、ストレージノードを追加します。接続数の急増がある場合は、システムがより多くのQPを起動します。また、たとえばアクセスパターンに基づいて調停者範囲の配置を再構成するなど、個別にチューニング/最適化することもできます。"
0-RTTの一貫性のある読み取り:"QPがローカルタイムスタンプを割り当て、ストレージが残りを処理するため、データの読み取りにはリーダーとの協調が一切不要です。ネットワークレイテンシがストレージノードに到達するのとほぼ同じくらい高速です。OLTP SQLでは読み取りが書き込みよりもはるかに一般的であるため、これは大きな利点です。更新や一意のインデックスを持つ挿入など、ほとんどの書き込みも実際には最初に読み取りです。"
1-RTT(または1.5 RTT)コミット:"1行を書き込むか100行を書き込むかに関わらず、協調はコミット時に一度だけ発生し、コストはわずか1 RTT(マルチシャードコミットの場合はわずかに増加)です。"
「スローロックホルダー」問題なし:"悲観的ロックがないため、トランザクション端末を開いたままランチに出かけた開発者(論文からの正確な引用)がデータベースをダウンさせることはできません。読み取り側は書き込み側をブロックせず、書き込み側は読み取り側をブロックしません。"
古いチームを批判するのは難しいですが、論文のトレードオフや欠点を指摘しないのは、真のMurat Buffaloのレビューにはならないでしょう。トランザクション中の長い読み取り-変更-コミット期間のため、DSQLはホットキーでの書き込み-書き込み競合を起こしやすい可能性があります。これは、1つの行に詰め込めるバックツーバック操作の数を制限します(これは anyway アプリケーション設計が悪いことです)。高負荷の競合下では、トランザクションは中止されますが、従来のデータベースではキューイングされていた可能性があります。2つのリージョンが同じキーに書き込む場合、OCCは一方を中止し、残念ながらこの競合はコミット時にのみ検出されるため、リトライする必要があることを発見する前にWANネットワークレイテンシのペナルティを支払うことになります。
論文では広範な評価、ユーザー採用またはビジネス成果に関する定量的データを提供できませんでしたが、外部キー制約および高ローカリティシーケンスに関する摩擦について言及した率直な「教訓」セクションを提供しています。
大規模構築
最後に、やや直感に反するテイクアウェイがあります。完全に新しいグローバル本番データベースの構築は、実際には予想されるほど大変ではありませんでした。
はい、それは多くの作業でしたが、チームが軌道に乗ってからは、実行は驚くほどスムーズに感じられました。私はこれを2つの要因に帰します。優れた初期設計と、車輪の再発明を避けるという意図的な選択です。すべてをゼロから構築するのではなく、チームはPostgreSQLエンジンをSQL解析、実行、およびクライアントプロトコルのために使用し、そのローカルストレージとトランザクション処理レイヤーは破棄しました。新しいレプリケーションログを構築しませんでした。AWSの既存の内部ジャーナルサービスを使用しました。また、JournalDBや残念ながら名前が付けられたQLDB(Quantum Ledger Database)のような、先行するAWSデータベースプロジェクトからの苦労して得た教訓も得ていました。ツールの他に、チームのダイナミクスは素晴らしかったです。Marc Brookerは技術的に優秀であり、才能あるプリンシパルエンジニアのチームを率いるという素晴らしい仕事をした。毎週のホワイトボードでの思考セッションはとても楽しかった。基盤となるアーキテクチャが非常によく設計されていたため、実際にはこの規模の製品で予想されるよりも開発ははるかに容易に感じられました。(しかし、プロジェクトの最後の1年間はチームと一緒にいませんでした!)