ゼロからPlanetScaleを構築しよう:インフラストラクチャ
Let's Build PlanetScale from Scratch: Infrastructure (onatm.dev)
要約
この記事は、PlanetScaleのようなデータベーススケーリングソリューションを自宅で再現するプロジェクト「Homescale」の第一弾です。著者は、データベースのストレージ層とコンピューティング層を分離し、イミュータブルなスナップショットからコピーなしで書き込み可能なインスタンスやブランチを作成するアイデアを探求しています。
全文翻訳
PlanetScaleをゼロから構築する:インフラストラクチャ
[画像: Homescale, PlanetScale at home.]
何年も前にデータベースツール会社で働いていた頃、PlanetScaleが流行る前にいくつかのデータベースクローニングツールを構築する幸運に恵まれました。
それらのツールはPlanetScaleほど成功する運命にはありませんでしたが、それなりの用途がありました。
それらのツールの背後にあるアイデアはシンプルでした:ストレージレイヤーをコンピューティングから分離し、データベースファイルのクローニングに最適なストレージテクノロジーを使用することです。
このアイデアはしばらく前に、F1チームとのインタビューについてツイートしていたときに再び私の頭をよぎりました。そのチームは、Rust開発者でCephの経験がある人材を探していました。Cephに言及したことで、私が関わっていた失敗した製品の試みを思い出し、友人に冗談で「Homescale、つまり自宅でPlanetScaleを構築するつもりだ」と言いました。
Homescale
私はgithub.com/homescale-dev/homescaleでHomescaleを構築しています。
Homescaleは、データベース全体をコピーすることなく、書き込み可能なデータベースインスタンスと、不変のスナップショットからのポイントインタイムブランチを作成します。
データベースの状態を表すために、Dockerのイメージとコンテナのモデルを借用しました:データベースイメージは不変の開始点です。データベースコンテナは、そのイメージから作成された書き込み可能なクローンです。ブランチは、既存のコンテナの状態から作成された別のコンテナです。
私が考えているCLIは次のようになります:
homescale image create --engine postgres postgres-base
homescale container create --image postgres-base dev-db
homescale container connect dev-db
homescale branch create --container dev-db feature-login
homescale container connect feature-login
このシリーズの例ではPostgresを使用していますが、Homescaleのストレージモデルはデータベースに依存しません。イメージ、コンテナ、ブランチのモデルは、ブロックデバイスによってバックアップされたファイルシステムに永続状態を保持し、リカバリ可能なスナップショットのために準備できる任意のデータベースエンジンに適用できます。Postgresは私がサポートする最初のエンジンであり、ストレージとオーケストレーションレイヤーを構築しながら具体的なものを使用するのに役立ちます。
エンジン固有の動作はアダプターの後ろに配置されます。そのアダプターは、イメージを初期化し、データベースプロセスを開始し、接続情報を公開し、必要に応じてスナップショットのためにデータベースを準備します。Homescaleは、そのライフサイクル(ボリューム、不変状態、書き込み可能クローン、ワークロード、 lineage)を処理します。
branchという言葉は、コンテナ間の関係を表します。これらのコマンドを実行した後、dev-dbとfeature-loginはどちらも書き込み可能なデータベースコンテナです。feature-loginは、ブランチが作成された時点でのdev-dbの状態から単純に開始されました。
内部的には、lineageは次のようになります:
flowchart LR
Image[/postgres-base<br/>image/]
Dev[dev-db<br/>writable]
State[/read-only<br/>state/]
Feature[feature-login<br/>writable]
Image -->|clone| Dev
Dev -->|snapshot| State
State -->|clone| Feature
イメージはすでに不変なので、Homescaleはそれを直接dev-dbから作成できます。書き込み可能なコンテナからブランチを作成するには、中間状態が必要です。Homescaleはまずdev-dbをある時点でキャプチャし、次にその状態からfeature-loginを作成します。
feature-loginの作成は、dev-dbをバイトごとにコピーすることを意味するわけにはいきません。100 GBのデータベースは、ブランチが開始される前にさらに100 GBのストレージを必要とします。
ブランチは、初期段階ではdev-dbのキャプチャされた状態とデータを共有する必要があります。その後変更されたデータのみが追加のストレージを必要とするべきです。
そのためには、ブランチ作成をデータベースプロセスの下、ストレージレイヤーで行う必要があります。
ストレージとコンピューティングの分離
データベースストレージとコンピューティングを分離することは、新しいアイデアではありません。標準的なAmazon RDSエンジンは、EBSボリュームにデータベースファイルとログファイルを格納します。Google Cloud SQLは、マシンシリーズに応じてPersistent DiskまたはHyperdiskを使用し、ネットワークブロックストレージがアタッチされたVMでデータベースプロセスを実行します。データベースは引き続き通常のブロックデバイスとして認識しますが、その永続データはコンピューティングホストのローカルディスクに紐付けられていません。
Aurora、AlloyDB、Azure SQL Hyperscaleはさらに進んでいます。それらのコンピューティングインスタンスは、データベース専用に設計された共有または分散ストレージシステムに接続します。コンピューティングインスタンスは、各インスタンスのデータの完全なコピーを作成することなく、交換またはスケーリングできます。
Homescaleは最初のモデルに近いです。データベースプロセスは、ブロックデバイスのように見えるもの上のファイルシステムを読み書きします。私が必要なのは、それを使用するプロセスからライフサイクルが独立したデバイスの後ろにあるストレージだけです。
flowchart TD
Database[Database process]
Filesystem[Filesystem]
Device[Block device]
Storage[(Persistent storage)]
Database -->|file reads and writes| Filesystem
Filesystem -->|block I/O| Device
Device --> Storage
この境界により、Homescaleはデータベースプロセスを開始する前にストレージを作成し、プロセスが停止した後もそれを保持できます。さらに重要なのは、データベースエンジンがブランチ機能を実装する必要なしに、ストレージレイヤーでブランチ作成を行えることです。
2つのPostgresプロセスは、共有された履歴について何も知りません。それぞれが独自の書き込み可能なブロックデバイスを認識します。サポートされている別のエンジンも同じストレージ境界を認識するでしょう。エンジンアダプターは変更されますが、スナップショット、クローン、lineageモデルは変更されません。
Homescaleはまだ、変更されていないデータを親と共有する書き込み可能なブロックデバイスを作成する方法を必要としています。
COW(Copy-on-Write)が秘訣
Copy-on-Write(COW)により、書き込み可能なクローンは、作成元の不変状態と変更されていないデータを共有できます。
Homescaleがdev-dbを作成すると、新しいコンテナは初期段階でpostgres-baseからデータを読み取ります。dev-dbによって行われた書き込みは、イメージを変更せずにコンテナに格納されます。
feature-loginの作成も同様のプロセスを繰り返します。Homescaleはdev-dbの現在の状態をキャプチャし、そこから新しい書き込み可能なコンテナを作成します。
キャプチャされた状態、dev-db@feature-loginは読み取り専用です。これは2つのコンテナが分離した時点を保持します。dev-dbは変更を続けることができますが、feature-loginはそのキャプチャされた状態の上に独自の変更を格納します。
feature-loginが変更していないデータを読み取る場合、ストレージレイヤーは親をたどってチェーンを遡ります。これは複数の世代を経てデータを見つけるまで続きます。共有データへの最初の書き込み時に、ストレージレイヤーは関連する割り当てユニットを書き込み可能なコンテナにコピーし、そこで変更を適用します。
したがって、100 GBのデータベースのブランチは、事前に100 GBのコピーを必要とせずに、完全な100 GBのデータベースとして表示されます。その初期コストは主にメタデータです。dev-dbとfeature-loginが分岐するにつれてストレージ使用量は増加しますが、小さなデータベースの書き込みでも、下位でより大きなストレージ割り当てが発生する可能性があります。
このモデルは依存関係も作成します。feature-loginは、自身のコンテナにコピーしていないデータのためにdev-db@feature-loginに依存します。Homescaleはその中間状態を、ブランチがまだそれに依存している間は削除してはなりません。
したがって、Homescaleは永続的なブロックデバイス、不変のスナップショット、および書き込み可能なCOWクローンを必要とします。
Ceph
CephはRBDを通じてこれらの操作を提供します。データベースは通常のブロックデバイスとして認識します。
Cephは、同じ基盤システム上でオブジェクト、ファイル、ブロックストレージを提供します。私が気にかけているのは、RADOS Block DeviceまたはRBDと呼ばれるブロックインターフェースだけです。RBDイメージは、マシンにマップされ、ファイルシステムでフォーマットされ、通常のディスクのようにマウントできる仮想ブロックデバイスです。
以前のストレージスタックでは、最下層の永続ストレージはCeph RBDイメージです。データベースは引き続き同じファイルシステムとブロックデバイスインターフェースを通じて読み書きします。
そのRBDイメージの下で、Cephはデバイスをオブジェクトに分割し、それらをオブジェクトストア全体に格納します。Cephのドキュメントでは、RBDイメージをRADOS内のオブジェクトにストライプされたブロックデバイスとして説明しています。デフォルトのオブジェクトサイズは4 MBですが、設定可能です。
これが、小さなデータベースの書き込みが、クローン内で必ずしも同等の小さな割り当てを作成しない理由です。クローンがまだ親と共有しているデータに最初に書き込む場合、Cephは書き込みを適用する前に、対応するRADOSオブジェクトを子にコピーする必要があるかもしれません。
RBDスナップショットは、ある時点でのイメージの読み取り専用ビューです。クローンは、まだ所有していないデータのためにそのスナップショットを参照する書き込み可能なRBDイメージです。Cephはこれをスナップショットレイヤリングと呼びます。
Cephは、どのデータベースがそれを使用しているかを知ることなく、ボリュームをスナップショットできます。そのスナップショットからデータベースが安全に起動できるかどうかは別の問題です。
その操作のための直接的なRBDシーケンスは次のとおりです:
rbd snap create homescale/dev-db@feature-login
rbd snap protect homescale/dev-db@feature-login
rbd clone \
homescale/dev-db@feature-login \
homescale/feature-login
Homescaleは、そのシーケンスを1つのコマンドで表現しますが、KubernetesとCeph CSIがバックエンドストレージ操作を実行します:
homescale branch create --container dev-db feature-login
dev-db@feature-loginは、2つのコンテナ間の中間読み取り専用状態です。Cephは、保護されている間はそれを削除しません。feature-loginは、マウント、スナップショット、および再ブランチ可能な通常の書き込み可能なRBDイメージです。
RADOS、OSD、およびRBD
RBDはRADOSの上にあり、RADOSはOSDを通じてオブジェクトを格納します:
flowchart TB
RBD[RBD image]
Objects[RADOS objects]
PG[Placement group]
OSDs[Acting OSD set]
Disks[(Storage devices)]
Pool[Pool policy<br/>replicas and CRUSH]
RBD -->|split into| Objects
Objects -->|hash to| PG
Pool -.->|controls placement| PG
PG -->|maps to| OSDs
OSDs -->|persist on| Disks
RADOSはCephの分散オブジェクトストアです。RBDはそれの上にブロックインターフェースを提供します。データベースがRBDバックエンドのファイルシステムに書き込むと、RBDはそのブロック操作をRADOSオブジェクトに対する読み書きに変換します。
それらのオブジェクトはプール内に存在します。プールは、レプリカ数や配置に使用されるCRUSHルールを含む、データの格納方法を定義します。
Cephはすべてのオブジェクトを直接ディスクにマッピングするわけではありません。まずオブジェクトを配置グループにマッピングし、次にその配置グループを1つ以上のOSDにマッピングします。これにより、Cephは、すべてのオブジェクトの場所のセントラルテーブルを維持することなく、OSDが追加、削除、または失敗したときにデータを移動できます。Cephアーキテクチャのドキュメントは、同じパス(オブジェクトから配置グループへ、次に配置グループからOSDへ)を説明しています。
OSDはストレージデバイス上にRADOSオブジェクトを格納し、それらの読み書きおよびレプリケーションを処理します。Cephは1つのデバイスを複数のOSDに分割できますが、ドキュメント化されたレイアウトはOSDあたり1つのストレージドライブです。それが私が使用するレイアウトです。
HomescaleはRADOSと直接通信しません。そのストレージ境界はRBDです:ボリュームを作成し、スナップショットを取得し、それをクローンします。オペレーターはKubernetes PVCおよびVolumeSnapshotリソースを通じてそれらの操作を要求します。
Kubernetesを制御プレーンとして
Homescaleにデータベースプロセス、ボリュームマウント、ネットワークエンドポイントを直接管理させたくありません。データベースとストレージの望ましい状態をKubernetesリソースを通じて記述し、コントローラーにその状態を実現させます。
CLIはHomescale APIと通信します。Homescaleはデータベースワークロード、PVC、およびVolumeSnapshotリソースを作成します。Ceph CSIはストレージリソースをRBD操作に変換し、RookはCephクラスター自体を操作します。
flowchart TB
CLI[Homescale CLI] --> Control
subgraph Kubernetes
Control["Homescale"]
Databases
StorageAPI["Storage API<br/>PVCs, snapshots, CSI"]
Ceph["Ceph storage<br/>RBD and OSDs"]
Control -->|reconciles| Databases
Control -->|creates| StorageAPI
StorageAPI --> Ceph
Databases --> Ceph
end
Ceph --> Disks[(Storage devices)]
Kubernetesコントローラーは、これらのリソースを望ましい状態に向けて調整します。データベースポッドが消失した場合、そのコントローラーがそれを置き換えます。PVCが互換性のあるStorageClassを通じて動的なプロビジョニングを要求した場合、CSIドライバーがそのストレージをプロビジョニングします。Homescaleは、独自のプロセス監視およびストレージアタッチメントロジックを実装する代わりに、その仕組みを利用できます。
アプリケーション固有のリソースとそのリソースを調整するコントローラーは、次のパートで扱います。ここでの重要な境界はKubernetesストレージAPIです:HomescaleはPVCおよびVolumeSnapshotリソースを要求し、Ceph CSIはそれらの要求をRBD操作に変換します。
ローカルおよびレプリケートされたデプロイメント
今のところ、HomescaleはmacOS上のシングルノードKubernetesクラスタでローカルに実行され、おそらくColimaまたはLimaを使用します。このローカルプロファイルには、1つのKubernetesノード、1つのCeph OSD、および1つのストレージデバイスがあります。
また、Hetzner Cloudで実行しているプライベートTalosクラスタにHomescaleをデプロイするかもしれません。そのクラスタのTerraformはすでにワーカープールの分離をサポートしているため、既存のアプリケーションワークロードの隣にOSDを配置することなく、Cephノードプールを追加できます。
size: 3およびfailureDomain: hostを持つレプリケートされたプールは、各オブジェクトのレプリカをそれらのノード間で配置できます。ディスクまたはノードが失敗した場合、Cephは生き残ったレプリカからボリュームを提供し続けることができます。
ローカルでは、データのコピーは1つです。Hetznerでは、ストレージノード全体に分散されたレプリケートされたCephプールに対して同じHomescaleオペレーターを実行できます。
RookがKubernetesとCephを接続する
CephClusterリソースは、RookにCephのバージョン、モニターとマネージャーの配置場所、およびOSDに使用できるデバイスを指示します。CephBlockPoolは、RBDプールとそのレプリケーションおよび障害ドメイン設定を記述します。Rookオペレーターはそれらのリソースを監視し、対応するCephデーモンと設定を作成または更新します。
分割は次のようになります:
flowchart TB
Pod[Database pod] -->|mounts| PVC[PVC]
Snapshot[VolumeSnapshot] -->|source for| NewPVC[New PVC]
PVC --> CSI[Ceph CSI]
NewPVC --> CSI
CSI -->|provisions in| Ceph[Ceph cluster]
CRs[Ceph resources] --> Rook[Rook operator]
Rook -->|reconciles| Ceph
Rookは、ストレージのプロビジョニングとマウントに使用されるCeph CSIドライバーを設定します。Homescaleは、rbdコマンドを実行したり、Ceph認証情報を保持したりすることなく、PVCおよびVolumeSnapshotリソースを使用できます。Rookのスナップショットドキュメントは、同じ復元フローを説明しています:PVCからVolumeSnapshotを作成し、そのスナップショットを別のPVCのデータソースとして使用します。
これにより、HomescaleはCephのデプロイメント形状から独立したままになります。ローカルクラスタは1つのOSDと1つのコピーを持つプールを使用できます。Hetznerクラスタは3つのOSDとホスト間のレプリケーションを使用できます。両方が互換性のあるStorageClassおよびVolumeSnapshotClassリソースを公開している限り、Homescaleオペレーターは同じ調整フローに従います。
次は何ですか?
次のパートでは、Homescaleサービスについて説明します:CLIが使用するAPI、データベースリソースを管理するコントローラー、およびPostgresアダプターです。
イメージとコンテナのパスから始めます。イメージリクエストは、Postgresボリュームを初期化し、それを不変のVolumeSnapshotとしてキャプチャする必要があります。コンテナリクエストは、そのスナップショットを新しいPVCにクローンし、Postgresを開始し、準備完了になるまで待機し、接続情報を返す必要があります。
そのパスが機能したら、実行中のコンテナからのブランチを追加できます。そのサービスフローは、ソースデータベースをスナップショットのために準備し、中間状態を作成し、そのlineageを記録し、そこから別の書き込み可能なコンテナを調整する必要があります。