HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

データベースを毎日出荷する方法

How to ship a database every day (turbopuffer.com)

46 pointsby tarunnnp7 コメント

要約

Turbopufferは、顧客の要求に迅速に対応するため、1日に数十回のデータベースアップグレードを展開しています。同社は、パブリックSaaS、シングルテナントSaaS、BYOC(Bring Your Own Cloud)の3つのデプロイメントモデルをサポートし、100以上のクラスターを運用しています。BYOC環境では、顧客のクラウドアカウント内でデータベースを運用する必要があるため、SSHやkubectlによる直接アクセスができません。この問題を解決するため、Turbopufferは各クラスターにローカルエージェントを導入し、Kubernetes CRD(TurbopufferOperation)を使用して、アップグレードなどの操作を状態遷移として管理しています。これにより、外部からのアクセスなしに操作を完了させることができます。

全文翻訳

データベースを毎日リリースする方法

2026年8月14日 • Tarun Pothulapati (エンジニア)

毎日、Turbopufferの顧客は新しいクエリプラン、新しいAPI、新しいインデックス構造などを求めてきます。それに応えるため、私たちはクラスタ全体で1日に数十件のデータベースアップグレードをデプロイしており、その多くはPR(プルリクエスト)を開いたその日のうちにリリースされます。高速なリリースこそが、すべての顧客に、あたかも自分が唯一の顧客であるかのように感じてもらう方法なのです。

私たちはTurbopufferを実行できる場所を制限したくありません。そのため、パブリックSaaS、シングルテナントSaaS、BYOCの3つのデプロイメントモデルにわたり、多くのリージョンをサポートしています。合計で100以上のクラスタを運用しており、これは6ヶ月前の2倍の数であり、さらに多くのパブリックリージョンと多くのBYOCデプロイメントを追加するにつれて増加しています。

 ╔═ turbopuffer cloud account ═════════════════════╗       ╔═ customer cloud account ═══╗
 ║                                                 ║░      ║                            ║░
 ║  ┏━ public ━━━━━━━━━━┓ ┏━ single-tenant ━━━━━┓  ║░      ║  ┏━ BYOC ━━━━━━━━━━━━━━━┓  ║░
 ║  ┃ AWS | GCP         ┃ ┃ AWS | GCP           ┃  ║░      ║  ┃ AWS | GCP | Azure    ┃  ║░
 ║  ┃ shared resources  ┃ ┃ dedicated resources ┃  ║░      ║  ┃ customer's resources ┃  ║░
 ║  ┃                   ┃ ┃                     ┃  ║░      ║  ┃                      ┃  ║░
 ║  ┃ tpuf operator     ┃ ┃ tpuf operator       ┃  ║░      ║  ┃ no tpuf operator     ┃  ║░
 ║  ┃ access            ┃ ┃ access              ┃  ║░      ║  ┃ access               ┃  ║░
 ║  ┗━━━━━━━━━━━━━━━━━━━┛ ┗━━━━━━━━━━━━━━━━━━━━━┛  ║░      ║  ┗━━━━━━━━━━━━━━━━━━━━━━┛  ║░
 ║                                                 ║░      ║                            ║░
 ╚═════════════════════════════════════════════════╝░      ╚════════════════════════════╝░
  ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░       ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
╔═ tpuf account ═══════════╗
║ ┏ public ━━━━━━━━━━━━━━┓ ║
║ ┃ AWS | GCP            ┃ ║
║ ┃ shared resources     ┃ ║
║ ┃ tpuf operator access ┃ ║
║ ┗━━━━━━━━━━━━━━━━━━━━━━┛ ║
║ ┏ single-tenant ━━━━━━━┓ ║
║ ┃ AWS | GCP            ┃ ║
║ ┃ dedicated resources  ┃ ║
║ ┃ tpuf operator access ┃ ║
║ ┗━━━━━━━━━━━━━━━━━━━━━━┛ ║
╚══════════════════════════╝

╔═ customer account ═══════╗
║ ┏ BYOC ━━━━━━━━━━━━━━━━┓ ║░
║ ┃ AWS|GCP|Azure        ┃ ║░
║ ┃ customer's resources ┃ ║░
║ ┃ no tpuf operator     ┃ ║░
║ ┃ access               ┃ ║░
║ ┗━━━━━━━━━━━━━━━━━━━━━━┛ ║░
╚══════════════════════════╝░
 ░░░░░░░░░░░░░░░░░░░░░░░░░░░░

BYOC の問題点

BYOC(Bring Your Own Cloud)クラスタは、デフォルトでは私たちに認証情報がない顧客のクラウドアカウント内に存在します。SSHやkubectlで直接アクセスすることはできません。一部のBYOCベンダーは、顧客に専用のクラウドアカウントを用意させ、そのアカウント内の管理者権限をベンダーに付与することでこの問題を解決しています。これにより、顧客の他のクラウドアカウントは分離されますが、専用アカウントごとにセキュリティ監視、コンプライアンス、請求のオーバーヘッドが発生し、私たちは一般的にこれを避けたいと考えています。

BYOCとSaaSで異なるコントロールプレーンを持たせることはしたくないため、私たちは最低共通 denominadorで設計する必要があります。私たちはいかなるクラスタにも立ち入ることなく、すべての操作を実行できる必要があります。

タッチできないデータベースクラスタをどのように運用するのか?

この方法が機能する唯一の道は、私たちがクラスタに対して実行する必要のあるすべての操作が、私たちが入ることなく実行できることです。クラスタは、中央コントロールプレーンとの接続が失われた場合でも、独立して操作を終端状態に導くことができなければなりません。

この解決策は、標準的なKubernetesの仕組みです。各クラスタでは、シンプルなステートマシンを実装したローカルのクラスタエージェントを実行しています。TurbopufferOperationという単一のKubernetes CRD(Custom Resource Definition)が、upgradeからtidyまで、あらゆる操作の種類を表現します。Kubernetesコントローラーは、各カスタムリソース(CR)を、再帰ループを通じて状態から状態へと遷移させ、終端状態に達するまで推進します。デフォルトでは操作は自動的に進行しますが、BYOC顧客は承認またはメンテナンスウィンドウによって操作をゲートすることができます。これらはCRDに待機状態として組み込まれており、承認が得られたり、ウィンドウが開いたりすると進行します。

╔═ operation lifecycle ═══════════════════════════════════════════╗
║                                                                 ║░
║    ┏━━━━━━━━━━━━━━━━━━━┓                                        ║░
║    ┃ REQUIRES_APPROVAL ┃                                        ║░
║    ┗━━━━━━━━┯━━━━━━━━━━┛                                        ║░
║             │ approve (auto or manual)                          ║░
║             ▼                                                   ║░
║    ┏━━━━━━━━━━━━━━━━━━━┓     ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓    ║░
║    ┃      PENDING      ┃ ──▶ ┃ AWAITING_MAINTENANCE_WINDOW ┃    ║░
║    ┗━━━━━━━━┯━━━━━━━━━━┛ ◀── ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┛    ║░
║             │ start()                                           ║░
║             ▼                                                   ║░
║    ┏━━━━━━━━━━━━━━━━━━━┓     ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓    ║░
║    ┃      RUNNING      ┃ ──▶ ┃ AWAITING_EXTERNAL_EXECUTION ┃    ║░
║    ┗━━━━━━━━┯━━━━━━━━━━┛ ◀── ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┛    ║░
║             │ poll()                                            ║░
║        ┌────┴────┐                                              ║░
║        ▼         ▼                                              ║░
║    ┏━━━━━━━┓ ┏━━━━━━━┓                                          ║░
║    ┃SUCCESS┃ ┃FAILURE┃                                          ║░
║    ┗━━━━━━━┛ ┗━━━━━━━┛                                          ║░
║                                                                 ║░
╚═════════════════════════════════════════════════════════════════╝░
 ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
╔═ operation lifecycle ════╗
║ ┏━━━━━━━━━━━━━━━━━━━━━━┓ ║░
║ ┃  REQUIRES_APPROVAL   ┃ ║░
║ ┗━━━━━━━━━━━┯━━━━━━━━━━┛ ║░
║             ▼ approve    ║░
║ ┏━━━━━━━━━━━━━━━━━━━━━━┓ ║░
║ ┃       PENDING        ┃ ║░
║ ┗━━━━━━━━━━━┯━━━━━━━━━━┛ ║░
║             ▼ start()    ║░
║ ┏━━━━━━━━━━━━━━━━━━━━━━┓ ║░
║ ┃       RUNNING        ┃ ║░
║ ┗━━━━┯━━━━━━━━━━━┯━━━━━┛ ║░
║      ▼ poll()    ▼       ║░
║ ┏━━━━━━━━━┓ ┏━━━━━━━━━┓  ║░
║ ┃ SUCCESS ┃ ┃ FAILURE ┃  ║░
║ ┗━━━━━━━━━┛ ┗━━━━━━━━━┛  ║░
╚══════════════════════════╝░
 ░░░░░░░░░░░░░░░░░░░░░░░░░░░░

鍵となるのは、既存および将来のあらゆる操作の種類をモデル化するのに十分汎用的でありながら、リコンサイラーが常に終端状態に向かって推進できるほど有限な状態を定義することです。作業を行うために私たちがクラスタに立ち入る必要は決してなく、状態はクラスタ自身のetcd内に永続的なオブジェクトとして存在します。エージェントがクラッシュしたり、コントロールプレーンとの接続を失ったりしても、その作業を完了まで推進することができます。

ローカルで永続的なステートマシンは、作業を推進するためにクラスタに立ち入る必要がないことを意味しますが、クラスタはどのようにして作業を取得するのでしょうか?

Terraformを使っていますよね?

ここでは、TerraformやHelmのようなインフラストラクチャ・アズ・コード(IaC)ツールに手を伸ばすのが一般的でしょう。これらのツールはインフラストラクチャのプロビジョニングには優れており、私たちもそれを使用しています!しかし、データベースフリートの運用においては、間違ったコントロールプレーンなのです。

第一に、Turbopufferには専用のDevOps機能がありません。データベースエンジニアに、彼らのコードをインフラにデプロイするように依頼しています。彼らのほとんどは過去にIaCツールをあまり使用したことがないため、それらのツールを彼らのクリティカルパスに置くのは理にかなっていません。

第二に、Terraformのデフォルトモデルでは、顧客のインフラをターゲットとして、私たち自身のインフラからterraform applyを実行する必要がありますが、これはBYOCでは実行できません。TerraformのGitOpsフローは、Gitリポジトリが更新されるたびに顧客が自身のクラウドアカウントから自動的にterraform applyをトリガーすることで、これを解決できる可能性があります。データベースアップグレードの場合、これは理論的には機能するかもしれません。Terraformの設定でDockerイメージを更新するだけです。しかし、リポジトリの所有者は誰でしょうか?もしそれが私たちのものであれば、承認ゲートを望むBYOC顧客はマージを制御できません。もしそれが彼らのものであれば、私たちは彼らのシステムへの書き込みアクセス権が必要になるか、人間がPRをマージするのを待つことになります。

どちらにしても、私たちの多くの操作は、より宣言的な形状を持っていません。一度限りの名前空間再インデックス、WALの圧縮、LSMのガベージコレクションのようなものは、状態ではなく、実行されるべきジョブです。すべてのカスタム操作は、ジョブを作成するための新しいマニフェストを持つgitコミット、次に完了したジョブをガベージコレクションするためのコミットが必要になります。Terraformファイルは、宣言的なマニフェストとしては優れていますが、ジョブキューとしてはひどいものです。

エージェントが作業を取得する方法(そしてそれをどのように追跡するか)

私たちはクラスタに立ち入ることはできませんし、GitOpsも使用しませんが、クラスタはコントロールプレーンから作業をプルし、ステータスをプッシュバックできる必要があります。システムは、クラスタとコントロールプレーン間の接続喪失に対して完全に耐性がある必要があります。コントロールプレーンの障害によって、正常なクラスタがダウンしてはなりません。接続が失われた場合、クラスタは再接続後に新しい操作を引き継ぐことができ、コントロールプレーンはクラスタの状態をキャッチアップできる必要があります。

これらの目標を達成するために、私たちはPlanetScale MySQLデータベースをバックエンドとするカスタム中央コントロールプレーンを構築しました。

各クラスタエージェントには、クラスタ固有のAPIキーが付与されます。操作を取得するために、エージェントは定期的に認証されたGETリクエストを通じてAPIサーバーにポーリングします。APIサーバーは、そのクラスタの保留中の操作を返します。エージェントが操作を取得すると、それらをカスタムリソースとして保存し、そのリコンサイルループを通じて実行を開始します。これは冪等です。各操作のCRは、その操作のIDで命名されているため、何らかの理由で後続のGETが同じ操作を再度返した場合でも、エージェントは既存のCRを見つけて、重複を作成するのではなくetcdに保存されている状態から再開します。

操作が進むにつれて、クラスタエージェントは定期的にバッファリングされたステータストラップジションをAPIサーバーにPOSTします。APIサーバーは、それをMySQLのstatus_transitionsテーブルにappend-onlyログとしてミラーリングします。

     tpuf engineers
            │
            ▼
╔═ control plane ═══════╗                       ╔═ cluster ══════════════════╗
║                       ║░                      ║                            ║░
║ ┏━━━━━━━━━━━━━━━━━━━┓ ║░                      ║ ┏━ cluster agent ━━━━━━━━┓ ║░
║ ┃         UI        ┃ ║░                      ║ ┃┌──────────────────────┐┃ ║░
║ ┗━━━━━━━━━┯━━━━━━━━━┛ ║░                      ║ ┃│    k8s controller    │┃ ║░
║           ▼           ║░                      ║ ┃│  (sync + reconciler) │┃ ║░
║ ┏━━━━━━━━━━━━━━━━━━━┓ ║◀─── GET operations ───║ ┃└───────────┬──────────┘┃ ║░
║ ┃     API server    ┃ ║░                      ║ ┃            ▼           ┃ ║░
║ ┗━━━━━━━━━┯━━━━━━━━━┛ ║◀── POST transitions ──║ ┃┌──────────────────────┐┃ ║░
║           ▼           ║░                      ║ ┃│ TurbopufferOperation │┃ ║░
║ ┏━━━━━━━━━━━━━━━━━━━┓ ║░                      ║ ┃│          CRs         │┃ ║░
║ ┃MySQL (PlanetScale)┃ ║░                      ║ ┃└──────────────────────┘┃ ║░
║ ┗━━━━━━━━━━━━━━━━━━━┛ ║░                      ║ ┗━━━━━━━━━━━━━━━━━━━━━━━━┛ ║░
║                       ║░                      ║                            ║░
╚═══════════════════════╝░                      ╚════════════════════════════╝░
 ░░░░░░░░░░░░░░░░░░░░░░░░░                       ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
     tpuf engineers
            │
            ▼
╔═ control plane ════════════╗
║ ┏━━━━━━━━━━━━━━━━━━━━━━━━┓ ║░
║ ┃           UI           ┃ ║░
║ ┗━━━━━━━━━━━┯━━━━━━━━━━━━┛ ║░
║             ▼              ║░
║ ┏━━━━━━━━━━━━━━━━━━━━━━━━┓ ║░
║ ┃       API server       ║ ║░
║ ┗━━━━━━━━━━━┯━━━━━━━━━━━━┛ ║░
║             ▼              ║░
║ ┏━━━━━━━━━━━━━━━━━━━━━━━━┓ ║░
║ ┃         MySQL          ║ ║░
║ ┃     (PlanetScale)      ║ ║░
║ ┗━━━━━━━━━━━━━━━━━━━━━━━━┛ ║░
╚════════════════════════════╝░
 ░░░░░▲░░░░░░░░░░░▲░░░░░░░░░░░░
      │GET work   │POST state
      │           │
╔═ cluster ══════════════════╗
║ ┏━ cluster agent ━━━━━━━━┓ ║░
║ ┃┌──────────────────────┐┃ ║░
║ ┃│    k8s controller    │┃ ║░
║ ┃│  (sync + reconciler) │┃ ║░
║ ┃└───────────┬──────────┘┃ ║░
║ ┃            ▼           ┃ ║░
║ ┃┌──────────────────────┐┃ ║░
║ ┃│ TurbopufferOperation │║ ║░
║ ┃│          CRs         │║ ║░
║ ┃└──────────────────────┘┃ ║░
║ ┗━━━━━━━━━━━━━━━━━━━━━━━━┛ ║░
╚════════════════════════════╝░
 ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░

エージェントのPOSTが応答を得られなかった場合、エージェントはトランジションをバッファに戻し、再試行します。応答が返ってこなかったとしてもPOSTは成功している可能性があり、同じトランジションがログに二重に現れることがあります。しかし、それは問題ありません。操作の現在の状態は、その最新のトランジションにすぎません。

これにより、一時的な接続喪失の場合でも、中央コントロールプレーンを各クラスタと同期させることができます。データベースは、私たちが各クラスタで実行したい望ましい操作のソース・オブ・トゥルースを維持し、それらの操作の状態のミラーを保持することで、遠隔からクラスタの状態を再構築できるようにします。

しかし、データベースは危険なインターフェースです。YAMLでコードをリリースしたくないと言いましたが、それをINSERT INTO SQLステートメントで置き換えるのは狂気の沙汰です。

実際に使用したいインターフェース

私たちは毎日、1日に複数回デプロイし、その合間にクラスタのデバッグとメンテナンスを行っています。もしあなたがTurbopufferのデータベースエンジニアなら、コントロールプレーンはあなたの好きなコードエディタと同じくらい信頼性が高く使いやすいものであることを望むでしょう。

コントロールプレーンには、APIサーバーをフロントエンドするカスタムRemix/Reactダッシュボードがあります。UXはLinearにインスパイアされています。すべてにホットキーがあり、キーボードだけで完全に操作できます。情報の階層は構造化されており、選択状態は明確なので、どのクラスタで作業しているかを正確に把握できます。

アップグレードは最も一般的な操作であり、UIもそれを反映しています。デプロイされたコミットSHAと、最新の合格SHAからどれだけ遅れているかを素早く確認でき、GitHubからメタデータ(コミットメッセージ、PR番号、コミット日)がプルされるため、SHAを解読する必要はありません。アップグレードは通常グループで行われるため、複数のデプロイメントモデルにわたる複数のクラスタを選択し、ターゲットコミットSHAを選んで、すべてキーボードからアップグレードできます。同様に、他のすべての操作もこのUIから開始できます。

[動画: Your browser does not support the video tag.]

0:00 / 0:00

クラスタを選択し、ターゲットSHAを選んで、キーボードからロールアウトアップグレードを実行します。

エンジニアが常にダッシュボードを見ているとは期待していないため、各操作のステータストラップジションを専用のSlackスレッドにストリーミングします。操作が失敗した場合、その失敗はチャンネルに大声で通知され、人々が反応して修正できるようになります。これにより、監視する必要なく注意を引くことができます。

BYOCクラスタでの操作に承認が必要な場合、同じSlackインテグレーションが、顧客専用のSlackサポートチャンネルを通じて自動的に顧客に通知し、承認できるようにします。

01 / 02

アップグレードスレッドには、コミット差分、ロールアウトステータス、および操作に関する会話が表示されます。

コントロールプレーンは、私たちが使用するすべてのデバッグおよび監視インターフェースへの便利なジャンプポイントも提供します。操作を注意深く監視したい場合、コントロールプレーンから直接、そのクラスタ(群)にスコープされたDatadogのログ、トレース、またはメトリクスにジャンプできます。顧客が高レイテンシを報告した場合、クエリポッドのメモリ/CPUプロファイルをPolar Signalsで素早く表示できます。顧客が名前空間の制限の引き上げを求めた場合、その名前空間を検査して設定をその場で更新できます(本当に!)。必要なすべてのツールがすぐ手元にあると、インフラとのつながりをより強く感じ、オンコールがずっと楽になります。

[動画: Your browser does not support the video tag.]

0:00 / 0:00

コントロールプレーンから、適切なコンテキストにすでにスコープされたログ、トレース、メトリクスにジャンプします。

このダッシュボードは単なるコントロールプレーンの補助機能ではありません。私たちはこれをファーストクラスのソフトウェアとして扱い、エンジニアリングリソースを投資しているため、クラスタ運用における複雑さは、シンプルで高速なキーボード駆動インターフェースの背後にほとんど隠されています。

フリートオペレーション

コントロールプレーンは非常にうまくスケールしましたが、フリート全体でのアップグレードの労苦を感じ始めました。クラスタとターゲットSHAを手動で選択し、アップグレードを開始し、監視し、問題がないことを確認してから次の段階に進むという作業です。フリートが大きくなるにつれて、数時間かかる可能性のあるロールアウトをシーケンス化し、監視することがより苦痛になりました。

現在では、あらゆる操作をフリートオペレーションとして送信でき、コントロールプレーンのフリートコントローラーが、1つ以上のクラスタを含む一連のウェーブ(波)にわたってそれをロールアウトします。ウェーブ間では、ゲートが、ウェーブ内のすべてのクラスタが正常にアップグレードされたこと、および監視が静かであることをチェックします。監視が発火したり、いずれかのクラスタが失敗したりすると、フリートコントローラーはロールアウトを一時停止し、Slackで私たちに通知し、悪いデプロイからの影響を制限します。

[画像: Fleet operations dashboard showing a paused upgrade across 15 clusters in three waves]

重要なのは、クラスタエージェントには何も変更がないことです。フリートやフリートオペレーションの概念はありません。依然としてAPIサーバーから保留中の操作をポーリングし、そのステータストラップジションは同じMySQLテーブルにミラーリングされます。すべての操作は、依然として同じローカルステートマシンによって駆動される同じCRDです。それらを数百個オーケストレーションすることは、効果的には既存のプリミティブのループにすぎません。

シンプルさがスケールする

Turbopufferのアーキテクチャは、推論しやすく、オンコールにも適しています。デプロイしやすいことも同様に重要であるべきです。コントロールプレーンで行う設計上の決定はすべて、シンプルさに集約されます。すべてのデプロイメントモデルに対応する単一のコントロールプレーン、すべての操作に対応する単一のCRD、フリート全体を管理する単一のUIです。

このシンプルさにより、コントロールプレーンを、わずかなパブリックリージョンを管理するものから、複数のデプロイメントモデルにわたる数十のリージョン、100以上のクラスタを管理するものへとスケールさせることができました。私たちは、このシンプルさが、数千へのスケールアップ時でも、私たちのリリース速度を維持することを可能にすると信じています。

turbopuffer

Turbopufferは、1兆以上のドキュメントをホストし、毎秒1000万以上の書き込みを処理し、毎秒10万以上のクエリを提供できる高速な検索エンジンです。私たちはさらに多くのものに対応する準備ができています。ぜひ、あなたのクエリを私たちにお任せください。

始めましょう