768台のサーバーを1台のように見せる方法
Making 768 servers look like 1 (planetscale.com)
要約
この記事は、大規模アプリケーションのインフラストラクチャにおいて、多数のデータベースサーバーを単一の論理的なデータベースとして機能させるための「シャーディング」という技術について解説しています。特に、Postgresデータベースを768台のサーバーに分散させる場合の複雑さと、それを解決するためのプロキシレイヤーの重要性を説明しています。
全文翻訳
768台のサーバーを1台のように見せる方法
これは768台のサーバーです。
多くの人にとっては大量のコンピューターに見えるでしょう。しかし、数百万の顧客を持つアプリケーションのインフラストラクチャを管理し、毎秒数百万のクエリを実行している者にとっては、ごく普通の光景です。この規模の製品では、数千台のサーバーが連携して動作することが頻繁に必要とされます。
インフラストラクチャコンポーネントの中で最もスケーリングが難しいのは、ほぼ常にデータベースです。単一のデータベースサーバーではこのような需要に対応できないため、データベースシャーディングによってクエリとデータを多数のサーバーに分散させる必要があります。
データベースシャーディングは、数テラバイトを超えるデータを扱うPostgresやMySQLデータベースをスケーリングするための最良の方法です。ここでは、小規模な単一ノードデータベースから、4つのシャードに分散された数テラバイトのデータベース、さらには768台のサーバーにシャーディングされ、1ペタバイトのデータを格納するデータベースへと、どのように進化していくのかを見ていきましょう。
成長痛
リレーショナルデータベースのスケーリングにおいてシャーディングが必要不可欠な理由を理解するには、スケーラビリティの低いアプローチのボトルネックを理解する必要があります。
まず、シンプルなアプリケーションアーキテクチャを考えてみましょう。
あなたがこれまでに利用したほとんどのアプリケーションは、このように機能するか、少なくとも初期段階ではそうでした。クライアントデバイスで実行されるソフトウェアは、インターネット経由でアプリサーバーに接続します。このアプリサーバーはデータセンターに存在し、認証、ページロード、およびアプリケーションの動作方法に関するすべてのサーバーサイドロジックを処理します。ユーザーアカウント、投稿、設定、メッセージなどの永続化されたデータはすべて、データベースサーバー(通常はPostgresまたはMySQLですが、この記事の焦点はPostgresです)に格納され、そこから取得されます。
大規模なデータベースサーバー(CPUコア数十個、RAM数百ギガバイト)を使用しても、ボトルネックはかなり早く発生します。通常、これはクエリボリュームの高さによるCPU制約、または読み書きボリュームの高さによるI/O制約(IOPS)のいずれかです。
これは、Universal Scalability Law(普遍的スケーラビリティの法則)によってうまく要約されています。
要するに、USLは、リソースの競合がリソースの増加に伴ってスケーラビリティをサブ線形に増加させ、ある時点では不整合がパフォーマンスの低下を引き起こすと述べています。これは、より大きなサーバー上の多数のスレッドまたはプロセスにわたってスケールアウトしようとするあらゆるソフトウェアシステムと同様に、Postgresにも当てはまります。
これを解決する一つの方法、少なくとも短期的な解決策は、リードレプリカを活用することです。
この構成では、元のサーバーをプライマリとして維持し、上記のように追加のレプリカを追加します。
プライマリは、レプリカがプライマリのデータ変更を常に最新の状態に保つために、すべてのレプリカに継続的なメッセージストリームを送信します。書き込み(INSERT、UPDATE、DELETE)はプライマリにのみ行うことができます。いずれかのサーバーに書き込みを許可すると、データが競合する可能性があります。これを解決するには複雑で遅い合意アルゴリズムが必要ですが、ほとんどの場合、最適なパフォーマンスのためには理想的ではありません。
しかし、アプリサーバーはレプリカに読み取り(SELECT)クエリを送信できます。ほとんどのアプリは書き込みと比較して読み取りの割合がはるかに高いため、これによりスケーラビリティが大幅に向上します。(レプリカは、クエリトラフィックがそれらを必要としない場合でも、高可用性とデータ耐久性のために必要です)。
レプリカを追加することで、データベースはより多くのトラフィックを処理できるようにスケーリングできます。これの極端な例は、OpenAIによる単一プライマリでの50レプリカの使用です。
サーバーを垂直方向にスケーリング(CPU/RAMの増加)し、レプリカを追加しても、ある程度までしか到達できないことが判明しています。この方法では解決できないいくつかのボトルネックがあります。
1) 書き込みは1台のサーバーに限定される
書き込み量が十分に多い場合、追加の読み取り専用レプリカの数では問題を軽減できません。Postgresがコミットされた書き込みを認識する前に、変更を書き込み先行ログ(WAL)に記録し、そのログを耐久性のあるストレージにフラッシュする必要があります。WALは、プライマリ上のすべての接続間で共有されるリソースです。これは、数十のレプリカがあっても、基本的にデータベース全体で単一の書き込みボトルネックとなります。
2) レプリカはデータ容量を増やさない
レプリカは、すべてのインデックスを含むプライマリデータの完全なコピーです。レプリカを追加すると読み取りを実行できる場所が増えますが、データは分散されません。
3) バックアップ
バックアップは、データ耐久性とRPO/RTO保証の重要な部分です。大規模なモノリシックデータベースのバックアップをオブジェクトストレージに取得するには、ノードからストレージへの通信帯域幅の制限により、数時間または数日かかることがあります。これは、頻繁で検証済みのバックアップに依存する多くの組織にとって、許容できないほど長いです。
これを処理する最も実績のある方法はシャーディングです。
シャーディング、「d」付きで
シャーディングは、データとクエリを多数の個別のプライマリに分散させることで、これら3つのボトルネックを解決します。データに関しては、単一ノードが格納できる量には限界があり、書き込みスループットも制限されているため、これは有用です。クエリに関しては、ネットワーク相互接続とCPUが処理できるクエリの数には限界があるため、これは有用です。
シャーディングは、数テラバイトを超えるデータを扱うあらゆる規模で有用です。たとえば、2テラバイトのデータがある場合、4つのシャードを持つセットアップを選択し、各シャードが500ギガバイトを格納し、合計クエリトラフィックの1/4を処理するようにすることができます。1ペタバイト(100万ギガバイト)のデータを格納する必要がある場合は、さらに多くのシャードが必要になります。この場合、256個のシャードを使用でき、各シャードにプライマリ+2つのレプリカがあり、それぞれ約4テラバイトの格納を担当します。これは768台のサーバーを必要とします!
適切なシステムがないと、アプリケーションのバックエンドにかなりの複雑さが加わります。これほど多くのことが進行している中で、システムはどのようにして...
- どのデータがどのサーバーに行くかを決定するのか?
- どのクエリがどのサーバーに行くかを決定するのか?
- 複数のシャードに同時にアクセスする必要があるクエリを処理するのか?
- この分散されたデータベース全体のバックアップを取得するのか?
- システム全体の健全性を監視するのか?
- 障害が発生したサーバーに対応するのか?
これらの懸念事項のそれぞれに対処するために、多くのことを言うことができます。しかし、この記事で取り上げる質問は次のとおりです。
これらの768台のサーバーを、私たちのアプリケーションにとって、1つのまとまったデータベースのように見せるにはどうすればよいでしょうか?
私たちは、アプリケーションサーバーが次のような複雑なシステムとのやり取りから、
単一の接続文字列を介してやり取りできるようになり、あたかも1つの大規模でスケーラブルなデータベースとインターフェースしているかのように見せたいと考えています。
実際には、数十または数百のシャードを利用しながら。
Postgresの場合はNeki、MySQLの場合はVitessがこれを解決します。どのように解決するか見てみましょう。
プロキシレイヤー
いくつかの重要な要素の中で最も重要なのはプロキシレイヤーです。
プロキシは、2つのサービスの間に配置されるミドルウェアサーバーです。この場合、これら2つのサービスはアプリケーションサーバーとデータベースサーバーです。
プロキシはPostgresデータベースで頻繁に使用されます。シャーディングがない場合でも、コネクションプーリングやリクエストキューイングに役立ちます。通常の(シャーディングされていない)Postgresでは、PgBouncerは、多数のアプリ接続を少数の直接的なPostgres接続に多重化するために使用される一般的なプロキシです。
PgBouncerの目標はシンプルです。多数のクライアントからの多数の接続を受け入れ、それらをPostgresとの間で継続的に維持される少数の接続プールにルーティングするように構築されています。クエリキューイングは、トラフィックの急増時やデータベースのフェイルオーバー時に役立ち、新しいプライマリがオンラインになったときにリクエストを再開できます。詳細については、PgBouncerに関するブログ記事全体をご覧ください。
Postgresのシャーディングには、さらに高度なプロキシが必要です。最大の С différence は、多重化とバッファリングに加えて、プロキシがデータがサーバー間でどのように分散されているかを理解し、SQLクエリを正しいシャードにルーティングする必要があることです。このため、これをルーターと呼びます。
データを挿入する際、ルーターはデータがどのように分散されるべきかを認識している必要があります。これはシャーディング戦略として知られています。
一般的なアプローチは、ID列のハッシュに基づいて受信行をシャーディングすることです。次のような行をデータベースに挿入する場合:
INSERT INTO users (id, username, email) VALUES
(1, 'ada', 'ada@example.com'),
(2, 'grace', 'grace@example.com'),
(3, 'linus', 'linus@example.com'),
(4, 'margaret', 'margaret@example.com'),
(5, 'dennis', 'dennis@example.com'),
(6, 'barbara', 'barbara@example.com'),
(7, 'donald', 'donald@example.com'),
(8, 'james', 'james@example.com');
4つのシャードそれぞれに、格納を担当するIDの範囲が割り当てられ、ルーターは挿入を正しいシャードに送信します。挿入はまずルーターに送信され、そこで各IDのハッシュが計算され、正しいシャードに転送されて格納されます。
読み取りに関しては、一部のクエリはルーターが単一のシャードに渡すのに十分単純です。
SELECT email from user where id = 4;
この場合、ルーターが行う必要があるのは、どのユーザーIDがどのサーバーに存在するかを内部的にマッピングし、そのクエリを転送することだけです。上記の例に基づくと、これは最初の(一番上の)シャードになります。
より複雑なケースもあります。
SELECT email FROM user
WHERE id BETWEEN 3 AND 5;
このID範囲のユーザーは複数のシャードに分散されています。ルーターはデータトポロジーを理解し、一致する結果を含む可能性のあるすべてのシャードにクエリを分散する計画を作成し、ルーターで結果を集約して、完全な結果セットをクライアントに送信する必要があります。
最終的に、これはルーター自体が完全なクエリパーサーとルーティングプランナーを内蔵している必要があることを意味します。
ルーターは、クエリ解析、計画、コネクションプーリング、バッファリングをすべて単一のシステム内で実行できる必要があります。複雑なソフトウェアを正しく実装するのは困難です。
どうやって知るのか?
各データベースは、独自のスキーマ、テーブル、クエリパターンを持つユニークなものです。では、ルーターはどのデータやクエリがどこに行くのかを、どのように一般的に知ることができるのでしょうか?
NekiとVitessの両方で、これらはシステムのデータトポロジーを表すJSONファイルを通じて指定されます。VitessのVSchemaとNekiのデータトポロジーは、エンジニアにテーブルとクエリがどのように分散されるべきかを正確に記述するための多くの柔軟性を提供します。以下は、userテーブルのシャーディングスキームを指定する方法の簡略化された例です。
{
"shard_indexes": {
"user_hash": {
"type": "hash"
}
},
"tables": {
"user": {
"shard_by": "user_hash",
"column": "id"
}
}
}
このメタデータはルーターに格納され、userテーブルがuser_hashシャーディングインデックスを使用してid列でシャーディングされていることをルーターに伝えます。このuser_hashシャーディングインデックスは、ルーターの組み込み値ハッシュを使用します。受信する各行について、IDをハッシュし、それを格納する正しいシャードに送信します。
これはすべてテキストとJSONを通じてルーターに伝えられるため、AIエージェントはここで設定と最適化に役立ちます。
多数のプロキシ、1つのデータベース
256個のシャードが768台のサーバーにまたがり、毎秒数百万クエリという規模では、これらすべてのトラフィックを単一のプロキシでルーティングすることはできません。多数必要です!トラフィックの形状によっては、10個、あるいは100個かもしれません。
それでも、アプリケーションには単一のサーバーとして認識させたいと考えています。ここでネットワークロードバランサー(NLB)が役立ちます。
NLBはシンプルなジョブを持っています:単一のホスト/IP経由での接続を許可し、各接続を多数の宛先のいずれかに割り当てます。これがルーター全体にトラフィックを分散する方法です。割り当てられると、接続はそのライフタイム中、同じプロキシに留まります。
場合によっては、NLBは不要です。NLBを排除すると、アプリサーバーの接続ロジックにわずかな複雑さが加わります。各ルーターのホストを認識する必要があるためですが、ネットワークホップが1つ減り、往復遅延を最小限に抑えることができます。
全体像
これで、1ペタバイトのデータを格納する768台のサーバーが、アプリケーションにとって単一のモノリシックデータベースのように見えるためのすべてのピースが揃いました。
- アプリサーバーには、「データベース
mydb.pscale.comに接続する」と指示されます。 - DNSルックアップが実行され、NLBのIPアドレス
123.152.100.4が返されます。 - アプリは
123.152.100.4のデータベースに接続しようとします。 - これは接続をまずNLB経由で、次にN個のプロキシのいずれかにルーティングします。
- アプリはデータベースクエリの送信を開始します。これは
app -> NLB (オプション) -> プロキシ -> シャードのように流れます。複雑なルーティングロジックはアプリケーションから隠蔽されます。(簡略化のため、NLBは以下には描かれていません)。
この例は1ペタバイトへのスケーリングを示していますが、シャーディングはもっと早い段階で始めるべきです。正確な推奨事項は、各データベースのサイズ、スキーマ、QPSによって異なりますが、数テラバイトを超えるPostgresおよびMySQLについてはシャーディングを推奨します。その時点で、通常は前述のボトルネック(長いバックアップ、書き込みボトルネックなど)に遭遇し始めます。リレーショナルデータベースのスケーリングに課題を抱えている場合は、NekiとVitessが解決策です。
MySQL用のVitessは、世界最大のデータベースをスケーリングするために10年以上使用されてきました。私たちは顧客のために大規模なシャーディングデータベースを運用する長年の経験があり、Vitessプロジェクトのコアメンテナーです。Nekiは、Vitessの同じ専門メンテナーによって開発され、Postgresにさらに強力なシャーディングシステムをもたらしました。
それ以外のすべてについては?
NekiやVitessのようなシャーディングシステムが提供するすべてのものについて、私たちは表面をなぞったにすぎません。他にも興味深い詳細はたくさんあります。データをシャーディングする最良の方法は何ですか?シャーディングされたデータベースは障害にどのように対応しますか?シャードの数をどのように変更しますか?256個のシャードすべてで同時にバックアップを取得するにはどうすればよいですか?
これらの詳細については、続報にご期待ください。RSSフィードまたはXをフォローして、最新情報を入手してください。
ハッピーシャーディング。