分散システムエンジニアのためのATProto
ATProto for Distributed Systems Engineers (atproto.com)
要約
この記事は、AT Protocolがどのようにしてスケーラブルで分散型のバックエンドシステムを構築するかを、従来のWebアーキテクチャと比較しながら解説しています。従来の単一SQLデータベースや、それに続くNoSQLとストリーム処理を用いたアーキテクチャの限界を説明した後、AT Protocolがどのようにしてこれらのサービスを公開APIとして提供し、誰でもインスタンスを構築・参加できる分散型ネットワークを形成するかを説明します。共有データモデル(ユーザーデータリポジトリ、レコード、コレクション)と、データフローの仕組み(イベントログ、ビューサーバー)に焦点を当てています。
全文翻訳
分散システムエンジニアのためのAtproto
ストリーム処理(Kappaアーキテクチャ)を用いたバックエンドを構築した経験があれば、これから探求するシステムの種類に馴染みがあるでしょう。もし経験がない場合でも、心配はいりません!ステップを踏んで説明していきます。
従来のWebバックエンドのスケーリング
古典的で理想的なWebアーキテクチャは、アプリサーバーの背後にある「巨大な単一SQLデータベース」です。アプリはデータベースと通信し、フロントエンドからのリクエストを処理します。
アプリケーションが成長するにつれて、パフォーマンスの限界に達するため、スタックにキャッシュを追加します。
次に、シャーディングやレプリカを通じてデータベースを水平スケーリングするとしましょう。
これはかなり良い方法ですが、私たちは何億ものユーザーを持つソーシャルネットワークを構築しています。このモデルでさえ限界に達します。問題は、私たちのSQLデータベースが「強く一貫性」を持っていることです。これは、システム全体の状態が一様に同期されていることを意味します。強い一貫性を維持するにはパフォーマンスコストがかかり、それがボトルネックとなります。
システムを「結果整合性」を使用するように緩和できれば、はるかに大きくスケールできます。まずNoSQLクラスターに切り替えることから始めます。
これはスケーリングには良いですが、SQLなしではクエリの構築が難しくなってきます。SQLデータベースには、JOINや集計クエリのような多くの便利な機能があることがわかります。実際、私たちのNoSQLデータベースは単なるキーバリューストアです。機能の実装が面倒になってきました!
これを修正するには、データセットの事前計算されたビューを生成するプログラムを作成する必要があります。これらのビューは基本的にキャッシュされたクエリのようなものです。ビューに正規データを複製するため、非常に高速になります。
これらをビューサーバーと呼びます。
ここで、ビューサーバーをNoSQLクラスターの正規データと同期させ続けることが難しいことに気づきます。ビューサーバーがクラッシュして更新を見逃すことがあります。ビューが確実に最新の状態に保たれていることを確認する必要があります。
これを解決するために、イベントログ(Kafkaなど)を導入します。そのログは、NoSQLクラスターへのすべての変更を記録し、ブロードキャストします。ビューサーバーは、再起動が必要な場合でも、更新を見逃さないように、そのログをリッスンし、リプレイします。
これで、ストリーム処理アーキテクチャにたどり着きました。さらに多くの詳細をカバーできますが、今回はこれで十分です。
良いニュースは、このアーキテクチャがかなりうまくスケールすることです。強い一貫性を犠牲にし、読み取りクエリが最新のデータバージョンから遅れることがありますが、サービスは書き込みをドロップしたり、不正な状態になったりしません。
ある意味で、私たちはデータベースを「裏返しにすること」でカスタムビルドしました。正規ストレージをNoSQLクラスターに単純化し、ビューサーバーで独自のクエリエンジンを構築しました。構築ははるかに不便ですが、スケールします。
高スケーラビリティバックエンドの分散化
ATプロトコルの目標は、バックエンドがユーザーアカウントやコンテンツを含む状態を共有できるように、アプリケーションを相互接続することです。
どうすればそれができるでしょうか?図を見ると、システムの大部分は外部世界から隔離されており、アプリサーバーだけが公開インターフェースを提供していることがわかります。
私たちの目標は、この隔離を打破し、他の人々が私たちのNoSQLクラスター、イベントログ、ビューサーバーなどに参加できるようにすることです。
どのように見えるか見てみましょう:
これらの内部サービスのそれぞれが、外部サービスになります。それらは誰でも利用できる公開APIを持っています。さらに、誰でもこれらのサービスの独自のインスタンスを作成できます。
私たちの目標は、誰でもこの分散バックエンドに貢献できるようにすることです。つまり、単一のNoSQLクラスターや単一のビューサーバーだけでなく、多くのサーバーが連携して動作するようにしたいのです。したがって、実際にはもっとこのようになります:
では、これらのサービスすべてを連携させるにはどうすればよいでしょうか?
データモデルの統一
「ユーザーデータリポジトリ」と呼ばれる共有データモデルを確立します。
各データリポジトリにはJSONドキュメントが含まれており、これを「レコード」と呼びます。
整理のため、これらのレコードを「コレクション」にバケット化します。
ここで、NoSQLサービスがすべてこのデータリポジトリモデルを使用するように、意見を表明します。
覚えておいてください:データリポジトリサービスは依然として基本的にNoSQLストアですが、非常に特定の構造になっています:
- 各ユーザーはデータリポジトリを持ちます。
- 各リポジトリにはコレクションがあります。
- 各コレクションは、JSONドキュメントの順序付けられたK/Vストアです。
データリポジトリは誰でもホストできるため、URLを提供する必要があります。
ついでに、レコードにも完全なURLスキームを作成しましょう。
素晴らしい!また、これらのレコードをインターネット上で同期させるので、それらが本物であることを知るために暗号学的に署名するのが良いでしょう。
データフローの追跡
高スケーラビリティの分散バックエンドをセットアップしたので、アプリケーションがatproto上で実際にどのように機能するかをマッピングしましょう。
新しいアプリを作成するので、2つのものが必要になります:アプリサーバー(APIとフロントエンドをホストする)とビューサーバー(ネットワークからデータを収集する)。アプリサーバーとビューサーバーをバンドルすることが多いため、これを「Appview」と呼ぶことができます。そこから始めましょう:
ユーザーはOAuthを使用してアプリにログインします。その過程で、ユーザーは自分のデータリポジトリをホストしているサーバーを私たちに伝え、それを読み書きする許可を与えてくれます。
順調です。ユーザーのリポジトリ内のJSONドキュメントを読み書きできます。もし他のアプリ(プロフィールなど)からのデータが既にあれば、そのデータも読み取ることができます。シングルプレイヤーアプリを構築していたなら、これで完了です。
しかし、JSONドキュメントを書き込むときに何が起こるかを追跡しましょう。
これによりドキュメントがリポジトリにコミットされ、リポジトリをリッスンしているイベントログへの書き込みがトリガーされます。
そこから、イベントはリッスンしているすべてのビューサービスに送信されます。これには私たち自身のサービスも含まれます!
書き込みを行っているのが私たち自身であるのに、なぜイベントストリームをリッスンしているのでしょうか?なぜなら、書き込みを行っているのは私たちだけではないからです!多くのユーザーリポジトリがイベントを生成しており、多くのアプリがそれらに書き込んでいるのです!
これにより、分散バックエンド全体で円形のデータフローが見られます。書き込みはデータリポジトリにコミットされ、イベントログを通じてビューサーバーに発行され、そこでアプリケーションによって読み取られます。
そして(期待されるように)このネットワークはスケールし続けます。容量を追加するだけでなく、より多様なアプリケーションがこのオープンアプリケーションネットワークで共有されるようにするためです。
実用的なオープンシステムの構築
ATプロトコルは、P2P技術と高スケーラビリティシステムの実践を融合させています。私たちの設立エンジニアは、IPFSとDatのコアエンジニアであり、Martin Kleppmann(Data Intensive Applicationsの著者)がアクティブな技術アドバイザーです。
Blueskyが開始される前に、「後退しない」という明確な要件を設定しました。オープンネットワークとして機能しながら、以前のすべてのソーシャルアプリと同じくらい便利でグローバルなネットワークにしたいと考えていました。そのため、フェデレーションとブロックチェーンを見たとき、それらのアーキテクチャのスケーリング限界が際立ちました。私たちの解決策は、高スケーラビリティバックエンドの標準的な実践を取り入れ、P2Pシステムの技術を使用してオープンネットワークを作成することでした。