HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Celld: セルフホスト型、分散型 Durable Objects

Celld: Self-hosted, distributed Durable Objects (github.com)

234 pointsby calvinfo38 コメント

要約

Celldは、Cloudflare WorkersおよびDurable Objectsを自社インフラで実行できるオープンソースのデーモンです。各オブジェクトはSQLiteデータベースとして扱われ、S3互換ストレージでレプリケーションとノード間調整を行います。これにより、単一データベースの競合や障害の影響範囲を排除し、アイドル状態のセルは省電力化されます。

全文翻訳

celld

セルフホスト可能で分散型のDurable Objects。

celldは、Cloudflare Workersアプリケーションを独自のサーバー上で実行するためのオープンソースデーモンです。wrangler.jsonからWorkers、Durable Objects、KV、Queues、D1、R2、Workflows、Cron Triggers、静的アセットなどをデプロイできます。各オブジェクトは「セル」として扱われ、それぞれがSQLiteデータベースを持つ名前付きサーバーとなります。celldは長期的な状態をS3互換、Google Cloud Storage、またはAzure Blob Storageバケットに保存します。サービス制御プレーンやコンセンサスサービスは不要で、非アクティブなセルはほとんどコストがかかりません。詳細はcelld.devまたはドキュメントを参照してください。

仕組み

ノードは1つのcelldプロセスであり、各マシンで1つ実行します。各ノードはV8を内蔵し、Wranglerバンドルを実行します。1つのバケットを共有するノード群は「フリート」と呼ばれ、そのバケットにはデプロイメント、セルの状態、および小さな所有権レコードが格納されます。条件付きバケット書き込みにより、ノードはセルの所有権を獲得するため、一度に1つのノードのみがセルを所有します。フリートにはメンバーシッププロトコル、障害検出器、コンセンサスサービスは必要ありません。署名付きピアHTTPはルーティングとレプリケートログ転送を提供します。

celldは、コミットされた各SQLite書き込みをLTXレプリケーション形式でキャプチャします。単一ノードは、そのデータをバケットにアップロードすることで書き込みの永続性を証明します。2つ以上のノードからなるフリートは、より早く証明します。所有者はデータを他の1つまたは2つのノードに送信し、それらがディスクに保持した時点で書き込みは永続化されます。その後、celldはデータをバケットにアップロードします。単一ノードには送信先がないため、各書き込みはバケットを待ち、それらの書き込みははるかに遅くなります。セルを引き継いで復旧する前に、celldは前の所有者から開いているログを回復するため、バケットは長期的な状態を保持し、ノードは交換可能であり続けます。完全なプロトコルについては、celldが保証するものを参照してください。

celldで実行できるもの

celldはプログラム可能なWorkersプラットフォームを実行します。ランタイムと、CloudflareがWorkersおよびDurable Objects上に構築する各バインディングです。KV名前空間、キュー、D1データベース、ワークフローはそれぞれセルとして扱われ、Durable Objectと同じリース、レプリケーション、フェイルオーバーが得られます。R2バインディングは、フリートバケット内のオブジェクトを直接読み書きおよびリストします。各行は、そのままデプロイされるプロジェクトにリンクされています。

serviceexample
Workers: fetch handlers, service bindings, JS RPC, Node.js compathello
Durable Objects: SQLite storage, alarms, hibernating WebSocketscounter
KV: list, metadata, expiration, bulk importkv
Queues: producers, batching consumers, retries, dead lettersqueues
D1: SQL databases, batches, migrationsd1
R2: reads, writes, lists, multipart uploadsr2
Workflows: durable steps, sleeps, events, pause and restartworkflow
Cron Triggers: one run for each occurrence across the fleetcron
Static assets: asset-only or with a Worker, _headers, _redirectsstatic-assets
Dynamic Workers: runtime-loaded code and Tail Worker observabilitydynamic-worker-tails
Containers (experimental): a Durable Object that supervises a container, @cloudflare/containerscontainer
Sandboxes: the Cloudflare Sandbox SDK, @cloudflare/sandbox, on a container per sandboxsandbox

Cloudflareネットワーク、GPU、またはブラウザファームを必要とする製品はスコープ外です。Cloudflare互換性ページには、上記のサービスにおける各ギャップがリストされています。

インストール

インストーラーはcelldバイナリをダウンロードします(来歴はgh attestation verifyで検証可能です)。

curl -fsSL https://celld.dev/install.sh | sh

インストーラーが要求した場合、~/.local/binをPATHに追加してください。

celld deployでデプロイされるWorkerプロジェクトは、PATHにesbuildが必要です。アセットのみのプロジェクトは不要です。

インストーラーは各リリースを~/.local/lib/celld/releasesの下に保持し、現在のリリースを指すシンボリックリンクを作成します。celldをアンインストールするには、シンボリックリンクとリリースディレクトリを削除してください。

rm `which celld` && rm -rf ~/.local/lib/celld

コンテナ

リリースイメージにはcelldバイナリが含まれており、Linux x86-64およびARM64向けに公開されています。

docker run --rm ghcr.io/denoland/celld --version

ランタイムのローカル状態を永続化し、標準のAWS認証情報環境を渡します。

docker volume create celld-state
docker run --rm --network host \
  -e AWS_ACCESS_KEY_ID \
  -e AWS_SECRET_ACCESS_KEY \
  -e AWS_SESSION_TOKEN \
  -e CELLD_WATCH=/var/lib/celld/state \
  -v celld-state:/var/lib/celld \
  ghcr.io/denoland/celld \
  --bucket s3://my-cells-bucket \
  --endpoint https://ACCOUNT.r2.cloudflarestorage.com \
  --region auto \
  --listen 0.0.0.0:8080 \
  --internal-listen 10.0.0.12:8081 \
  --advertise node-a.internal:8081

AWS S3の場合は--endpointと--regionを削除してください。ポート8080をロードバランサー経由で公開し、ポート8081はプライベートネットワーク上に保持します。

実行方法

クラウドバケットなしでローカルアプリケーションを実行します。

celld dev

このコマンドはローカルオブジェクトストアを持つcelldノードを1つ起動するため、Dockerやクラウドバケットは不要です。Workerリスナーはhttp://127.0.0.1:9876を使用します。別のWorkerポートを選択するにはcelld dev --port PORTを使用します。別のインターフェースを選択するにはcelld dev --host IPを使用します。ループバック以外のIPはWorkerリスナーをネットワークに公開し、内部オペレーターリスナーはループバック上に留まります。このコマンドはアプリケーションの状態を.celld/devに保持するため、後続の呼び出しでは同じ永続データが使用されます。

状態は設定変更後も維持されますが、celldはそれを移行しないため、オブジェクトは新しい設定で拒否される値を保持する可能性があります。その場合、障害は変更とは無関係に見えます。サーバー起動前に.celld/devを削除するにはcelld dev --cleanを使用し、空のローカル状態から実行します。

デフォルトの表示はアプリケーションURLを強調し、ノード警告と情報ログを非表示にします。これらのログを表示するにはcelld dev --logsを使用します。エラーは、このフラグなしでも表示されたままです。出力をターミナル以外で有効にするには、NO_COLORを設定して色を無効にするか、FORCE_COLORを設定して色を有効にします。NO_COLORは常に優先されます。

このコマンドはプロジェクトを監視し、ソースまたは設定の変更後にアプリケーションを再ビルドします。ビルドが失敗した場合でも現在のアプリケーションを実行し続け、ビルドが成功した場合は永続状態を保持して再起動します。完全なローカル開発契約については、ドキュメントを参照してください。

celldは標準のAWS認証情報チェーンを使用します。Amazon EKSでは、celldはPod Identity認証情報を注入された環境変数と認証トークンファイルから読み取ります。S3互換バケットにデプロイしてから、同じバケットに対してcelldを開始します。

celld deploy . \
  --bucket s3://my-cells-bucket

celld \
  --bucket s3://my-cells-bucket \
  --listen 0.0.0.0:8080 \
  --internal-listen 10.0.0.12:8081 \
  --advertise 10.0.0.12:8081

1つのノードがバケット経由で各書き込みを証明するため、書き込みには1回のストレージ往復が必要です。同じバケットに対して2番目のノードを開始すると、celldはそのノードに各書き込みを送信します。2番目のノードがディスクにデータを保持するとすぐに書き込みが完了するため、往復よりもはるかに高速です。

書き込みレイテンシが重要な場合は、2つ以上のノードを実行してください。2番目のノードには追加の設定は必要ありません。なぜなら、ノードはバケットを通じて他のノードを見つけるからです。

どの程度速くなるかは、バケットまでの距離とフリートの負荷によって異なります。リージョンローカルストアへの書き込みは約90ミリ秒かかります。負荷のかかったラボフリートでは、リージョンローカルではないストアに対して約600ミリ秒、2番目のノードが書き込みを保持した後は約25ミリ秒を測定しました。celldが保証するものについては、celldが保証するものを参照してください。

別のS3互換サービスには--endpointを、推測できない場合は--regionを使用します。gs://バケットはGoogle Cloud Storageを選択します。celldはその後、Cloud Storage XML APIを世代前提条件と共に使用し、Application Default Credentialsで認証します。celldはgs://バケットに対してS3 --endpointを拒否し、ストレージリージョンを無視します。

celld deploy . --bucket gs://my-cells-bucket
celld --bucket gs://my-cells-bucket --listen 0.0.0.0:8080 \
  --internal-listen 10.0.0.12:8081 --advertise 10.0.0.12:8081

az://バケットはAzure Blob Storageを選択します。ここでNAMEはコンテナ、AZURE_STORAGE_ACCOUNT_NAMEはストレージアカウント名を指します。celldはストレージアカウントキー、マネージドID、またはワークロードIDのいずれか1つの認証情報ファミリーを必要とします。AKSワークロードIDはAZURE_AUTHORITY_HOST、AZURE_CLIENT_ID、AZURE_TENANT_ID、AZURE_FEDERATED_TOKEN_FILEを使用し、権限ホストはパブリックAzureクラウドを識別する必要があります。Microsoft Entra IDは、Blobの読み取り、書き込み、リスト、削除に対するデータプレーン権限を必要とします。Storage Blob Data Contributorロールがこれらを提供します。celldはaz://バケットに対してS3 --endpointを拒否し、ストレージリージョンを無視します。資格情報については、celldが保証するものを参照してください。

export AZURE_STORAGE_ACCOUNT_NAME=myaccount
celld deploy . --bucket az://my-cells-container
celld --bucket az://my-cells-container --listen 0.0.0.0:8080 \
  --internal-listen 10.0.0.12:8081 --advertise 10.0.0.12:8081

フリートは1つのアプリケーションを実行し、各ノードはdeploy/current.jsonから最新の正常にコミットされたデプロイメントをロードします。celld deployは、WorkerコードのためにPATHからesbuildを呼び出し、サポートされているWrangler設定サブセット(共同デプロイまたはアセットのみの静的アセットを含む)を受け入れ、ドキュメント化されたcrates/celld/protocol.rsの型を使用してデプロイメントオブジェクトを直接書き込みます。各ノードはバケットリースから所有者とピアを検出します。アカウントまたは参加サービスはありません。完全なコマンドラインについては、celld --helpを実行してください。

v0.4.1からのアップグレードは、既存のバケットとノードデータディレクトリを保持します。古いノードをすべて停止してから、同じ設定で新しいバイナリを開始します。起動時に、ノードがトラフィックをサービスする前にウェイクフォーマットが自動的にアップグレードされます。混合バージョンは、サービングフリートを共有できません。ウェイクフォーマット契約は、起動チェックと既存フリートデータの境界を説明しています。

ピアHTTPとオペレーターAPIは内部リスナーを使用します。すべての広告アドレスを信頼できるプライベートネットワークまたはWireGuardやTailscaleのような暗号化されたオーバーレイ上に配置し、内部ポートを公開しないでください。celldは、--unsafe-public-advertiseを指定しない限り、リテラルのパブリックIPを拒否します。明示的な広告アドレスには明示的な内部リスナーアドレスが必要であり、celldはホスト名または変換されたポートを検証できないため、広告アドレスを内部リスナーにルーティングする必要があります。最初の現在のノードは、バケット内にfleet/peer-auth.jsonを作成します。セルフェッチおよびRPCリクエストはプロトコルバージョンを運び、信頼できるプライベートネットワークに依存します。ピア制御および予約セルオペレーターリクエストは、フリートHMACを使用します。このHMACは各ボディをバインドし、クロック制限とリプレイ保護を提供します。バケットとその認証情報へのアクセスは、フリート管理者アクセスとして扱ってください。

フリートの運用

celld diagnoseはデフォルトで各ノードリースを列挙し、その後、各ライブピアに署名付き直接プローブを実行します。

celld diagnose --bucket s3://my-cells-bucket

レポートは個々の障害後もチェックを継続し、期限切れのレコード、不正または安全でない広告アドレス、到達不能なピア、互換性のないプロトコルを区別します。また、各ノードの粗い所有セル、常駐セル、WebSocket、RSS、CPU、ファイルディスクリプタ、圧力、およびシェディングサンプルも表示します。チェックを制限するには、1つ以上の--peer NODE_IDオプションを渡します。

celld cell listは、フリートバケット内のDurable Objectインスタンスをリストします。

celld cell list --bucket s3://my-cells-bucket

このコマンドは、1行あたり1つのClass:IDセルスコープを出力します。クラス名を指定すると、そのクラスのインスタンスのみがリストされ、--jsonを渡すと、1行あたり1つのJSONオブジェクトが出力されます。インスタンスは、最初のイベントが到達した後に表示されます。なぜなら、その所有者が所有権レコードをバケットに書き込むからです。アプリケーションが派生させたIDは表示されません。

リストは制限されています。1回のストレージリクエストで最大1000インスタンスが返されるため、コマンドは最大1000を出力し、stderrにさらに存在することを報告します。最後のインスタンスの印刷から続けるには--after SCOPEを渡すか、リスト全体を読み取るには--allを渡します。

celld d1は、デプロイされたD1データベースに対してSQLおよびマイグレーションを実行します。ノードは同じノードリースを通じて見つけられ、そのノードは作業をデータベースを所有するノードに送信します。

celld d1 migrations apply ledger --bucket s3://my-cells-bucket

マイグレーションファイルの拡張子はASCIIで大文字小文字を区別しないため、.sqlと.SQLファイルはマイグレーションです。コマンドは、拡張子が異なるファイルは無視します。

celld kvは、デプロイされたKV名前空間を読み書きします。そのバルクコマンドはWranglerファイル形式を使用するため、Wranglerエクスポートをcelldに直接移行できます。

celld kv bulk put sessions wrangler-export.json \
  --bucket s3://my-cells-bucket

celld r2は、r2_bucketsバインディングの背後にあるオブジェクトを読み書きします。このコマンドはフリートバケットを直接読み取るため、実行中のノードは不要で、リリースパイプラインはWorkerをデプロイする前にアーティファクトを公開できます。

celld r2 put assets app.zip --path dist/app.zip \
  --content-type application/zip \
  --metadata '{"release":"1.2.3"}' \
  --bucket s3://my-cells-bucket

celld queueは、デプロイされたQueueを検査および制御します。キューは配信が一時停止中でもメッセージを受け付け続けることができます。

celld queue info jobs --bucket s3://my-cells-bucket
celld queue pause jobs --bucket s3://my-cells-bucket
celld queue resume jobs --bucket s3://my-cells-bucket

各ロードされたノードにハードな常駐セル制限を設定します。

CELLD_MAX_RESIDENT_CELLS=1000 \
celld --bucket s3://my-cells-bucket --listen 0.0.0.0:8080 \
  --internal-listen 10.0.0.12:8081 --advertise node-a.internal:8081

celldはフリート全体で所有権をバランスします。各ノードは5秒ごとに共有フリートサンプルを読み取ります。1つのノードがサンプルをノードリースからリフレッシュするため、各リフレッシュはフリートのために各リースを1回読み取ります。重みあたりの所有セル数が最も多いノードは、サンプルごとに最大32個の休眠セルを、そのシェアを最も下回っているピアに渡します。休眠セルは1つのレコード書き込みとして移動し、その保留中のWebSocketsはコード1012で閉じられるため、クライアントは新しい所有者に再接続します。常駐セルは、アイドル状態の追放によって休眠されるまで移動しません(CELLD_IDLE_EVICT_S)。ノードにCPU数よりも大きいまたは小さいシェアを与えるにはCELLD_PLACEMENT_WEIGHTを設定し、バランスを無効にするにはCELLD_REBALANCE_INTERVAL_MS=0を設定します。いずれかのノードの内部リスナーでPOST /rebalance/pauseを実行すると、フリートが一時停止します。

celldはデフォルトで利用可能メモリの80%でメモリプレッシャーしきい値を有効にします。しきい値を変更するにはCELLD_MAX_RSS_MBを設定するか、メモリプレッシャーシェディングを無効にするには0に設定します。Linux cgroupでは、しきい値はアロケータ調整RSSとアクティブなcgroupワーキングセットの大きい方を使用します。celldはワーキングセットをmemory.currentからmemory.statのinactive_fileを引いたものとして計算し、測定されたアロケータースラックを差し引きます。これには、プロセスRSSが報告しないアクティブなカーネルチャージが含まれ、celldがシェディングによって返せないファイルページとアロケータページは除外されます。各サンプル前に、celldはセルが停止した後にCアロケータが保持するメモリを返します。そのため、休眠セルはストレージキャッシュをRSSに保持しません。/stateルートは4つの入力測定値すべてを報告します。

完全なcgroupチャージには、利用可能メモリの95%で別の絶対キャップが適用されます。celldはcgroupチャージを読み取れない場合、プロセスRSSを使用します。このキャップは、シェディングがカーネルチャージを返せない場合にノードを保護します。ノードはキャップが適用されると警告をログに記録します。キャップはしきい値のシェアではなく、利用可能メモリのシェアです。したがって、CELLD_MAX_RSS_MBの値が95%以上の場合、キャップが実効的な制限となり、celldは起動時にその決定を報告します。CELLD_MAX_RSS_MB=0は、しきい値とキャップの両方を無効にします。celldが利用可能メモリのサイズを読み取れない場合、明示的なしきい値の125%のキャップを適用します。

プレッシャー下では、celldは最も使用頻度の低いアイドルセルを永続的にレプリケートおよびフェンスし、エポックをリセットせずに未所有として公開し、新しい未所有セルの再取得を拒否します。アクティブな作業やライブホストWebSocketを持つセルはシェディングしません。スペアノードは割り当てを受け取りません。通常のトラフィックが到達すると、同じバケットプロトコルを通じて解放されたセルを取得します。各制限は個別に解放されます。しきい値は値の80%で解放され、キャップは値の80%で解放されます。したがって、一方の制限を超えても、ノードはもう一方の制限に対して保持されません。

各アイソレートには、ノードメモリとは別にV8ヒープ制限もあります。デフォルトは128MBで、Cloudflare上のDurable Objectの制限と一致します。変更するにはCELLD_V8_HEAP_LIMIT_MBを設定します。各休眠可能なWebSocketクライアントはヒープに状態を保持するため、制限によってセルが保持できるクライアント数が決まります。デフォルトでは約50,000、約512MBでは約100,000です。

この制限の90%を超えるアイソレートは、新しい休眠可能なWebSocketを拒否し、ヒープの使用量が90%を下回ると再び受け入れます。制限に達したアイソレートは、SQL結果セットのマテリアライゼーションも停止します。どちらのエラーもヒープを指します。celldは各イベントの前にヒープを測定し、使用量が制限の75%を下回るとアイソレートは再びサービスを提供します。アイドル状態のアイソレートは、何かが割り当てられるまでデッドヒープを保持するため、celldは共有量を超えた測定値がある場合にコレクションを強制します。プロセスの再起動は必要ありません。

貢献

プルリクエストは無効です。コーディングエージェントは、メンテナーが節約する時間よりも多くの時間を消費する、大規模で低コンテキストの変更を送信しやすくします。思慮深い貢献は歓迎されます。コードを理解し、パッチを集中させ、レビューに費やす時間を尊重してください。

git format-patch添付ファイルをry@deno.comに送信してください。

コントリビューターライセンス契約:パッチをメールで送信することにより、送信する権利があることを証明し、Deno Land Inc.に譲渡できるすべての権利を譲渡します。譲渡できない権利については、Deno Land Inc.に、パッチを(全部または一部)、帰属表示の有無にかかわらず、使用、変更、結合、再ライセンス、再配布、または公開するための、永久的、取消不能、全世界的、ロイヤリティフリー、譲渡可能、サブライセンス可能なライセンスを付与します。

ライセンス

Apache-2.0

公開フリートの運用前に、制限事項とセキュリティページを参照してください。