HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Cloudflare K2: サーバーレス イベントストリーム

Cloudflare K2: serverless event streams (blog.cloudflare.com)

284 pointsby elffjs111 コメント

要約

Cloudflareは、従来のRPCアーキテクチャにおけるプロデューサーとコンシューマーのスケーリングと同期の課題を解決するため、サーバーレスイベントストリーミングサービス「K2」をパブリックベータでローンチしました。K2は、イベントを順序付けられたログとして耐久性高く保存し、コンシューマーが自身のペースでデータを読み取れるようにします。

全文翻訳

Cloudflare K2: サーバーレスイベントストリームを発表

従来のRPC(Remote Procedure Call)アーキテクチャには、プロデューサーとコンシューマーが規模と時間で同期しなければならないという根本的な課題が存在します。プロデューサーがコンシューマーの処理能力を超えるデータを送信したり、コンシューマーや下流のサービスが利用できなくなったりすると、イベントが失われます。これは、データを独立して処理する必要がある複数のコンシューマーがいる場合に、さらに問題が複雑化します。例えば、eコマースのバックエンドでは、トランザクション完了時にイベントを発行し、それを分析システムと不正検知サービスが読み取る必要があります。

この問題は、プロデューサーとコンシューマーを分離することで解決できます。間にサービスを挿入し、書き込みを吸収しながら、独立したリーダーが自分のペースで消費できるようにします。

本日、この問題を解決するためにCloudflare K2をパブリックベータでローンチします。K2は、Developer Platform上の耐久性のあるイベントストリーミングプリミティブです。イベントをK2ストリームに送信すると、順序付けられたログとして保存されます。コンシューマーは、例えば一連のコンシューマー間で読み取りを分割したり、すべてのメッセージをすべてのコンシューマーに配信したりするなど、さまざまな方法で読み取ることができます。完全にサーバーレスで、膨大な量のデータにスケーリングし、長期保存をサポートするため、コンシューマーが長期間ダウンしてもデータが失われることはありません。

内部的には、K2はR2オブジェクトストレージ上にパーティション化された耐久性のあるログを実装しており、これにより巨大なストレージボリュームにスケーリングできます。

すぐに始めたい方は、こちらのガイドに従って、数秒で最初のストリームを作成できます。

エッジでのストリーム

K2を最初に構築したのは、私たち自身がエッジで耐久性のあるバッファーを必要としていたからです。当初はBasin Pipelinesの取り込みレイヤーとして機能していました。Pipelinesはストリーム処理エンジンによって駆動されており、プルベースのモデルで動作します。これは、イベントが読み取られ、変換され、R2に書き込まれる前に、他のシステムがイベントを保存する必要があることを意味します。そして、一度Pipelines Streamに取り込まれたイベントを決してドロップしないことを約束するため、そのストレージは潜在的に長期間にわたって耐久性がある(つまり、データを失わない)必要があります。

ここでほとんどの企業はApache Kafkaをデプロイするでしょう。しかし、PipelinesはCloudflareのエッジで実行されており、335以上の都市にまたがる膨大な数のサーバーに展開されています。私たちのユニークなアーキテクチャは、Kafkaのような従来の分散システムソフトウェアをしばしば実行できないことを意味し、これらのシステムがどのように構築され、運用されるかを再考する必要があります。

特にステートフルなサービスにとって、Cloudflareのグローバルインフラストラクチャはいくつかの課題をもたらします。比較的小さなマシンのスライスしか得られず、それらのマシンは比較的短命であり、ネットワークはしばしばパブリックインターネット経由です。しかし、私たちのインフラストラクチャにはいくつかのスーパーパワーもあります。世界中のどこにいてもユーザーに近いこと、そして水平方向にスケーリングするための驚異的な容量を持っていることです。

K2となった耐久性のあるバッファリングシステムを設計するにあたり、私たちはすでに持っている強力なステートプリミティブであるR2に依存することを決定しました。R2のようなオブジェクトストレージシステムは、非常に耐久性の高いストレージ(9が11個!)と強く一貫性のあるAPIを組み合わせています。レプリケーションとコンセンサスをストレージレイヤーにオフロードすることで、アプリケーションレイヤー(この場合はK2)を根本的にシンプル、安価、かつ高性能にすることができます。二次的な利点は、コンピュートとストレージを分離することであり、それぞれを独立してスケーリングできることを意味します。これにより、履歴データを低コストで大量に保存できます。

オブジェクトストレージ上にログを構築するにはどうすればよいでしょうか?すぐに問題となるのは、R2が(他のオブジェクトストアと同様に)アペンドをサポートしておらず、ログの標準的な操作であることです。代わりに、書き込みと読み取りのコストを克服するのに十分な大きさのファイル、またはセグメントを書き込む必要があります。これは、まずエッジサービスでインメモリで書き込みを蓄積することによって行います。データが到着するのを短時間待った後、すべてのイベントをセグメントファイルとして書き込みます。個別のコーディネーションサービスを必要とせずに、R2のアトミック操作を使用して順序付けと厳密に増加するオフセットを実現します。

R2上に構築することには多くの利点がありますが、1つの欠点があります。それは、プロデュースレイテンシが高くなることです。オブジェクトストレージへの書き込みはローカルディスクよりも遅く、書き込みを開始する前にローカルバッチが蓄積されるのを待つ必要があります。K2の初期リリースでは、これは応答時間の99パーセンタイルで約1秒のプロデュースレイテンシにつながります。

K2の設計に関する詳細については、今後の技術的な詳細解説で共有します。

ストリーム、キュー、またはパイプライン?

Cloudflareには、QueuesやBasin Pipelinesなど、いくつかの既存の非同期配信プリミティブがあります。これらの既存製品の代わりにK2を使用すべきなのはどのような場合でしょうか?

QueuesとK2 Streamsの間には、いくつかの表面的な類似点があります。どちらもイベントを受信し、耐久性を持って保存し、コンシューマーに配信します。Queuesは、非同期に完了する必要がある高価または時間のかかる作業の個々のアイテムを追跡することを中心に設計されています。例えば、画像処理アプリケーションは、実際の画像処理サービスによって処理されるユーザーリクエストをキューに入れる場合があります。これらは、リトライ、遅延、失敗した試行のためのデッドレターキューなど、特定の作業アイテムの粒度で複雑なロジックをサポートします。

対照的に、K2は高スケールのデータ移動、長期保存、ファンアウト消費のために設計されています。メッセージはバッチとして生成および消費され、メッセージレベルのリトライを犠牲にして効率的な処理を可能にします。このバッチ処理は、キューよりも高いプロデューサーレイテンシも引き起こします。

Basin Pipelinesはサーバーレスの取り込みサービスです。Pipeline JSONイベントを送信でき、それらは変換されてR2またはBasin Catalogに書き込まれます。最終的な結果がオブジェクトストレージまたはIcebergテーブルへのイベントの書き込みである場合はPipelinesを推奨し、カスタム処理や他の宛先への書き込みを行う場合はK2を推奨します。

始め方

K2を使用するには、まずストリームを作成します。ユースケースやイベントの種類ごとに、アカウント全体で多くのストリームを持つことができます。ストリームは、cf、Wrangler、ダッシュボード、またはAPIを通じて作成できます。

製品分析の収集と処理の例を見てみましょう。まず、cfでストリームを作成します。

$ cf k2 streams create --name app_events --http-enabled

{
  "id": "d78b09ee1f50430e9ec92a8af92b0231",
  "name": "app_events",
  "retention_seconds": 604800,
  "endpoint": "https://d78b09ee1f50430e9ec92a8af92b0231.k2.cloudflarestorage.com",
  "http": {
    "enabled": true,
    "authentication": false
  },
  "worker_binding": {
    "enabled": true
  },
  "created_at": "2026-09-28T15:14:39.053Z",
  "modified_at": "2026-09-28T15:14:39.053Z"
}

ストリームができたら、HTTP APIまたはWorkerバインディング経由でデータを送信し始めることができます。例えば、Workerバインディングを設定してから、次のように送信できます。

const result = await env.EVENTS.send([
  {
    content: new TextEncoder().encode(
      JSON.stringify({
        event: "page_view",
        path: new URL(request.url).pathname,
        timestamp: Date.now(),
      }),
    ),
    headers: { "content-type": "application/json" },
  },
]);

if (!result.success) {
  console.error(`Produce failed: ${result.error.message}`);
  return new Response("Failed to record event", {
    status: result.error.retryable ? 503 : 500,
  });
}

K2はデータをバイトとして表現するため、アプリケーションに適した任意の形式またはエンコーディングを使用できます。

これでストリームにイベントが格納されたので、サブスクリプションを作成できます。サブスクリプションは、コンシューマー間で作業を分割し、読み取り並列性を可能にします。これは、単一サーバーよりも多くの負荷を処理するために複数のリーダーにスケールアウトすることです。

HTTP API経由でサブスクリプションを作成できます。

$ curl -X POST "https://d78b09ee1f50430e9ec92a8af92b0231.k2.cloudflarestorage.com/subscriptions" \
    -H "Authorization: Bearer ${CLOUDFLARE_API_TOKEN}" \
    -H "Content-Type: application/json" \
    --data '{ 
      "name": "analytics_processor",
      "start_at": { "type": "earliest" }
    }'
{
  "result": { "id": "ee13f761783d3823a447a47b572ebf76" },
  "success": true,
  "errors": [],
  "messages": []
}

サブスクリプションが作成されたら、各コンシューマーからポーリングできます。

$ curl -X POST \"https://4d8f5394e3e733debdeca9c65c5b7439.k2.cloudflarestorage.com/subscriptions/ee13f761783d3823a447a47b572ebf76/consume" \
    -H "Authorization: Bearer ${CLOUDFLARE_API_TOKEN}" \
    -H "Content-Type: application/json" \
    --data '{ 
      "worker_id": "analytics-1",
      "max_records": 100
    }' 
{
  "result": {
    "batch_id": "b7e4c9210a3f468d95c2e1068fdb734a",
    "leased_until_ms": 1790633929437,
    "records": [
      {
        "timestamp_ms": 1790633629168,
        "content": "eyJldmVudCI6InBhZ2VfdmlldyJ9",
        "headers": {
          "content-type": "application/json"
        }
      },
      ...
    ]
  },
  "success": true,
  "errors": [],
  "messages": []
}

クライアントがconsumeを呼び出すと、5分間その特定のバッチのリースを受け取ります。クライアントは3つのうちのいずれかを行うことができます。

  • バッチをack(確認応答)する。これは、処理済みとしてマークし、再配信されないようにします。
  • バッチをnack(否定応答)する。これは、処理に失敗したため再配信を希望することを意味します。
  • リースをextend(延長)する。処理を完了するためにさらに時間が必要な場合。
$ curl -X POST "https://d78b09ee1f50430e9ec92a8af92b0231.k2.cloudflarestorage.com/subscriptions/ee13f761783d3823a447a47b572ebf76/batches/b7e4c9210a3f468d95c2e1068fdb734a/ack" \
  -H "Authorization: Bearer ${CLOUDFLARE_API_TOKEN}" \
  -H "Content-Type: application/json" \
  --data '{ "worker_id": "analytics-1" }'

これはK2から消費する1つの方法です。複数のコンシューマー間で作業を分割し、各コンシューマーがデータの1部を受け取るようにします。もう1つの読み取り方法は、各コンシューマーに個別のサブスクリプションを持つことです(Pub/Subパターン)。この場合、各コンシューマーはすべてのメッセージを参照します。または、これらの2つのアプローチを組み合わせることもできます。複数の独立したコンシューマープールを持つことも可能です。

詳細については、K2ドキュメントを参照してください。

価格と利用可能性

K2は本日、Workers Paidサブスクリプションを持つアカウント向けにパブリックベータで利用可能です。以下の制限があります。

  • 使用されるストレージの最大10GB
  • ストリームあたり30MB/秒のプロデュース

より高い制限が必要な場合は、Discordでチームに連絡するか、制限増加フォームに記入してください。

ベータ期間中はK2の使用に料金はかかりません。請求が開始されたら、次の価格を予定しています。

価格
生成データ1GBあたり0.04ドル
消費データ1GBあたり0.04ドル
保留データ1GBあたり月額0.02ドル

今後の予定

今後数ヶ月間、K2にはエキサイティングなロードマップがあります。これには以下が含まれます。

  • 書き込み並列性の向上、最大マルチGB/秒ストリームまで
  • メッセージキーとキーベースの順序保証
  • プッシュベースのワーカーコンシューマー
  • 低いプロデュースおよびエンドツーエンドレイテンシのエクスプレスティア
  • Apache Kafkaクライアントのドロップインサポート

K2で皆様が構築されるものを見るのを楽しみにしています!Cloudflare Discordでフィードバックを共有してください。