HN 日本語サマリー

← 一覧へ戻る
Web開発

月額3ドルの予算でWeb 3Dの機能レポートを作成する

Reporting Web 3D Capabilities on a Budget of $3 a Month (ben3d.ca)

7 pointsby bhouston0 コメント

要約

Web3DSurvey.comは、Web 3D開発者向けにWebGLやWebGPUの機能サポートデータを収集するコミュニティサービスです。著者は、BigQueryの無料枠活用、効率的なデータ収集方法、JavaScriptでの集計、キャッシュ機構などを駆使し、月額約3ドルという低コストでこのサービスを運用している方法を解説しています。このアーキテクチャは、データ収集とレポート作成を分離し、コストを最小限に抑えています。

全文翻訳

月額3ドルの予算でWeb 3Dの機能レポートを作成する

私はコミュニティサービスとして Web3DSurvey.com を運営しています。このサイトは、3Dウェブ開発者が推測ではなく測定されたサポート率から機能を選択できるように、実際の WebGL、WebGL 2、および WebGPU の機能データを収集しています。なぜこのサイトを構築したのか (Introducing Web3DSurvey) や、v2 のリライトで何が追加されたのか (Web 3D Survey v2) については既に書きました。この記事では、人々が私によく尋ねる別の質問、つまり、運用コストはいくらで、パイプラインはどのように機能しているのかについて説明します。

2026年4月、サイトとデータを格納するサービスにかかった費用は約3カナダドルでした。2026年6月、コレクターは約50万件のリクエストを受け取りました。各リクエストには最大596個のデータポイントを持つ1つのサンプルが含まれており、月に約3億個のデータポイントに相当します。

私は2023年初頭に、まだ本番環境で使用したことのない React と BigQuery を学ぶためにこのプロジェクトを開始しました。学習は身につき、低コストも維持されました。アーキテクチャは、収集、レポート作成、およびそれらを運用するコストを分離しています。

コレクター

コレクターが測定するもの

コレクターは、3Dサイトが iframe を介して埋め込む小さなスクリプトです。ブラウザの WebGL、WebGL 2、WebGPU、WebXR、およびデバイスの機能について調査した後、結果の stats オブジェクトを API サーバーに送信します。専用の api-server はボットトラフィックをドロップし、正規化されたプラットフォーム、ブラウザ、およびエンジンフィールドを追加してから、バッチで BigQuery にサンプルを挿入します(これにより BigQuery の請求額が削減されます)。

当初はレガシーなストリーミング挿入 API を使用していましたが、BigQuery Storage Write API に置き換えました。現在のボリュームは月間の無料取り込み枠内に収まるため、BigQuery のコストが大幅に削減されました。

クライアントへの影響を軽減する

コレクターはホストページに配慮するように設計されています。参加サイトは、コレクター スクリプトを自身のページで直接実行するのではなく、小さな iframe として埋め込みます。これにより、セキュリティ(コレクター スクリプトがホストページ内のものにアクセスできないようにする)とパフォーマンス(コレクター スクリプトがホストページを遅くするのを避ける)の2つの目的が達成されます。

<iframe
  title="Web3D Survey"
  src="https://web3dsurvey.com/collector-iframe.html"
  style="width: 1px; height: 1px;"
></iframe>
コレクターが最初に GET リクエストでレポートする理由

コレクターは、POST にフォールバックする前に、GET リクエストでサンプルをレポートしようとします。分析データとしては奇妙に聞こえますが、サーバーへのクロスオリジンリクエストの数を半分に削減します。埋め込みコレクターからの JSON POST は、CORS OPTIONS のプリフライトリクエストと実際の POST をトリガーします。圧縮されたペイロードをクエリ文字列に含めたプレーンな GET は、プリフライトを必要としないため、成功したレポートは1つのリクエストでサーバーに到達します(2つではなく)。

ペイロードは依然として同じ stats オブジェクトです。コレクターはそれを文字列化し、gzip で圧縮し、圧縮されたバイトを base64 でエンコードし、結果を stats クエリパラメータに格納します。

const statsAsBytes = new TextEncoder().encode(JSON.stringify(stats));
const compressedStats = gzipSync(statsAsBytes, { level: 9 });
const encodedStats = btoa(String.fromCharCode(...compressedStats));
const searchParams = new URLSearchParams();
searchParams.append('stats', encodedStats);
await fetch(`${collectionUrl}?${searchParams.toString()}`);

これは、分析ブロッカーを回避するためではありません。それらは通常、ドメインまたはパスでブロックされ、リクエストが GET か POST かでブロックされるわけではありません。

BigQuery における50万件のサンプル

Web3DSurvey は毎月約50万件のコレクターリクエストを受け取ります。各リクエストには、最大596個のデータポイントを持つ1つのサンプルが含まれています。これは、月に約3億個のデータポイントに相当します。ブラウザが API をサポートしていない場合、一部のフィールドは空になりますが、形状は十分に広いため、分析スキャンに適したデータベースが必要です。

以前は PostgreSQL に分析データを格納しようとしました。PostgreSQL はトランザクション処理には優れていますが、成長するイベントテーブルに対する広範なオンデマンド分析は高価になり、応答性を維持するのが困難になります。最終的には、サマリーテーブル、バックグラウンド集計ジョブ、または2番目の分析システムを構築することになるでしょう。

BigQuery は、その分析システムを直接提供します。サンプルは、ブラウザ、WebGL、WebGL 2、WebGPU、および WebXR データの5日パーティション分割テーブルに格納されます。各パーティションは120日後に自動的に期限切れになります。

bq mk --table \
  --time_partitioning_field createdAt \
  --time_partitioning_type DAY \
  --time_partitioning_expiration 10368000 \
  --schema ./webgl2.json \
  web3dsurvey:stats_v4.webgl2

保持されているテーブルは現在、アイオワ州カウンシルブラフスの Google us-central1 リージョンに約 6.2 GiB を占めています。BigQuery は毎月最初の 10 GiB の論理ストレージを含んでいるため、このデータセットの保存にかかる費用は C$0 です。この無料枠がなくても、リスト価格は約 US$0.14/月 になります。

有料の作業は、データの挿入と分析のための取り出しです。このプロジェクトでは、正常に挿入された行に対して課金されるレガシー ストリーミング挿入を使用しています。オンデマンド クエリは、大きな月間無料枠を超えたバイト数に対して課金されます。レポートは直近7日間のみをクエリするため、保持されているデータの狭いスライスをスキャンします。

レポート作成

コレクターとレポート作成のパスは独立して実行されます。api-server はサンプルを書き込み、web3dsurvey サービスは公開サイトのアグリゲートを読み取ります。一方のトラフィックスパイクが他方を枯渇させることはありません。

小さなクエリと JavaScript ロールアップ

レポート作成サービスは、単一の巨大な集計クエリを実行するのではなく、多数の小さなクエリを実行し、JavaScript でサマリーを組み立てます。

A single feature query pulls the raw true/false counts grouped by platform and browser, filtered to the 7-day window:

SELECT
  platform.name AS platformName,
  browser.name AS browserName,
  COUNTIF(extensions.`EXT_color_buffer_float` = TRUE) AS `true`,
  COUNTIF(extensions.`EXT_color_buffer_float` = FALSE) AS `false`,
FROM `web3dsurvey.stats_v4.webgl`
WHERE platform.name IS NOT NULL
  AND version >= 7
  AND DATE(createdAt) >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY platformName, browserName

次に JavaScript が、これらのカウントをサポート率、プラットフォームごとの内訳、およびページが表示するブラウザファミリーごとのロールアップに変換します。同じパターンが、累積制限分布、アダプターとベンダーの階層、およびトップ N のトリミングを処理します。集計を JavaScript に保持することで、SQL をシンプルにし、ロジックをテスト可能な1つの言語に保ちます。

コストはファンアウトです。完全な WebGL レポートは、拡張機能とパラメータごとにこれらのクエリの1つを実行し、さらにアダプターとサポート クエリを実行します。これらはすべて並列で実行されます。

const [featuresArray, limitsArray, rendererInfo /* ... */] = await Promise.all([
  Promise.all(extensionNames.map((name) => getFeatureStats(tableName, 'extensions', name))),
  Promise.all(parameterNames.map((name) => getLimitStats(tableName, 'parameters', name))),
  getGraphicsAdapterStats(tableName, 'rendererInfo', 'renderer'),
  // ...
]);

各クエリは BigQuery に対して約 500 ms かかります。単一のレポートには、そのうちの数十個が必要です。ページビューごとにこれらのクエリを毎回実行すると、ページの構築に数秒かかります。

透明な JSON キャッシュ

BigQuery の組み込み結果キャッシュには依存できませんでした。BigQuery は、参照されているテーブルに最近のストリーミング挿入がある場合、クエリが変更されていない古いパーティションをフィルタリングする場合でも、キャッシュをスキップします。一日中サンプルが到着するため、有効期間を制御できる BigQuery 外部のキャッシュが必要でした。

BigQuery の前に配置される汎用的なキャッシングレイヤーを作成しました。すべての集計呼び出しは、名前、クエリパラメータ、TTL、および実際の作業を実行するクリエーター関数を受け取る cache() 関数を通過します。

const rows = await cache<GetFeatureStatsQueryResult>(
  'getFeatureStats',
  { tableName, categoryName, featureName, minVersion },
  cacheExpiration,
  async () => bigQuery<GetFeatureStatsQueryResult>(query, getFeatureStatsQueryResult),
  getFeatureStatsQueryResult,
);

キャッシュは、まずメモリをチェックし、次に Cloud Storage の JSON ファイルをチェックし、ミスの場合にのみクリエーターを呼び出します。キーはパラメータのハッシュであるため、一意のクエリごとに独自のキャッシュファイルが作成されます。TTL は2日間です。

キャッシュファイルが存在しても期限切れの場合、レイヤーはすぐに古いコピーを提供し、バックグラウンドで再検証するため、訪問者がコールドクエリを待つことはありません。

if (isExpired) {
  void creator().then((newData) => {
    this.memoryCache[cacheKey] = { timeStamp: Date.now(), data: newData };
    file.save(JSON.stringify(newData), { contentType: 'application/json' });
    return newData;
  });
}

基になるデータは7日間のウィンドウのうち1日しかシフトしないため、2日前の集計でも十分正確です。手動のステップは、集計結果の形状を変更したときに私がインクリメントする cacheVersion 定数です。これにより、すべての古いファイルが無効化され、サイトが古いレイアウトを提供し続けることができなくなります。

ウェブサイトがデータのロードを待たない理由

サイトはフレームワークを何度も変更しました。2023年初頭に最も勢いがあったため Next.js で開始し、Remix に移行し、現在は TanStack Start with Router and Query で実行しています。各移行は、この特定のサイトをレンダリングしたい方法に適合させるためのものでした。

現在のモデルは2段階でレンダリングされます。TanStack Start はページシェルと周囲の Markdown をサーバーサイドでレンダリングするため、ページはすぐに表示されます。統計自体は TanStack Query を介してクライアントサイドでロードされ、各レポートが到着するとスケルトンプレースホルダーが埋め込まれます。React Compiler がコンポーネントツリーのメモ化を処理します。

ルートローダーで統計をプリフェッチして、サーバーレンダリングに数値を含めるように試みました。それは削除しました。キャッシュミスの場合、そのアプローチは、サーバーがクエリのファンアウトを処理している間に、高速なシェルレンダリングを数秒の待機に変えます。シェルを最初にレンダリングし、後でデータをロードすることで、ページは1秒未満で利用可能になり、数値は少し遅れて到着します。

コスト

請求書

2026年4月の運用サービスの内訳(カナダドル):

サービス2026年4月の費用
Cloud RunC$2.30
Cloud DNSC$0.55
BigQueryC$0.18
Cloud StorageC$0.01
合計~C$3.04

クエリ処理、キャッシュストレージ、DNS を含む2つのサービスは、合計で約3カナダドルでした。BigQuery の C$0.18 は主にレガシー ストリーミング挿入によるもので、保持されているデータ自体は無料ストレージ枠内に収まりました。

以下は、Google Cloud から直接取得した 2026年6月の請求書のスクリーンショットです。割引をオフにしても、カナダドルでわずか 3.45 ドルでした。

[画像: June 2026 Web 3D Survey Google Cloud Bill]

キャッシュが節約するもの

キャッシュがない場合、すべてのレポートページビューで数十個の BigQuery クエリが起動する可能性があります。2日間の TTL を使用すると、アクティブなキャッシュキーごとに通常2日に1回更新されます。

30 days / 2-day cache lifetime = about 15 refreshes per month

これにより、ワークロードは訪問者ごとのクエリから、アクティブな集計ごとの月間約15回の更新に変わります。1回表示されるレポートも、数千回表示されるレポートも、BigQuery への負荷はほぼ同じです。また、500 ms のクエリレイテンシをページレンダリングパスから遠ざけます。

Cloud Run

このプロジェクトは、2つの Cloud Run サービスとして実行されます。どちらも 1 vCPU と 256 MiB を要求し、インスタンスあたり最大80件の同時リクエストを処理します。

どちらのサービスも最小インスタンスを予約していないため、どちらもゼロにスケールできます。安定したトラフィックは api-service をウォームに保つ傾向がありますが、使用された時間に対してのみ支払います。Cloud Run の費用は、約 8.25 ドルのリスト価格から約 5.97 ドルの使用量割引が適用された後、4月の費用は C$2.30 でした。

コンテナイメージの積み重ね

main または prod へのプッシュごとに、各サービス用の Docker イメージがビルドされ、Artifact Registry に格納されます。変更を行う際には頻繁にデプロイしますが、クリーンアップルールがないと、それらのイメージは決して削除されません。少なくとも数件の最近のビルドを保持しておきたいのは、サービスを壊した場合に緊急ロールバックが必要になる可能性があるためです。現在のクリーンアップポリシーは次のとおりです。最新の3つのバージョンを保持し、3日より古いものはすべて削除します。

resource "google_artifact_registry_repository" "general_repository" {
  # ...
  cleanup_policy_dry_run = false

  cleanup_policies {
    id     = "keep-most-recent-2"
    action = "KEEP"
    most_recent_versions {
      keep_count = 2
    }
  }

  cleanup_policies {
    id     = "delete-older-than-3-days"
    action = "DELETE"
    condition {
      tag_state  = "ANY"
      older_than = "259200s"
    }
  }
}

KEEP ルールは DELETE ルールよりも優先されるため、3日経過しても最新の3つのイメージは保持されます。

変更したい点

BigQuery には、SelfLoop や Land of Assets のような新しいプロジェクトで得られるような、型安全なスキーマとマイグレーションワークフローがありません。Web3DSurvey は、手書きの JSON スキーマとシェルスクリプトでテーブルを定義しています。フィールドを追加するには、スキーマと TypeScript を個別に変更し、それらが一致していることを信頼する必要があります。これを型付きスキーマレイヤーと最新のマイグレーションに置き換えたいのですが、堅牢なツールが見当たらず、自分で作成したくありません。

手動の cacheVersion も別の問題点です。機能はしますが、集計を変更した後にインクリメントするのを忘れると、古い JSON 結果が2日間そのまま残る可能性があります。結果スキーマからバージョンを派生させることで、無効化を見逃しにくくなります。

これらの変更のどれも、基本的な設計を変えるものではありません。低コストは、CloudRun の使用、追記専用の収集とキャッシュが多用されるレポート作成の分離、古いパーティションの期限切れ、および直近1週間のクエリのみに由来します。

予算で購入できるもの

月額わずか数ドルで、あらゆる 3D ウェブ開発者は、WebGL、WebGL 2、および WebGPU 機能の測定されたサポート率、アダプターとベンダーの内訳、ブラウザの機能統計、および目の前のデバイスを人口と比較するためのライブ /machine レポートを入手できます。

3D ウェブ アプリを運営していて貢献したい場合は、コレクターは1行の iframe です!