Show HN: Trifle – イベントではなく回答を保存するオープンソース分析
Show HN: Trifle – Open-source analytics that stores answers, not events (trifle.io)
要約
Trifleは、生のイベントを保存するのではなく、ネストされたカウンターを集計するオープンソースの時系列分析ライブラリです。既存のデータベース内で動作し、10年間の再構築を経て、現在1日あたり約10億イベントを追跡しています。このライブラリは、イベントデータを集計して時間バケットに保存することで、大量の書き込みを効率的に処理し、高速なクエリを可能にします。
全文翻訳
Trifleは、生のイベントではなくネストされたカウンターを集計するオープンソースの時系列分析ライブラリです。すべて、あなたがすでに持っているデータベース内で完結します。10年かけて2度再構築した結果、現在では1日あたり約10億イベントを追跡しています。
2015年に、私自身のRails APMとして始まりました。ActiveSupport::Notificationsに接続し、少数のユーザーと、スクレイピングアプリがすべてを壊した大きなユーザーがいました。それがコアアイデアの火付け役となりました。事前に定義された時間バケットにカウンターを集計することで、単一の書き込みが複数のバケットを一度にインクリメントします。APMは、あまりトラクションを得られずに次第に廃れていきました。
その後、2021年に私は日々の仕事で分析が必要になりました。既存のものに頼るのではなく、Trifleのアイデアをより汎用的な分析ライブラリとして見直し、データウェアハウスのアイデアをいくつか借用しました。最初はRedis、次にPostgres、最終的にはMongoDBを使用しました。そのため、Trifle::Statsには複数のドライバーが付属しており、ストレージレイヤーはニーズに合わせて変化しながらもDSLは統一されています。私たちのケース(巨大な書き込み量、一部の読み取り)では、PGは読み取りは速かったですが、大量の書き込みで遅くなりました。
ネストされた値がここでのトリックのすべてです。単一の呼び出しで、以下のような処理を行います。
Trifle::Stats.track(
key: 'requests::aws::s3_uploads',
values: {
count: 1,
status: { request.response_code => 1 },
size: payload.bytes,
duration: { sum: request.duration, count: 1 }
}
)
これにより、リクエスト数、成功率、結果ステータスコード、複数の時間バケットに対する期間が集計されます。午前2時の単一バケットは、以下のようになります。
{ count: 14, status: { 200: 12, 500: 2 }, size: 5628341, duration: { sum: 43, count: 14 } }
request.durationが秒単位の場合、durationの下に保存されるsumも秒単位になります。
成功率は保存されませんが、200の数をリクエスト総数で割ることで計算されます。平均期間も同様です。メトリクスキー、粒度、期間を指定すると、各時点での集計値が返されます。グラフ化したり、「過去30日間の平均応答時間」に答えたりする準備ができています。
グラフ用の値を集計・フォーマットするためのSeriesラッパーがあり、簡単な呼び出しで済みます。また、ダッシュボードの構築は他の開発者にとって私が思ったほど楽しくないため、ビジュアルレイヤーであるTrifle Appを構築しました。これにはダッシュボード、スケジュールされたダイジェスト、アラートが含まれます。Elixirで書かれているため、ライブラリもElixirに移植しました。その後、CLI用にGoにも移植しました。これら3つは互換性があり、1つに書き込んで別のものから読み取ることができます。
現在、1日あたり1億件以上のバックグラウンドジョブからのアクティビティを追跡しており、これは約10億イベントに相当します。一部の安全性を犠牲にすること(Mongoでジャーナリングと書き込み確認をオフにする)を厭えば、驚くほど安価に動作します。3ノードのHetzner MongoDBクラスターで、プライマリが20%の利用率で、月額約1000ドルかかります。
限界もあります。ペイロードは数万のキーを持つことはできません。ドキュメントが大きくなりすぎると効率的に更新できなくなります。ある程度の計画が必要です。そして、ディメンションがありません。時にはそれらをネストすることもできます(国 - 国はそれほど多くありません)、時にはディメンションごとに専用のメトリクスキーを持つ方が良い場合もあります(顧客 - 永遠に成長します)。これにより追跡されるイベントが倍増するため、1億ジョブから10億イベントになります。
ライブラリはMITライセンスです。AppはELv2ライセンスの下でソース公開されており、セルフホストは無料、管理されたサービスが必要な場合は有料クラウドがあります。私は投資家の資金を無料サービスに費やすことなく、サイドプロジェクトとしてこれを構築しました。
アーキテクチャ、ストレージモデル、私の失敗、またはなぜ私がまだこれを諦めていないかについて、喜んでお答えします。