OpenTelemetryでエスプレッソマシンを計装する
Instrumenting my espresso machine with OpenTelemetry (clickhouse.com)
要約
この記事では、筆者がエスプレッソマシンの抽出プロセスを改善するために、OpenTelemetryを使用してマシンを計装した事例を紹介しています。エスプレッソマシンを分散システムとみなし、ClickStack(ClickHouse、OTelコレクター、HyperDX)を用いてオブザーバビリティを確保しました。ESP32マイクロコントローラーへのOTLPの適合と、ネットワークI/Oが制御ループをブロックしないようにすることが主な課題でした。
全文翻訳
OpenTelemetryでエスプレッソマシンを計装する
ほとんどのオブザーバビリティの話は、本番環境でのインシデントから始まります。この話は、まずいエスプレッソの一杯から始まります。
美味しいエスプレッソを追求したことがない方のために、問題点を1つの段落で説明します。始めはシンプルに思えます。豆を挽き、タンパーで平らに押し、高圧で熱湯を通します。しかし、コーヒーが単なる機能的な飲み物から、完璧にしたいものへと変わった瞬間、宇宙全体があなたに敵対していることに気づくでしょう。湿度は一晩で豆の挽き具合を変えます。挽き具合は、湯がパフを通過する速さを変えます。圧力は抽出する風味を形作り、抽出時間は甘さか、それとも苦くて焦げたものに着地するかを決定します。豆自体も週ごとに熟成していく、動くターゲットです。これらの変数のそれぞれが他の変数に影響を与え、あなたの唯一のフィードバックは味と、昨日の試みの漠然とした記憶だけです。
私がここでやろうとしていることは、不調なシステムに対して行うことと同じです。可能な限り多くの変数を測定し、クエリできる場所に保存し、一つずつ制御を始めます。
私はGaggiaエスプレッソマシンにGaggiMateを使用しています。これは、標準のコントローラーをタッチスクリーン、PIDループ、圧力プロファイリングに置き換えるオープンソースのESP32コントローラーです。本当に素晴らしいキットです。しかし、ショットが酸っぱく出たり、パフを勢いよく通り抜けたりしても、なぜなのか全く分かりませんでした。挽き具合が粗すぎたのか?抽出中にボイラー温度が低下したのか?湯がパフの片側だけを流れて均等に抽出されなかったのか?
[画像: GaggiaエスプレッソマシンにGaggiMateコントローラーが取り付けられている様子]
これらはまさに、オブザーバビリティが解決するために作られている質問であり、分散システムにとってはそうです。そこで私はエスプレッソマシンを、本番環境でデバッグしたい他のサービスと同じように扱いました。OpenTelemetryで計装し、テレメトリをClickHouse Cloudに送信し、その上にClickStackを配置しました。
エスプレッソマシンは驚くほど正直な分散システムであることが判明しました。そして、実際のインフラストラクチャのオブザーバビリティを実行するのと同じスタックが、30秒のショットを抽出するマイクロコントローラーを、汗一つかかずに処理します。これは、その物語のオタクバージョンです。プロトコルバッファ、FreeRTOSスケジューリング、リングバッファ、カスタムコレクター、そしてそれらを結びつけるエージェントについてです。
なぜESP32にClickStackなのか?
ClickStackはClickHouseのオブザーバビリティスタックです。取り込み用のOpenTelemetryコレクター、ストレージとクエリ用のClickHouse、そしてログ、メトリクス、トレース、セッションリプレイ用のUIとしてのHyperDXが含まれます。その全体的な目的は、スキーマに依存せず、OTelネイティブであることです。テレメトリがKubernetesクラスタから来るのか、コーヒーマシンから来るのかは気にしません。OTLPを話す限りは。
この最後の部分が、このプロジェクトを可能にした理由です。データモデルを発明する必要はありませんでした。エスプレッソの一杯は、ClickStackが既に理解している概念にきれいにマッピングされます。
- メトリクス: ボイラー温度と目標値、ボイラー圧力(bar)、ポンプ流量、パフ抵抗、スケール重量(グラム)、さらに総ショット数、抽出時間、消費水量、接続イベントの累積カウンター。
- トレース: 各ショットは親スパンであり、各抽出フェーズ(プリインフュージョン、ランプ、抽出)は子スパンです。各ショットスパンは20以上の属性を持ちます:ピーク圧力、流量、温度安定性、パフ抵抗のばらつき。
ただし、すべてがスパンに属するわけではありません。温度、圧力、流量は、ショット中に速すぎて単一のイベントで正確にキャプチャできないため、高速に変動する状態はメトリクスとして送信され、ショット自体はトレースとして送信されます。ショットはリクエストです。フェーズは子スパンです。品質の数値はスパン属性です。そのように見れば、エスプレッソマシンは非常に短く、非常に美味しいトレースを持つ単なるサービスです。
[画像: 抽出プロファイルで設定された各フェーズをアウトラインするトレース。各フェーズはスパンです:プリインフュージョン、ブルーム、ランプ、ホールド、ディクライン。]
マイクロコントローラーにOTLPを搭載する
OTelの実装における難しい部分はハードウェアでした。ESP32は数百キロバイトの利用可能なRAMと、放棄できないリアルタイム制御ループを持っています。すぐに3つの問題が発生しました。
1. OTLPのプロトコルバッファスキーマはESP32には大きすぎる
OTLPはプロトコルバッファとして定義されており、これは素晴らしいことです。マイクロコントローラー用に正確に構築された成熟した組み込みプロトコルバッファライブラリ、nanopbがあります。しかし、完全なアップストリームOTLP定義をそれにフィードすると、コンパイル時に次のような結果になりました。
#error Enable PB_FIELD_32BIT to support messages exceeding 64kB in size:
otlp_ScopeMetrics, otlp_ResourceMetrics, otlp_ExportMetricsServiceRequest
完全なスキーマは、コーヒーマシンが必要とする以上のものをすべて含んでおり、nanopbのフィールドサイジングはそれに反発します。より大きなフィールドサポートを有効にして、すべての場所でメモリコストを支払う代わりに、実際に必要なサブセットを1つの自己完結型otlp.protoにフラット化し、アップストリームOTLPに一致するフィールド番号を保持しました。
これがその様子です。スキーマ全体は1つのファイルであり、フィールド番号は意図的に順序が狂っています。なぜなら、それらは私の番号ではなく、アップストリームの番号だからです。
// Flattened subset of OTLP. The protobuf wire format only depends on field
// numbers and wire types, not package names or file layout. Keep every field
// number identical to upstream OTLP or collectors will silently drop data.
message NumberDataPoint {
repeated KeyValue attributes = 7;
fixed64 start_time_unix_nano = 2;
fixed64 time_unix_nano = 3;
oneof value {
double as_double = 4;
sfixed64 as_int = 6;
}
repeated Exemplar exemplars = 5;
}
そのフィールド番号規律がトリックのすべてです。番号が一致するため、ClickStackコレクター(および標準のOTelコレクター)は、デバイスのストリップダウンされたバイトを、フルSDKの出力と同一にデシリアライズします。デバイスは方言を話しますが、コレクターはOTLPを聞きます。
2. ネットワークI/Oはエスプレッソをブロックできない
これは計装の基本ルールであり、クラウド環境よりもマイクロコントローラーでははるかに許容度が低いです。抽出制御ループは50ミリ秒ごとに実行されます。TLSハンドシェイクがそれをスタールさせると、PIDはショットの途中でボイラー温度の調整を停止します。最良の場合でもコーヒーが台無しになり、最悪の場合は安全上の問題になります。
そのため、プラグインはESP32の2つのコアに分割されています。制御ループとそのセンサーイベントハンドラーはコア0を所有します。エクスポーターはコア1にピン留めされた独自のFreeRTOSタスクを取得し、そこでブロッキングTLSハンドシェイクが抽出に触れることは決してありません。
// Pin to core 1 so blocking TLS handshakes stay off core 0 (WiFi MAC, LWIP,
// AsyncTCP, and the brew control loop all live there).
xTaskCreatePinnedToCore(exportTaskFn, "OtelExport", 16384, this, 1, &taskHandle, 1);
2つのタスクは状態(最新のセンサー読み取り値、実行中のショット統計)を共有します。これはミューテックスを意味し、この設計では間違いやすい場所です。単純なバージョンは共有状態をロックし、ペイロードを構築し、ネットワーク経由で送信し、ロックを解除します。それはデータを保護しますが、TLSハンドシェイクに数秒かかる間、コア0のすべてのセンサーイベントハンドラーがその同じミューテックスを待って立ち往生することを意味します。
機能するバージョンはスナップショットパターンです。ロックを取得し、共有状態をローカル変数にコピーし、ロックを解除し、それからエンコーダーまたはネットワークに触れます。ロックは、数バイトをコピーするためだけにマイクロ秒間保持され、I/Oを横断することはありません。
void OpenTelemetryPlugin::exportMetrics() {
uint64_t shots;
double brewSecs;
std::vector<otel::Attribute> resAttrs;
lock(); // held just long enough to copy
shots = shotsTotal;
brewSecs = brewSecondsTotal;
resAttrs = resourceAttrs; // cached identity, more on this below
unlock(); // released BEFORE any encoding or network I/O
// Build the OTLP payload from the copies and POST it. However long the
// TLS handshake takes, core 0 never waits on us.
...
}
結果として得られる不変条件は、共有状態を保護するミューテックスがブロッキングネットワーク呼び出しを横断して保持されることはないということです。プロデューサー側でも同じ原則です。完了したショットスパンは、エクスポータータスクがドレインするための固定サイズのFreeRTOSキューに置かれます。キューがいっぱいの場合、ショットスレッドをブロックするのを避けるためにスパンはドロップされます。
if (xQueueSend(spanQueue, &span, 0) != pdTRUE) {
delete span; // queue full; drop rather than block the brew thread
}
テレメトリは劣化を許容されます。エスプレッソは許容されません。コーヒーは貴重です。
計装を書くことは、潜在的なバグを表面化させることもあります。自己レビューで、既にリリースされていた2つのクラッシュバグが見つかりました。
最初のものはクロススレッドのStringレースでした。エクスポータータスクは当初、オンデマンドでOTLPリソース属性を構築し、WiFi.macAddress()とコントローラーのSystemInfo(ファームウェアバージョン、ハードウェアリビジョン)を直接読み取っていました。これらはメインスレッドが所有するヒープ割り当てのArduino Stringであり、BLE再接続はSystemInfoを書き換えます。
エクスポータータスクが他のコアで読み取り中にその書き換えが発生すると、エクスポータータスクは解放されたメモリへのポインタをたどります。LoadProhibitedパニックとボードリセットが発生し、ショットの途中で発生する可能性があります。修正は同じスナップショットパターンで、メタデータに適用されます。それらのStringを所有するメインスレッドは、それらが変更されるたびにキャッシュコピーをリフレッシュし、エクスポータータスクは常に同じロックの下でキャッシュをコピーします。
void OpenTelemetryPlugin::refreshMetadata() {
// Runs on the main thread, which owns the controller's Strings.
std::vector<otel::Attribute> attrs = buildResourceAttributes();
lock();
resourceAttrs = attrs; // the export task copies this under the same lock
unlock();
}
2つ目は静かでした。エクスポータータスクの12KBスタックは、完全なCAバンドル検証を伴うmbedTLSハンドシェイクには時々十分ではなく、スタックオーバーフローと別のリセットを引き起こします。現在は16KBで実行されています。追加の4KBは、TLSライブラリが最も深いパスを取るときにのみ表示されるクラッシュに対する安価な保険です。観測対象をダウンさせるオブザーバビリティは、オブザーバビリティがないよりも悪いのです。
3. クロックは証明されるまで嘘をつく
起動したばかりのESP32は、それが1970年だと思っています。OTLPのタイムスタンプはUnixナノ秒であり、ニクソン時代にタイムスタンプされたトレースは、バックエンドでは事実上見つけられません。そのため、NTPがウォールクロックが2020年を過ぎたことを確認するまで、デバイスは何もエクスポートしません。
// SNTP has set the wall clock (post 2020-09). Until then, unix-nano
// timestamps would be garbage, so we hold off exporting.
static bool clockValid() { return time(nullptr) > 1600000000L; }
小さなガードですが、クエリできるデータと二度と見られないデータの違いです。
デバイス上で興味深い数値を計算する
これが楽しい部分です。マシンは生の読み取り値をストリーミングするだけでなく、メモリがないデバイスに完全な時系列をバッファリングすることなく、派生メトリクスをライブで計算します。
ヘッドラインの例:チャネリング検出。湯がパフを低抵抗の経路で見つけると、そのチャネルを勢いよく通り抜け、残りを過小抽出します。これは、ホットシャードがすべてのトラフィックを取るエスプレッソ版です。抽出中にパフ抵抗がどれだけばらついているかを見ることで検出できます。適切な統計は、抵抗読み取り値の変動係数であり、実行中の合計と二乗和を保持することで、定数メモリで計算できます。バリアンスはそれらから再構築され、完全な系列を保存する必要はありません。
// Every resistance reading during the shot, in the sensor event handler:
resistanceSum += v;
resistanceSumSq += static_cast<double>(v) * v;
resistanceCount++;
// At shot end, the variance falls out of the two sums (E[x²] - E[x]²):
const double avg = resistanceSum / resistanceCount;
double var = resistanceSumSq / resistanceCount - avg * avg;
span->attributes.push_back(
otel::Attribute::dbl("coffee.puck.resistance_cv", std::sqrt(var) / avg));
その単一の数値はショットスパンに乗って運ばれます。まずい味のショットで高い値が出た場合、それはチャネリングであり、あなたの挽き具合ではないことを示します。同じアプローチで、温度安定性とピーク圧力の数値も生成され、すべてがワイヤーに到達する前にデバイス上でスカラーに削減されます。
高解像度のショットカーブ
メトリクスエクスポートの最初のバージョンには、粒度の問題がありました。メトリクスは10秒間隔で1回サンプリングされていました。しかし、ショットはわずか25〜40秒しか続きません。3つか4つのデータポイントでは、全体像を伝えるには十分ではありません。エスプレッソを微調整するには、抽出中の圧力と流量の形状を見る必要があります。プリインフュージョンがいつ終了するか、圧力がどれだけきれいにランプアップするか、そして最後に流量が暴走するかどうかです。
[画像: 抽出中の圧力と流量のグラフ。]
単純な修正(すべての読み取り値をすぐにエクスポートする)は、nanopbのメッセージサイズ制限にすぐにぶつかります。そのため、代わりに、エクスポータータスクは500ミリ秒ごとにライブゲージを小さなリングバッファに読み込み、10秒ごとにバッチ全体をフラッシュします。
20個のタイムスタンプ付き読み取り値は、実際のカーブを描くのに十分ですが、いくつかのメトリクスにわたる20個のデータポイントを一緒にシリアライズすると、再びメッセージサイズを超えてしまいます。修正は、プロトコルバッファの優れたプロパティに依存します。同じタイプの2つのシリアライズされたメッセージを連結すると、そのタイプの有効なメッセージになり、繰り返しフィールドが追加されます。そのため、各ResourceMetrics構造体を小さく(ゲージあたり8ポイント)保ち、20ポイントのバッチを、連結された複数のリクエストとして1つのボディで発行します。
// Concatenated protobufs of the same type are one valid message: the
// repeated resource_metrics fields append, and the collector sees a single
// request with several ResourceMetrics.
constexpr size_t chunkCap = sizeof(otlp_Gauge::data_points) / sizeof(otlp_NumberDataPoint); // 8 points
size_t total = 0;
bool first = true;
for (size_t offset = 0; first || offset < maxGaugePoints; offset += chunkCap) {
// Cumulative counters are written only in the first chunk, so nothing
// double-counts.
total += encodeChunk(resourceAttrs, scopeName, scopeVersion, metrics,
startTimeNanos, offset, /*includeSums=*/first,
buf + total, bufSize - total);
first = false;
}
カスタムバッチングプロトコルなし、オーバーサイズのペイロードなし。ショット全体で20個の鮮明なポイントがあり、プリインフュージョンが抽出にランプアップするのを見るのに十分です。
固定バッファと手作りのエンコーダーは、午前6時に失敗する可能性のあるコードのまさにその種類です。そのため、ホスト側のテストでは、小さなシムに対してエンコーダーを構築し、最悪のケース(すべてのゲージがショット内ポイントで満たされ、属性とエグゼンプラーが含まれる)をフィードします。最悪ケースのバッチは、40,960バイトのバッファのうち30,339バイトで、快適に収まります。同じテストでは、バッファサイズをゼロから上にスイープし、キャンリーバイトを末尾に配置して、エンコーダーがいかに小さなバッファでも境界外に書き込まないことを証明します。
高カーディナリティはここでは機能です
高カーディナリティ属性を恐れるように訓練された方への注意:すべてのショットにはcoffee.shot.idがあり、それは(意図的に)ショットのトレースIDであり、ショット開始時に生成される16バイトのランダムバイトです。トレース側では、それは期待される場所に正確にあります。otel_tracesの専用TraceId列です。興味深いのはメトリクス側です。メトリクステーブルにはデータポイントごとにトレースID列がないため、ショット中のすべてのゲージサンプルはAttributes内のcoffee.shot.idでタグ付けされます。これは、ショットの圧力カーブをそのトレースに結合できるMap(String, String)列です。これはショットごとにユニークな値であり、各サンプルにスタンプされます。従来のラベルベースのメトリクスシステムでは、これはカーディナリティ爆弾です。新しいIDごとに新しい時系列が分岐し、TSDBが爆発します。
ClickHouseでは、マップキーは単なる列値です。新しいショットIDはさらに数行になります。TSDBのように新しいシリーズを作成しません。これにより、カーディナリティの爆発、強制サンプリング、検査したい正確なショットの集約解除がなくなります。
IDでショットトレースを取得し、coffee.shot.idでゲージサンプルを結合し、挽き具合設定でグループ化します。すべて同じotel_tracesおよびotel_metrics_gaugeテーブルから行います。これがClickStackがテレメトリをそのように保存する理由であり、数週間後に特定のまずいエスプレッソをその正確な圧力カーブにトレースできる理由です。列指向システムでは、ラベルベースのシステムで無謀なことが日常になります。
相関は逆方向にも実行されます。ショット中のすべてのメトリクスデータポイントには、ショットのトレースIDとスパンIDであるOTLPエグゼンプラーが含まれています。圧力チャート上の異常な読み取り値は、それを引き起こしたショットのトレースに直接リンクします。メトリクスからトレースへのナビゲーションは、コーヒーマシン上で、本番サービスが使用するのと同じメカニズムを使用します。
そのストレージは安価であるため、リッチなコンテキストを正確にキャプチャする価値があります。エスプレッソで最も重要なコンテキストは、マシンが感知できないものです。それは挽き具合です。グラインダーは完全に別の家電製品です。挽き具合はショットの抽出方法に最も大きな影響を与えますが、その唯一の記録はグラインダーのダイヤルの数値であり、すべてのメーカーがそのダイヤルに異なる番号を付けています。1つは0〜100を整数ステップで、もう1つは0〜20を0.1ステップで、ハンドグラインダーはクリック数を数えます。「挽き具合12」は、どのグラインダーに設定されていたかを知らない限り意味がありません。
そのため、ファームウェアはグラインダーカタログを出荷します。設定でグラインダーモデルを一度選択すると、マシンの挽き具合制御はそのダイヤルの実際の範囲とステップサイズを採用します。
Custom / Generic 0–100, step 1
Varia VS3 0–20, step 0.1 (stepless dial)
Niche Zero 0–50, step 1
Baratza Encore / Encore ESP 1–40, step 1
Fellow Ode Gen 2 1–11, step 1
Zpresso (J/JX/K) 0–100, step 1 clicks
Comandante C40 0–50, step 1 clicks
グラインダーを選択しても、マシンがショットを抽出する方法は変わりません。記録された数値の意味が変わります。ショットの前に、画面上の挽き具合の値を、グラインダーが実際に設定されている値に合わせて調整し、ドーズ(バスケット内の挽いたコーヒーのグラム数)を入力します。
この特定の趣味の穴に落ちたことがない方のために説明すると、ショットはドーズ(通常、ダブルバスケットで16〜20gの乾燥グラウンド)、収量(液体エスプレッソの量、グラム単位で計量。クレマが関わるため体積は嘘をつく)、およびそれらの比率で記述されます。一般的な開始点は1:2です。例えば18g入れて36g取り出し、約25〜35秒で抽出します。1:1.5に近づけるとショットはより濃厚でシロップ状になり、1:3に伸ばすとより軽く、より抽出されます。これらはどれも法則ではありませんが、参照フレームです。ショットが19秒で1:2.6に着地した場合、何か問題が発生したことを意味し、トレースがそれを教えてくれるはずです。
ショットスパンは、グラインダー固有の単位でのcoffee.grind.level、リソース属性としてのcoffee.grinder.model、および収量/ドーズとして計算されたcoffee.brew.ratioを持ちます。
センサー読み取り値ではなく手動で入力されたコンテキストですが、正確にキャプチャされると、ショットを比較可能にします。エージェントは、Niche Zeroの挽き具合14で過去のすべてのショットを取得し、どのショットが良好だったかを確認し、「半ステップ細かく」という、ダイヤルが実際に持つ単位で推奨できます。
家全体も送る
エスプレッソマシンが報告するようになったら、当然の疑問はこうでした。なぜそこで止まるのか?
私はHome Assistantを実行しており、それは既に温度、湿度、消費電力、および家中の数十の他のセンサーについて知っています。それらはすべてタイムスタンプ付きのイベントであり、ClickHouseが保存するために構築されたものです。それらがすべて同じデータベースに着地した場合、ドメインをまたぐクエリを実行できます。キッチンの温度はショットの品質と相関しますか?グラインダーは測定可能な電力スパイクを描きますか?
問題点:Home AssistantはMQTTを話しますが、アップストリームのOpenTelemetryコレクターディストリビューションにはMQTTレシーバーが付属していません。
ここでClickStackのコレクターの系譜が役立ちます。OpenTelemetryコレクターはOCB、OpenTelemetry Collector Builderで構築されています。コンポーネントのリストを与えると、カスタムバイナリがコンパイルされます。そこで、カスタムMQTTレシーバーを備えたカスタムコレクターを構築し、Home Assistantアドオン(ha-otelcol)としてパッケージ化しました。マニフェストは小さいです。
receivers:
- gomod: go.opentelemetry.io/collector/receiver/otlpreceiver
- gomod: github.com/local/mqttreceiver v0.0.0 # in-repo, replaced locally
exporters:
- gomod: .../exporter/clickhouseexporter
- gomod: go.opentelemetry.io/collector/exporter/otlpexporter
MQTTレシーバーはローカルモジュールなので、OCBはそれを標準のOTLPレシーバーと並んでバイナリに直接コンパイルします。MQTTの緩いペイロードをOTelのデータモデルにマッピングします。JSONオブジェクトは数値フィールドごとに1つのゲージ(ネストされたオブジェクトはドット付き名にフラット化)、ベア数値はトピック名が付いた単一のゲージ、ブール値は1または0になり、すべてのメッセージはmqtt.topic、mqtt.qos、mqtt.retainedでタグ付けされたログレコードとしても着地します。両方のパイプラインはバッチプロセッサとメモリリミッターを通過し、同じ場所に配置されます。
exporters:
- type: clickhouse
endpoint: "clickhouse:9000"
database: otel
ttl: 720h
これで、コーヒーテレメトリはOTLP経由で到着し、ハウスセンサーはMQTT経由で到着し、両方とも同じClickHouseテーブルに着地します。物理的な環境全体の単一のクエリサーフェスです。
ループを閉じる:ダッシュボードから回答へ
私が繰り返し考えていたこと:データの収集は簡単な80%です。美しいClickStackの圧力カーブのダッシュボードは満足のいくものですが、ショットごとにエスプレッソマシンを研究したくはありません。次のショットの前に何をすべきか教えてほしいのです。
そのため、最後の部分は、ClickHouse MCPサーバーを介して読み取り専用でClickHouseをクエリする分析エージェントです。メソッドは、エスプレッソドメイン知識でロードされたスキルプロンプトにあります。
[画像: LLMエージェントのプロンプトインターフェース。]
スキルの残りの部分は、実際のメソッドをエンコードします。パフ抵抗の変動係数をチャネリング信号として読み取る方法、ボイラー温度の安定性がどのようになるべきか、そして圧力がターゲットプロファイルをどれだけ正確に追従したかです。特定のショットに対して、エージェントはトレースとその一致する高解像度ゲージサンプルを取得し、同じ挽き具合設定での過去のショットと比較し、結果を返します。これは実際の例です。
[画像: エスプレッソショットのスコアカード。]
このスコアカードのすべての数値は、この投稿の早い段階でのスパン属性またはゲージサンプルです。抽出線はcoffee.shot.duration_ms、ドーズ、および抽出比です。チャネリングはcoffee.puck.resistance_cvです。温度安定性とプロファイル遵守は、オンデバイスの実行中の集計です。これを単なるきれいなプリントアウト以上のものにしているのは、その背後にある履歴です。エージェントは、この設定での私の個人的なベストが1.85のパフCVであり、挽き具合5.6でこのグラインダーでのパフ抵抗15〜16付近の51秒ショットが正常であることを知っているため、挽き具合を完全に除外し、実際に間違っていた唯一の変数を分離できます。それは、ターゲット1:2.6に対して、わずか1:1でショットをカットしたことです。ショットごとに1つの具体的な修正があり、その結果はNotionに書き込まれ、何がうまくいったかの実行記録が残ります。
それがテレメトリをフィードバックループに変える部分です。同じパターン(読み取り専用データベースアクセスとドメインコンテキストを持つLLMがClickStackの上に座る)は、オンコールエンジニアのアシスタントが本番テレメトリに対してどのように機能することを望むかと同じです。ここでは、たまたまコーヒーについて意見を述べているだけです。
私たちがお互いに教え合ったこと、コーヒーマシンと私
エスプレッソを取り除くと、これはClickStackが意図されたとおりに使用されるクリーンな参照実装です。
- OTLPは普遍的な契約です。マイクロコントローラー上のフラット化されたプロトとサーバー上のフルコレクターは、フィールド番号に同意するため相互運用できます。OTLPを話せば、バックエンドで特別な処理を必要とせずに、エコシステムに入ることができます。
- 計装は、それが観測するシステムを危険にさらしてはなりません。コアの分離、ブロックせずにドロップ、ネットワーク呼び出しを横断しないミューテックス。ショットあたり30秒で真実であり、本番規模ではさらに真実です。
- ClickHouseはカーディナリティを問題なくします。イベントごとのUUID、フル解像度のカーブ、列としての属性。実際に起こったことを保存し、後で正確にクエリします。
- すべてに1つのバックエンド。OTLP経由のコーヒー、MQTT経由の家、すべて同じテーブルに、一緒にクエリ可能。スキーマレスはあなたのスキーマを意味します。
- ダッシュボードは物語の中間点であり、終わりではありません。勝利はループを閉じ、保存されたテレメトリを、それに対処する時間内に回答に変えることです。
そして公平に言えば、教訓は双方向でした。オブザーバビリティが私にコーヒーについて教えてくれたことは、主に私がせっかちだということです。データセットで最も悪い温度安定性の数値は、私の朝のショットのものです。マシンをオンにし、カフェインの渇望が許すくらいの時間だけ待ち、まだ冷たいグループヘッドに抽出を始め、ボイラーが温度を維持しようと奮闘します。上記のスコアカードの3.79°Cの変動は、インパルスがメトリクスとしてどのように見えるかです。データは、マシンを適切にウォームアップさせ、最初に熱湯のブランクショットを実行し、おそらくより大きな熱容量を持つより強力なマシンのケースがあることを示唆しています。データベースがこの趣味にお金を費やすもう一つの理由を私に手渡す必要はありませんでしたが、そうしました。
エスプレッソマシンは、実際のスタックを持つおもちゃの問題でした。ここにあるすべて、OTLPモデリング、カスタムコレクター、列指向ストレージ、その上のエージェントは、重要なものを計装するのと同じ形状です。ただ、より良い香りがするだけです。
あなた自身の何か(本番サービスまたはエスプレッソマシン)でClickStackを試したい場合は、こちらをご覧ください:clickhouse.com/use-cases/observability