ポート8125では誰も聞いていない
Nobody Is Listening on Port 8125 (yeet.cx)
要約
この記事では、StatsDエクスポーターがUDPポート8125でリッスンする従来の仕組みに代わる、eBPFプログラムを用いた新しいオブザーバビリティ手法を紹介しています。この手法では、カーネルレベルでパケットを直接キャプチャし、ユーザー空間のデーモンを不要にすることで、より効率的で堅牢なメトリクス収集を実現します。
全文翻訳
Port 8125では誰も聞いていない
私のデスクにはstickという名前のFedoraボックスがある。その上のアプリが、約1週間前から1秒間に10回、127.0.0.1:8125にStatsDデータグラムを送信している。これは2011年にEtsyが教えて以来、アプリがやってきたやり方だ。
8125では何も聞いていない。
$ ss -lun | grep 8125
$
それでもGrafanaはリクエストレートを取得している。
[画像: Grafanaでのrate(app_requests_total[1m])、誰も受信していないデータグラムから]
これは、Prometheusの横で誰もが実行しているエクスポーターのリストを、一つずつyeetスクリプトに置き換えていくシリーズの最初の投稿だ。このシリーズの主張は短い。50個ものエクスポーターを6つの言語で、それぞれ独自のポート、設定フォーマット、ベンダーリングに関する独自の考え方で持つ必要はない。カーネルを読み取れる一つのバイナリが必要なのだ。私たちはstatsd_exporterから始める。なぜなら、これは置き換えが同じものではなくなり、むしろ何か良いものになる最初のケースだからだ。
TL;DR
statsd_exporterは翻訳機だ。アプリはUDP経由でStatsDラインをそれにプッシュし、それはPrometheusメトリクスとして保持され、Prometheusがプルする。これはPrometheusプロジェクト自体によってメンテナンスされているので、私たちが取り外すスタックの公式な一部だ。
リスナーをeBPFプログラムに置き換えた。このプログラムは、すべてのインターフェースのトラフィック制御レイヤーでポート8125を監視し、JavaScriptデコーダーがラインをPrometheusファミリーに変換する。アプリはファイア&フォーゲットUDPを続行する。アプリに変更はない。ホストにインストールされるのはyeetだけだ。そして、データグラムを受信する者がいなくてもメトリクスは表示される。
以下を学ぶことになるだろう。
- なぜStatsDレシーバーが、ソケットを前に置いたパケットスニファーに過ぎないのか。
- ワイヤーを読み取る165行のCコード、そしてなぜ同じメカニズムが、あなたがそれを指し示すどんなラインプロトコルにも機能するのか。Redis、memcached、Graphiteは後の投稿で、このプローブは変更なしで再利用される。
yeet:telemetryが、スクリプトがソケットに一切触れることなく、どのようにしてPrometheusターゲットにスクリプトを変換するのか。- 何を犠牲にするのか、なぜならいくつかのことを犠牲にするからだ。
すべてオープンソースだ。自分のマシンで実行するには:
OK、statsd_exporterは実際何をするのか
あなたが思うより少ない。UDPソケットをバインドし、データグラムを読み取り、改行で分割し、次のようなラインをパースする。
app.requests:1|c
app.queue.depth:22|g
app.request.time:143|ms
app.users:20|s
app.errors:1|c|@0.1|#service:api,region:us
そして、名前ごとにカウンター、ゲージ、ヒストグラム、またはセットを保持し、名前をYAMLマッピングファイルに通してドットをラベルに変換し、それを:9102/metricsで提供する。それだけだ。それがエクスポーターだ。これは完全に良いエクスポーターであり、私は何年も一度も考えずに実行してきた。インフラについて言える最も良いことだろう。
しかし、それが消費するものを見てほしい。UDPデータグラム。よく知られたポートで。プレーンテキストのラインフォーマットで。通常はアプリと同じホスト上で。そのソケットがバイトを受け取る時点では、カーネルはすでにそれらを見て、どこへ行くべきかを決定している。リスナーは、各パケットの2番目のリーダーだ。
だから、私たちは最初のリーダーに尋ねた。
165行のCコード
カーネル部分は、アップしているすべてのインターフェースのイングレスとエグレスフックにクリップされたtcxプログラムだ。ループバックも含まれる。それは3つのことを行う:トランスポートヘッダーを見つける、どちらかのポートが我々が気にするものかチェックする、ペイロードの境界付きチャンクをリングバッファにコピーする。完了。
/* キャプチャする価値のあるポート。スクリプトによって埋められる。*/
struct {
__uint(type, BPF_MAP_TYPE_HASH);
__uint(max_entries, 64);
__type(key, __u16);
__type(value, __u8);
} ports SEC(".maps");
static __always_inline int wanted(__u16 sport, __u16 dport)
{
return bpf_map_lookup_elem(&ports, &sport) != NULL
|| bpf_map_lookup_elem(&ports, &dport) != NULL;
}
static __always_inline int handle(struct __sk_buff *skb, __u8 dir)
{
/* ... Ethernetまたはraw IP、次にIPv4またはIPv6、L4ヘッダーまでをウォーク ... */
__u16 sport = 0, dport = 0;
bpf_skb_load_bytes(skb, l4, &sport, 2);
bpf_skb_load_bytes(skb, l4 + 2, &dport, 2);
sport = bpf_ntohs(sport);
dport = bpf_ntohs(dport);
if (!wanted(sport, dport))
return TCX_NEXT;
/* ... TCPデータオフセットまたは8バイトUDPヘッダー、次にペイロード ... */
struct wire_event *e = bpf_ringbuf_reserve(&events, sizeof(*e), 0);
if (!e)
return TCX_NEXT;
e->ts = bpf_ktime_get_ns();
e->sport = sport;
e->dport = dport;
e->ifindex = skb->ifindex;
e->dir = dir;
e->total_len = plen;
e->captured = cap;
if (bpf_skb_load_bytes(skb, poff, e->data, cap) < 0) {
bpf_ringbuf_discard(e, 0);
return TCX_NEXT;
}
bpf_ringbuf_submit(e, 0);
return TCX_NEXT;
}
そのifindexには理由がある。ループバック上のパケットは、loのエグレスフックを通過し、次にカーネルがそれを自分自身に渡すため、loのイングレスフックを通過する。同じバイト、2つのイベント。TCPはシーケンス番号で重複排除できる。UDPにはシーケンス番号がない。だからループバックでは、コレクターはエグレスコピーを保持し、もう一方をドロップする。そして各データグラムは正確に1回カウントされる。
if (ev.dir === DIR_INGRESS && ev.ifindex === lo) return;
portsマップも見てほしい。Cコードにはポート番号はどこにもない。スクリプトは起動時に引数からマップを埋め、8125はStatsDが使用するポートだが、それ以外でも問題ない。カーネル側はStatsDが何であるかを知らないため、同じメカニズムで、既知のポートでラインプロトコルを話す他のあらゆるものをカバーできる。ポートをマッチさせ、最大512バイトをコピーする。パースはJavaScriptの問題であり、JavaScriptは安価だ。stick上のコレクターは、この一つのプローブからRedis、memcached、Graphiteデコーダーをすでに実行しており、それぞれに独自のフラグが付いている。次のプロトコルはポート番号とデコーダーを必要とする。
それ以外はすべてカーネル内に留まる。ACK、TLS、Zoomコール、何もユーザースペースにはクロスしない。そしてプログラムはすべてのパスでTCX_NEXTを返すため、パケットをドロップしたり書き換えたりすることはない。読み取るだけだ。それが仕事のすべてだ。
yeetはyeet:bpfを使ってスクリプトからそれをロードする。アタッチターゲットは、システムグラフがアップしていると示すものだ。
import { BpfObject, HashMap, RingBuf } from "yeet:bpf";
const { data } = await yeet.graph.query(`{ network_interfaces { index is_up } }`);
const tcx = { kind: "tcx", ifindex: data.network_interfaces.filter((i) => i.is_up).map((i) => i.index) };
const control = await new BpfObject({ exe: "../bpf/bin/wire.bpf.o", base: import.meta.dirname })
.bind("events", { kind: "ringbuf", btf_struct: "wire_event" })
.bind("ports", { kind: "hash" })
.attach("on_ingress", tcx)
.attach("on_egress", tcx)
.start();
const ports = new HashMap(control, "ports");
for (const port of [8125, 8126]) await ports.update(port, 1); // from yeet.args, really
await new RingBuf(control, "events").subscribe(onEvent, () => dropped.inc());
btf_struct: "wire_event"は、デシリアライザー全体だ。デーモンはオブジェクトのBTFから構造体のレイアウトを読み取り、onEventにsport、dport、dataなどがすでに設定されたプレーンオブジェクトを渡す。マップについても同様のトリックだ:update(8125, 1)は、Cがそう言ったので__u16キーと__u8値になる。バイトパーサーは書かなかった。書くつもりもない。
デコーダーは意図的に退屈
ここに、配管を取り除いたStatsD側のコードを示す。
request(ev, bytes) {
this.datagrams.inc();
for (const line of latin1(bytes).split("\n")) {
const m = /^([^:]+):([^|]+)\|([a-z]+)(?:\|@([0-9.]+))?(?:\|#(.*))?$/.exec(line.trim());
if (!m) { this.lines.labels({ status: "invalid" }).inc(); continue; }
const [, rawName, rawValue, type, rate, tags] = m;
const name = rawName.replace(/\./g, "_");
const labels = parseTags(tags); // #service:api,region:us
const sample = 1 / (Number(rate) || 1); // @0.1は10倍のカウント
this.#apply(name, type, rawValue, Number(rawValue), labels, sample);
}
}
#applyはタイプ文字によるスイッチだ。cはvalue * sampleでカウンターを増やす。gはゲージを設定するか、値に符号が付いていればそれを調整する。ms、h、dはヒストグラムを観測し、ミリ秒を秒にスケーリングする。sは値をセットに投げ込み、そのサイズを公開する。それがStatsDの仕様だ。すべてだ。ナプキンに収まるほどだ。
ファミリーは、名前が初めて表示されたときに作成される。これはstatsd_exporterがYAMLで事前にやらせる部分だ。
#family(name, type, labels) {
const key = `${type}:${name}`;
let f = this.#series.get(key);
if (!f) {
const opts = { help: `StatsD ${type} ${name}, read off the wire.`, labels: labels.names };
if (type === "histogram") opts.buckets = LATENCY_BUCKETS;
f = this.telemetry[type](name, opts);
this.#series.set(key, f);
}
return f;
}
this.telemetryはTelemetryレジストリだ。最初のapp.errorsラインが#service:api,region:usタグ付きで表示されると、app_errors_totalのラベルセットが固定される。後から別のタグが付いたラインが表示されても、コレクターをダウンさせるのではなく、statsd_exporter_lines_total{status="rejected"}の下でカウントされる。実際のエクスポーターと同じルールだが、設定ファイルに書く必要がなかっただけだ。
OK、しかしアイソレートはソケットを開けない
正しい。yeetスクリプトが実行されるアイソレートはポートをバインドできない。また、前回話題にしたようにfetchもできない。これは依然として最も良い点だと考えている。この絵の中の唯一のリスナーはデーモンに属しており、デーモンはHTTPとWebSocketを話す。それがすべてだ。
では、Prometheusはどうやってそれをスクレイプするのか?
2つの部分だ。コレクターはSharedWorkerとして実行され、telemetry.serve()を呼び出す。これはメッセージポート経由でスナップショットリクエストに応答する。スクレイプエンドポイントは別のスクリプトであり、非常に小さい。
import { render } from "yeet:telemetry";
import { emit } from "../../lib/emit.js";
import { pick, upAs } from "../../lib/snapshot.js";
// ワイヤーコレクターが保持する、他のプロトコルではないすべてのもの。
const OTHERS = ["redis_", "memcached_", "graphite_"];
emit(await render({ worker: "../../lib/collectors/wire.js" }, ({ worker: w }) => ({
...upAs(w, "statsd_exporter_up", "1 when the wire collector answered."),
...Object.fromEntries(Object.entries(w).filter(([k, f]) =>
k !== "yeet_worker_up" && !OTHERS.some((p) => k.startsWith(p)) && !/^Graphite/.test(f?.help ?? "")))
})));
render({ worker })は共有ワーカーに接続し、そのレジストリを要求し、ファミリーを整形する関数に渡す。この関数は、同じプローブ上の他のデコーダーが生成したシリーズを除外し、残りをstatsd_exporterの名前の下に保持する。出力はPrometheusテキストフォーマットとしてコンソールに出力され、エンコーダーは出力時に検証するため、誤ってフォーマットされていないドキュメントを出荷することはない。
次にyeet serviceが、コンソールをHTTPレスポンスにする部分を実行する。
yeet service unit add exporter-swap/gateway -W "http://0.0.0.0:9100"
yeet service unit add exporter-swap/statsd_exporter -I exporters/statsd_exporter/metrics.js --lazy
yeet service mount exporter-swap/gateway -L /statsd_exporter/metrics -t statsd_exporter -p console -T per-connection
/statsd_exporter/metricsへの単純なGETリクエストは、新しいアイソレートを起動し、上記のスクリプトを実行し、そのコンソールをレスポンスボディにストリームし、終了する。スクレイプは数ミリ秒しか生存しないプロセスであり、その生涯でネットワークアクセスを一切行わない。Prometheusは違いを認識できない。
scrape_configs:
- job_name: statsd
metrics_path: /statsd_exporter/metrics
static_configs:
- targets: ["stick:9100"]
$ curl -s stick:9100/statsd_exporter/metrics
# HELP statsd_exporter_up 1 when the wire collector answered.
# TYPE statsd_exporter_up gauge
statsd_exporter_up 1
# HELP statsd_exporter_udp_packets_total StatsD datagrams seen on the wire.
# TYPE statsd_exporter_udp_packets_total counter
statsd_exporter_udp_packets_total 215702
# HELP app_requests_total StatsD counter app_requests, read off the wire.
# TYPE app_requests_total counter
app_requests_total 129798
# HELP app_errors_total StatsD counter app_errors, read off the wire.
# TYPE app_errors_total counter
app_errors_total{service="api",region="us"} 1296520
# HELP app_queue_depth StatsD gauge app_queue_depth, read off the wire.
# TYPE app_queue_depth gauge
app_queue_depth 22
# HELP app_request_time StatsD histogram app_request_time, read off the wire.
# TYPE app_request_time histogram
app_request_time_bucket{le="0.0005"} 0
app_request_time_bucket{le="0.001"} 0
app_request_time_bucket{le="0.002"} 462
...
app_request_time_sum 19534.094000000434
app_request_time_count 129174
app_errors_totalはapp_requests_totalの10倍だ。なぜなら、アプリは@0.1を付けて送信しているからだ。タグはラベルになった。タイマーはヒストグラム(秒単位)になった。マッピングファイルは誰も書かなかった。
tl;dr: データグラムは常にメトリクスだった。私たちはそれをキャッチするプロセスを必要としなくなっただけだ。
[画像: ミーム:驚いたピカチュウ]
失うもの
ここには魔法はない。だから、これがその内訳だ。
このホストが送信するものを確認できる。 本物のリスナーは到着したものを確認する。もしホストA上のアプリがホストB上のコレクターにStatsDを送信する場合、これはA上で実行され、ソースでカウントされる。そしてPrometheusのinstanceラベルがどのAかを示してくれる。私はそれがより良いと主張するだろう。間違いなく違う。
名前はデフォルトのマッピングに従う。 ドットはアンダースコアになり、それだけだ。もしあなたがapp.api.us.requestsをapp_requests{service="api", region="us"}に変換するためにstatsd_exporterのマッピング言語に依存していたなら、それをデコーダーに書くことになるだろう。長い追加ではないが、この投稿の範囲外だった。追加したい場合は、PRを自由に提出してほしい。
カウンターには_totalが付く。 レジストリは、すべてのPrometheusクライアントライブラリが行うように、サフィックスを付加する。statsd_exporterは、要求しない限りそれをオフのままにする。ダッシュボードを修正するか、デコーダーを修正するか、どちらがあなたをより悩ませないかだ。
データグラムあたり512バイト。 StatsDデータグラムはMTUに収まるはずであり、通常クライアントははるかに小さいバッチを送信するが、あなたのものが収まらない場合、DATA_MAXは#defineだ。
プレーンテキストだ。 しかしStatsDもそうだ。このシリーズがHTTPエクスポーターに到達すると、それは真実でなくなり、TLSアップローブについて話すことになる。
終わり
リスナーは決してポイントではなかった。それはデータグラムをカーネルから、カウント方法を知っているプロセスに送り出すものだった。今、カウントはカーネルのすぐ隣で行われる:検証者が署名したプログラムがラインをリングバッファにコピーし、一つの画面に収まるデコーダーが計算を行い、Prometheusがソケットを持たないサンドボックスから答えをプルする。そしてそれはスクレイプされる。
Port 8125では誰も聞いていない。数字は問題ない。
次は、あなたがインストールしたことのないnginxエクスポーター、そしてなぜそれがあなたがインストールしたものより多くのことを知っているのか。