HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

eBPFコードのプロファイリング方法

How Do I Profile eBPF Code? (naveensrinivasan.com)

111 pointsby snaveen6 コメント

要約

この記事は、eBPFコードのパフォーマンスを測定し、ボトルネックを特定するための実践的なガイドです。ファイルオープン操作を例に、eBPFフックのオーバーヘッドを計測するC言語のテストハーネスの作成方法、`perf`ツールでシンボル解決を有効にするためのカーネル設定、そして`perf record`と`perf report`を用いた計測と分析の手順を解説しています。これにより、eBPFコードがシステムパフォーマンスに与える影響を明確に把握し、最適化箇所を特定することが可能になります。

全文翻訳

eBPFコードのプロファイリング方法

eBPFワークロードを実行中またはeBPFコードを記述中に、そのパフォーマンスへの影響を測定したい場合があります。この記事では、その方法を実例を挙げて説明します。

この例では、OSの最も重要な機能の一つであるファイルオープン操作のパフォーマンスを測定することを目標とします。eBPFでファイルオープンフックを使用したコードで、このフックを追加することによるパフォーマンスオーバーヘッドを測定したいと考えました。

潜在的なボトルネックを特定するために、ファイルオープンパフォーマンスを測定するように設計された、依存関係の少ないシンプルなC言語のテストハーネスが必要です。

#define _GNU_SOURCE
#include <fcntl.h>
#include <stdio.h>
#include <time.h>
#include <stdint.h>
#include <stdlib.h>
#include <unistd.h>
#include <sched.h>
#include <sys/mman.h>
#include <sys/syscall.h>

static inline uint64_t now_ns(void) {
    struct timespec ts;
    clock_gettime(CLOCK_MONOTONIC, &ts);   /* VDSO, no syscall */
    return (uint64_t)ts.tv_sec * 1000000000ull + ts.tv_nsec;
}

int main(int argc, char **argv) {
    const char *path = argv[1];
    uint64_t n      = strtoull(argv[2], NULL, 10);
    uint64_t warm   = n / 10;

    /* preallocate + prefault + lock: no page faults in the loop */
    uint32_t *d = mmap(NULL, n * sizeof(uint32_t), PROT_READ|PROT_WRITE,
                       MAP_PRIVATE|MAP_ANONYMOUS|MAP_POPULATE, -1, 0);
    mlock(d, n * sizeof(uint32_t));
    for (uint64_t i = 0; i < n; i++) d[i] = 0;   /* fault everything in */

    for (uint64_t i = 0; i < n; i++) {
        uint64_t t0 = now_ns();
        long fd = syscall(SYS_openat, AT_FDCWD, path, O_RDONLY);   /* raw, no libc wrapper */
        uint64_t t1 = now_ns();
        if (fd >= 0) close(fd);
        d[i] = (uint32_t)(t1 - t0);
    }

    /* dump after the loop only */
    for (uint64_t i = warm; i < n; i++) printf("%u\n", d[i]);
    return 0;
}

上記のコード例の目標は、シンプルに保ち、ウォームキャッシュ条件下で同じファイルを再オープンすることです。これにより、無関係なファイルシステムやディスクI/Oの変動を最小限に抑え、p50/p99の特定に役立ちます。コードはlibcのopenat()ラッパーではなくsyscall(SYS_openat, …)を呼び出し、結果の最初の10%はウォームアップ期間として破棄されます。

このテストハーネスは、ファイルをx回オープンするのにかかった時間を計測した結果を生成します。これにより、eBPFフックがアタッチされる前後のパフォーマンスを測定できます。

セットアップ

eBPFコードをプロファイリングする際、perfツールがシンボルを解決できるようにしたいと考えます。これにより、コード内の問題箇所を分析できます。そのためには、以下のコマンドを実行する必要があります。

sudo sysctl -w net.core.bpf_jit_enable=1
sudo sysctl -w net.core.bpf_jit_kallsyms=1

上記のコマンドは、JITを有効にし、JITコンパイルされたBPFシンボルを公開することで、perf reportが不明なアドレスではなくプログラム名を表示できるようにします。

シンボルがperfツールに表示されるかを確認するには、eBPFコードを実行し、以下のようなコマンドを使用します。

sudo bpftool prog show | rg -A4 ' lsm '
sudo rg 'bpf_prog_[0-9a-f]+_ '/proc/kallsyms | rg 'security|path|file|open'

上記のrgコマンドでは、LSMフックを測定しているため、lsmをチェックしています。

また、カスタムカーネルバージョンを使用しているため、そのカーネルバージョンのperfは標準パスにないため、例では/usr/lib/linux-tools/6.8.0-134-generic/perfにインストールされています。

計測

必要なツールがすべてセットアップされたので、最初のステップはeBPFコードを実行せずに測定することです。ここで上記のCコードが役立ちます。/etc/hostnameファイルを開く際のコードを測定し、結果をファイルにパイプしてp50/p99を計算できるようにします。

sudo taskset -c 3 chrt -f 99 ./bench /etc/hostname 100000 > /tmp/samples.txt 

taskset -c 3は実行をCPU 3に固定し、CPUマイグレーションのノイズを減らします。chrt -f 99はベンチマークに非常に高いCPU優先度を与えます。これはほとんどすべての通常のプログラムの前に実行され、終了、ブロック、または中断されるまで実行し続けます。Cコードは最初の10%を破棄するため、samples.txtファイルには90,000個のサンプルが含まれるはずです。

次に、eBPFコードを実行し、以下のようなコマンドを実行します。

sudo $PERF record \
  -g \
  --call-graph fp \
  -e cycles:k \
  -F 997 \
  -o ~/perf.data \
  -- \
  taskset -c 3 \
  chrt -f 99 \
  ./bench /etc/hostname 200000 \
  > /tmp/samples.txt

-gはコールスタックを記録し、--call-graph fpはフレームポインタを使用してスタックをアンワインドします。-eはカーネルモードのみでCPUサイクルをサンプリングします。これには、ユーザースペースのベンチマーク作業ではなく、システムコール、VFS、LSM、eBPFの実行が含まれます。-F 997は毎秒997回のサンプリングを要求し、丸められていない周波数は周期的なアライメントを避けるのに役立ちます。

上記を実行した後、このコマンドを実行してデータをソートします。

sudo "$PERF" report -i ~/perf.data --stdio --sort comm,dso,symbol > perf.txt 

[画像: alt text]

同じperf.dataのFlamegraph。Infernoを使用して生成されました。興味のあるスタックはbpf_lsm_file_openとその上のすべてです。

以下はperf.txtからの出力例です。これにより、bpf_lsm_file_openとそのテールコールに費やされている時間がパフォーマンスのボトルネックであることが示されています。これはホットパスであることが判明し、アロケーションからCPUサイクルを削るあらゆる最適化がシステムのパフォーマンスに大きな影響を与えることを意味します。

|
|          |                     |                     |          |          |–90.52%–do_dentry_open
|          |                     |                     |          |          |          |
|          |                     |                     |          |          |           --89.78%–bpf_lsm_file_open
|          |                     |                     |          |          |                     |
|          |                     |                     |          |          |                      --89.30%–0xffffffffc0288c18
|          |                     |                     |          |          |                                |
|          |                     |                     |          |          |                                |–87.40%–bpf_prog_b06f413955402a4b_tail_call_security_check
|          |                     |                     |          |          |                                |          |
|          |                     |                     |          |          |                                |          |–77.57%–bpf_prog_934361d723613c1c_enforce_access_policy
|          |                     |                     |          |          |                                |          |          |
|          |                     |                     |          |          |                                |          |          |–57.87%–bpf_prog_a0f18f4b0b140d77_path_check_callback
|          |                     |                     |          |          |                                |          |          |          |
|          |                     |                     |          |          |                                |          |          |          |–29.94%–bpf_probe_read_kernel
|          |                     |                     |          |          |                                |          |          |          |          |
|          |                     |                     |          |          |                                |          |          |          |          |–18.88%–copy_from_kernel_nofault
|          |                     |                     |          |          |                                |          |          |          |          |
|          |                     |                     |          |          |                                |          |          |          |           --4.99%–copy_from_kernel_nofault_allowed
|          |                     |                     |          |          |                                |          |          |          |
|          |                     |                     |          |          |                                |          |          |          |–4.88%–htab_map_hash
|          |                     |                     |          |          |                                |          |          |          |
|          |                     |                     |          |          |                                |          |          |           --2.29%–copy_from_kernel_nofault

この記事は特定の成果ではなく、プロファイリング方法に焦点を当てています。表示されるオーバーヘッドは、フックが実際に行うことに大きく依存するため、ここでは数値は省略し、ご自身で取得する方法に焦点を当てています。

上記から、時間の使われ方を分析し、eBPF実行中のCコードのp50/p99とともにコードをperfチューニングし始めることができます。

これにより、eBPFコードのパフォーマンスへの影響を明確に特定し、最適化が必要な箇所を特定できます。キャッシュの追加や、問題箇所に基づいたより良いアルゴリズムの考案など、単純なことから始めることができます。