SOCKMAP - 未来のTCPスプライシング
SOCKMAP - TCP splicing of the future (blog.cloudflare.com)
要約
Cloudflareのブログ記事は、リバースプロキシにおけるデータ転送の効率を劇的に向上させるLinuxカーネルのSOCKMAPインフラストラクチャについて紹介しています。SOCKMAPはeBPFを活用し、TCPソケット間でデータをコピーすることなく直接転送することを可能にし、ユーザー空間プロセスの負荷やシステムコール、データコピーのコストを削減します。これにより、従来のTCPスプライシング手法が抱える課題を解決し、データ量の多いアプリケーションのアーキテクチャに革新をもたらす可能性を秘めています。
全文翻訳
SOCKMAP - TCPスプライシングの未来
最近、リバースプロキシにとっての聖杯とも言えるTCPソケットスプライシングAPIを発見しました。これは、私たちがグローバルなリバースプロキシサービスネットワークを運営していることを考えると、非常に注目に値するものです。適切なTCPソケットスプライシングは、ユーザースペースプロセスの負荷を軽減し、より効率的なデータ転送を可能にします。そして、LinuxカーネルのSOCKMAPインフラストラクチャをこの目的のために再利用できることに気づきました。SOCKMAPは非常に有望なAPIであり、ソフトウェアプロキシのようなデータヘビーなアプリケーションのアーキテクチャに地殻変動を引き起こす可能性があります。
画像 by Mustad Marine public domain
しかし、少し巻き戻してみましょう。
L7プロキシの誕生時の苦痛
ユーザースペースから大量のデータを転送するのは非効率です。Linuxは、この問題に対処するためのいくつかの特殊なシステムコールを提供しています。例えば、sendfile(2)システムコール(Linusが好まないもの)は、ディスクからソケットへの大容量ファイルの転送を高速化するために使用できます。次に、従来のプロキシが2つのTCPソケット間でデータを転送するために使用するsplice(2)があります。最後に、vmspliceは、コピーなしでメモリバッファをパイプに挿入するために使用できますが、正しく使用するのは非常に困難です。
残念ながら、sendfile、splice、vmspliceは非常に特殊化されており、同期処理であり、問題の一部しか解決しません。それらは、データをユーザースペースにコピーする必要性を回避するだけです。他の効率性の問題は未解決のままです。
| 間 | ユーザースペースメモリを回避 | ゼロコピー | |
|---|---|---|---|
| sendfile | ディスクファイル --> ソケット | はい | いいえ |
| splice | パイプ <--> ソケット | はい | はい? |
| vmsplice | メモリ領域 --> パイプ | いいえ | はい |
大量のデータを転送するプロセスは、3つの問題に直面します。
- システムコールコスト:転送されるパケットごとに複数のシステムコールを発行するのはコストがかかります。
- ウェイクアップレイテンシ:ユーザースペースプロセスは、データを転送するために頻繁に起動する必要があります。スケジューラによっては、これがテールレイテンシの低下につながる可能性があります。
- コピーコスト:カーネルからユーザースペースへ、そしてすぐにカーネルへデータをコピーするのは無料ではなく、測定可能なコストが積み重なります。
多くの試み
TCPソケット間でデータを転送することは、一般的なプラクティスです。これは以下のような場合に必要です。
- Squidのような透過的なフォワードHTTPプロキシ。
- VarnishやNGINXのようなリバースキャッシュHTTPプロキシ。
- HAProxy、Pen、Relaydのようなロードバランサー。
長年にわたり、Linux上でTCPソケット間の単純なデータ転送コストを削減するために、多くの試み がありました (例:haproxy.org)。この問題は一般的に「TCPスプライシング」、「L7スプライシング」、または「ソケットスプライシング」と呼ばれています。
TCPスプライシングの通常の実行方法を比較してみましょう。問題を単純化するために、リッチなレイヤー7 TCPプロキシを記述する代わりに、単純なTCPエコーサーバーを記述します。
これは冗談ではありません。エコーサーバーはTCPソケットスプライシングをよく説明できます。ご存知の通り、「エコー」は基本的にソケットを…それ自身とスプライスします!
ナイーブ:読み書きループ
ナイーブなTCPエコーサーバーは次のようになります。
while data:
data = read(sd, 4096)
writeall(sd, data)
これ以上簡単なものはありません。ブロッキングソケットでは、これは完全に有効なプログラムであり、うまく機能します。完全を期すために、ここに完全なコードを用意しました。
splice:特殊なシステムコール
Linuxには素晴らしいsplice(2)システムコールがあります。これはカーネルに、ソケット上のTCPバッファとパイプ上のバッファの間でデータを移動するように指示できます。データはバッファ内に、カーネル側に留まります。これにより、データをユーザースペースとカーネルスペースの間で不必要にコピーする必要がなくなります。SPLICE_F_MOVEフラグを使用すると、カーネルはデータのコピーを完全に回避できる可能性があります!
splice()を使用した私たちのプログラムは次のようになります。
pipe_rd, pipe_wr = pipe()
fctnl(pipe_rd, F_SETPIPE_SZ, 4096);
while n:
n = splice(sd, pipe_wr, 4096)
splice(pipe_rd, sd, n)
それでもユーザースペースプログラムを起動し、データの転送ごとに2つのシステムコールを発行する必要がありますが、少なくともすべてのコピーを回避できます。完全なソース。
io_submit:Linux AIO APIの使用
以前のブログ投稿 io_submit() についてで、AIOインターフェースをネットワークソケットとともに使用することを提案しました。詳細についてはブログ投稿をお読みください。しかし、エコーサーバーループを単一のシステムコールのみで実装したプログラムがここにあります。
[画像: 452423494_31aa5caca5_z-1]
画像 by jrsnchzhrs By-Nd 2.0
SOCKMAP:究極の武器
近年、LinuxカーネルはeBPF仮想マシンを導入しました。これにより、ユーザースペースプログラムは、カーネルコンテキストで特殊化された、チューリング完全ではないバイトコードを実行できます。現在では、パケットフィルタリングからポリシー施行まで、数十のユースケースに対してeBPFプログラムを選択することが可能です。
カーネル4.14以降、Linuxはソケットスプライシングに使用できる新しいeBPFメカニズムであるSOCKMAPを取得しました。これはCilium.ioのJohn Fastabendによって作成され、StrparserインターフェースをeBPFプログラムに公開しました。Ciliumはレイヤー7ポリシー施行のためにSOCKMAPを使用しており、使用されるすべてのロジックはeBPFプログラムに埋め込まれています。APIは十分に文書化されておらず、ルート権限が必要で、私たちの経験では少し バギーです。しかし、非常に有望です。詳細はこちらをご覧ください。
- LPC2018 - kTLSとBPFを組み合わせてイントロスペクションとポリシー施行を行う 論文 ビデオ スライド
- オリジナルのSOCKMAPコミット
SOCKMAPの使用方法は次のとおりです。SOCKMAP、具体的には「BPF_MAP_TYPE_SOCKMAP」は、eBPFマップの一種です。このマップは「配列」であり、インデックスは整数です。これらはすべて非常に標準的です。マジックはマップの値にあります。それらはTCPソケットディスクリプタでなければなりません。
このマップは非常に特別です。2つのeBPFプログラムがそれにアタッチされています。お読みの通りです。eBPFプログラムは、通常のようにソケット、cgroup、またはネットワークインターフェースにアタッチされるのではなく、マップにアタッチされて存在します。これがユーザプログラムでSOCKMAPを設定する方法です。
sock_map = bpf_create_map(BPF_MAP_TYPE_SOCKMAP, sizeof(int), sizeof(int), 2, 0)
prog_parser = bpf_load_program(BPF_PROG_TYPE_SK_SKB, ...)
prog_verdict = bpf_load_program(BPF_PROG_TYPE_SK_SKB, ...)
bpf_prog_attach(prog_parser, sock_map, BPF_SK_SKB_STREAM_PARSER)
bpf_prog_attach(prog_verdict, sock_map, BPF_SK_SKB_STREAM_VERDICT)
タダ!この時点で、パーサーとバーディクトの2つのeBPFプログラムがアタッチされた、確立されたsock_map eBPFマップがあります。次のステップは、TCPソケットディスクリプタをこのマップに追加することです。これ以上簡単なことはありません。
int idx = 0;
int val = sd;
bpf_map_update_elem(sock_map, &idx, &val, BPF_ANY);
この時点でマジックが起こります。今後、私たちのソケットsdがパケットを受信するたびに、prog_parserとprog_verdictが呼び出されます。それらのセマンティクスは、strparser.txtと紹介のSOCKMAPコミットで説明されています。単純化のために、私たちの単純なエコーサーバーは最小限のスタブのみを必要とします。これがeBPFコードです。
SEC("prog_parser")
int _prog_parser(struct __sk_buff *skb)
{
return skb->len;
}
SEC("prog_verdict")
int _prog_verdict(struct __sk_buff *skb)
{
uint32_t idx = 0;
return bpf_sk_redirect_map(skb, &sock_map, idx, 0);
}
サイドノート:このテストプログラムの目的のために、最小限のeBPFローダーを作成しました。依存関係(bcc、libelf、libbpfのいずれも)がなく、基本的な再配置(前述のsock_mapシンボルの解決など)を実行できます。コードを参照してください。
bpf_sk_redirect_mapの呼び出しがすべての作業を行います。これはカーネルに、受信したパケットを、あるソケットの受信キューから、sock_mapのインデックス0にあるソケットの送信キューにリダイレクトするように指示します。この場合、これらは同じソケットです!ここで、エコーサーバーが実行すべきことを正確に達成しましたが、完全にeBPF内で行いました。
このテクノロジーには複数の利点があります。第一に、データはユーザースペースにコピーされません。第二に、ユーザースペースプログラムを起動する必要はまったくありません。すべての処理はカーネル内で行われます。かなりクールではありませんか?
ソケットが閉じられるまでユーザースペースプログラムを待機させるために、もう1つのコードが必要です。これは、昔ながらのpoll(2)で最もよく行われます。
/* ソケットが閉じるのを待ちます。SOCKMAPにマジックを実行させます。*/
struct pollfd fds[1] = {
{.fd = sd, .events = POLLRDHUP},
};
poll(fds, 1, -1);
ベンチマーク
この段階で、4つの単純なTCPエコーサーバーを提示しました。
- ナイーブな読み書きループ
- splice
- io_submit
- SOCKMAP
要約すると、3つのコストを測定しています。
- システムコールコスト
- ウェイクアップレイテンシ、主にテールレイテンシとして現れる
- データコピーのコスト
理論的には、SOCKMAPは他のすべてを上回るはずです。
| システムコールコスト | ユーザースペースの起動 | コピーコスト | |
|---|---|---|---|
| 読み書きループ | 2つのシステムコール | はい | 2回のコピー |
| splice | 2つのシステムコール | はい | コピーなし? |
| io_submit | 1つのシステムコール | はい | 2回のコピー |
| SOCKMAP | なし | いいえ | コピーなし |
数字を見せてください
これは、さまざまなアプローチを明確に示す、息をのむような数字を示す投稿の部分です。残念ながら、ベンチマークは難しく、そして…SOCKMAPは最も遅いことが判明しました。否定的な結果を公開することは重要ですので、ここにそれらを示します。
私たちのテストリグは次のとおりです。
- 25Gbpsネットワークで接続された2台のベアメタルXeonサーバー。
- 両方ともターボブーストは無効になっており、テストプログラムはCPUにピン留めされています。
- 局所性を高めるために、RXとTXキューをそれぞれ1つのIRQ/CPUに局所化しました。
- テストサーバーは、固定サイズのブロックの10kバッチを送信するスクリプトを実行します。スクリプトは、エコーサーバーがトラフィックを返すのにかかる時間を測定します。
- 各測定されたエコーサーバープログラムについて、10回の別々の実行を行います。
- TCP:「cubic」およびNONAGLE=1。
- 両方のサーバーは4.14カーネルを実行しています。
実験データの分析により、いくつかの外れ値が特定されました。最悪の時間の一部(長いエコー応答として現れる)は、ネットワークパケットロスのような無関係な要因によって引き起こされたと考えています。提示されたチャートでは、おそらく物議を醸しますが、外れ値の下位1%をスキップして、重要だと考えるデータに焦点を当てています。
さらに、SOCKMAPのバグを発見しました。一部の実行は最大64ms遅延しました。ここにテストの1つがあります。
Values min:236.00 avg:669.28 med=390.00 max:78039.00 dev:3267.75 count:2000000
Values:
value |-------------------------------------------------- count
1 | 0
2 | 0
4 | 0
8 | 0
16 | 0
32 | 0
64 | 0
128 | 0
256 | 3531
512 |************************************************** 1756052
1024 | ***** 208226
2048 | 18589
4096 | 2006
8192 | 9
16384 | 1
32768 | 0
65536 | 11585
131072 | 1
エコー実行の大部分(この場合は128KiB)は512usの帯域で終了しましたが、一部は65ms遅延しました。これはかなり悪く、SOCKMAPと他の実装の比較をほとんど無意味なものにします。これが、すべての実行から最悪の1%の結果をスキップする2番目の理由です。これにより、SOCKMAPの数値がはるかに使いやすくなります。申し訳ありません。
2MiBブロック - スループット
私たちのプログラムの中で最も速いものは、1つのフローで約15Gbpsを達成しました。これはハードウェアの制限のようです。これは最初のイテレーションでよく見られ、エコープログラムのスループットを示しています。
このテストは、2MiBブロックのデータを送信および受信する時間を示します。これを10k回繰り返し、テストを10回実行します。最悪の1%の数値を削除した後、次のレイテンシ分布が得られます。
[画像: numbers-2mib-2]
このチャートは、ナイーブな読み書きとio_submitの両方のプログラムが、2MiBブロックのTCPエコーサーバーに対して平均ラウンドトリップ時間1500usを達成できたことを示しています。
ここでは、spliceとSOCKMAPが他のものよりも遅いことがはっきりとわかります。それらはCPUバウンドであり、ラインレートに到達できませんでした。過去に異常なspliceパフォーマンスの問題を提起しましたが、おそらくもう一度デバッグする必要があります。
各サーバーについて、テストを2回実行します。SO_BUSYPOLL設定なしとありです。この設定は「ウェイクアップレイテンシ」を削除し、ジッターを大幅に削減するはずです。結果は、ナイーブおよびio_submitテストがほぼ同一であることを示しています。これは完璧です!BUSYPOLLは確かに偏差とレイテンシを削減しますが、CPU使用率の上昇というコストがかかります。spliceもSOCKMAPもこの設定の影響を受けないことに注意してください。
16KiBブロック - ウェイクアップ時間
私たちの2回目のテストでは、はるかに小さいデータサイズを使用し、一度に小さな16KiBブロックを送信しました。このテストは、テストされたプログラムの「ウェイクアップ時間」を示すはずです。
[画像: numbers-16kib-1]
このテストでは、すべてのプログラムの非BUSYPOLL実行は(最小値と最大値において)かなり似ていますが、SOCKMAPは例外です。これは素晴らしいことです。ウェイクアップ時間は同等であると推測できます。驚くべきことに、spliceは他のものよりもわずかに優れた中央値時間を示しています。これは、CPUキャッシュの局所性が向上したことによるCPUアーティファクトで説明できるかもしれません。SOCKMAPは再び、最悪の中央値時間と最大時間で最も遅いです。残念。
最悪の1%のデータを切り取ったことを忘れないでください。最大値は人工的に短縮されています。
TL;DR
このブログ投稿では、SOCKMAPの理論的な利点について議論しました。残念ながら、まだ実用段階ではないことに気づきました。spliceと比較しましたが、spliceはBUSYPOLLの恩恵を受けず、期待外れのパフォーマンスであることがわかりました。ナイーブな読み書きループとiosubmitアプローチは、まったく同じパフォーマンス特性を持ち、ジッター(ウェイクアップ時間)を削減するためにBUSYPOLLから恩恵を受けることがわかりました。
TCPソケット間でデータをパイプする場合、SOCKMAPを検討する価値は間違いなくあります。私たちのベンチマークでは、パフォーマンスが悪く、ジッターが高く、いくつかのバグがあるため、まだ実用段階ではないことが示されていますが、非常に有望です。私たちはそれについて非常に興奮しています。これは、ユーザースペースプロセスがTCPスプライシングをカーネルにオフロードすることを真に可能にするLinux上の最初のテクノロジーです。また、非同期、カーネルオンリー、不要なデータコピーを完全に回避するというすべての条件を満たし、他のアプローチよりもはるかに優れたパフォーマンスを発揮する可能性があります。
これだけではありません。SOCKMAPは複数のソケット間でデータをパイプできます。接続のフルメッシュがお互いにデータを送信できると想像できます。さらに、基本的なアプリケーションフレーミングをオフロードするために使用できるstrparser APIを公開しています。kTLSと組み合わせることで、透過的な暗号化と組み合わせることができます。さらに、UDPサポートの追加の噂があります。可能性は無限です。
最近、カーネルはeBPFのイノベーションで爆発しています。最新のeBPFインターフェースによって公開された可能性の表面を、私たちはまだ引っ掻いただけのように思えます。
最初にSOCKMAPを提案し、概念実証を作成し、そして私たちが発見したバグを実際に修正してくれたJakub Sitnickiに多大な感謝を。ワルシャワオフィス、頑張ってください!