カーネルにL7ファイアウォールを実装しました
We Put an L7 Firewall in the Kernel (yeet.cx)
要約
このブログ記事では、eBPFとJavaScriptを使用してカーネル内で動作するL7(アプリケーション層)ファイアウォールを開発した経験について説明しています。従来のユーザー空間プロキシとは異なり、このソリューションはパケット処理をカーネル内で行うことで、ミリ秒単位の遅延をナノ秒単位に短縮し、ポリシーの変更を再ビルドや再デプロイなしに即座に反映させます。
全文翻訳
カーネル内L7ファイアウォール
「これはJane Streetのシ*トだ。」Fortune 500企業のあるエンジニアリングディレクターはそう反応しました。
IPアドレスとポートだけでなく、HTTPヘッダーのようなアプリケーションデータに基づいて判断を行うファイアウォールは、ほぼ常にユーザー空間プロキシでその決定を実行します。パケットはカーネルからコピーされ、TCPストリームが再構築され、インスペクションエンジンが実行され、結果がコピーバックされます。これは機能しますが、リクエストごとにミリ秒単位のコストがかかります。
私たちは、そのレイヤーをより高速かつ容易に実行できると考えました。そこで、eBPFを使用してカーネル内で決定を行い、ポリシーをJavaScriptアプリケーションとして記述できるファイアウォールを構築しました。楽しそうですよね?
実際、楽しかったです。ヘッダーの一致は200ナノ秒未満で完了し、リクエストごとの全体の決定はマイクロ秒単位に収まります。ポリシーは単なるJavaScriptアプリケーションなので、変更には再ビルド、再デプロイ、再起動は不要です。これはすでに実際のエンタープライズトラフィックの前面で、顧客のTLS終端後のクリアテキストHTTP/2で動作しています。その仕組み、測定結果、そしてまだ測定していないことについて説明します。
なぜカーネル内L7は非現実的だったのか
カーネル内でHTTPを判断することは、以前は非現実的でした。eBPFベリファイアは、すべてのループが終了することを証明できない限り、プログラムのロードを許可しません。そのため、通常の解析コードのほとんどはロードできません。私たちは、eBPFでのL7ヘッダー解析に関する2024年の研究で、ペイロード約48バイトを一致させられることがわかりましたが、実際のHTTP/2ヘッダーブロックを判断するには全く不十分でした。
しかし、時代は変わりました。最近のカーネルアップデートにより、カーネル内L7マッチングは数十バイトからキロバイト単位に拡張され、私たちだけがそれを活用しているわけではありません。2026年には、ETH Zürich、NYU、Nvidia、Politecnico di MilanoのチームがEnforcing Application-Layer Policies in eBPFを発表し、サービスメッシュのL7ポリシー用のeBPFデータプレーンを合成するBeelineというシステムを説明しました。彼らは4,699のEnvoy設定ファイルを2,417のオープンソースプロジェクトから分析し、89%のポリシーがカーネル変更なしでeBPFで実装可能であることを発見しました。これはカーネルで表現可能なものの声明であり、誰かが実際にデプロイした数のカウントではありません。そして、この数字が、カーネル内L7がエッジケースではなく、実際のワークロードの大部分をカバーしていると私たちを確信させました。ベリファイアの制限内で解析するために、彼らはDFAベースの解析にたどり着きました。私たちのCEO兼アーキテクトであるJulian Goldsteinは、この論文を見つける前に、ベリファイアがすべての人に強制するのと同じ理由でAho-Corasickに到達していました。
マッチ入力
通常のパケットフィルターは、5タプル(送信元IP、宛先IP、送信元ポート、宛先ポート、プロトコル)でマッチします。これはレイヤー3および4です。
私たちのファイアウォールは、HTTP/2内の値にマッチします。具体的には、:authority(ホスト)、User-Agent、および送信元アドレスです。信頼できるロードバランサーの後ろにある場合は、X-Forwarded-ForとPROXYプロトコルの解決も行います。ルールは、例えば以下のようなブール論理でそれらを組み合わせます。
host == "api.example.com" && src in 127.0.0.0/8 && ua ~ "Diffbot"
今日、これの一般的なユースケースは、特定のホストでUser-Agent(GPTBot、ClaudeBot、PerplexityBot、curl/など)によってクローラーやエージェントをブロックすることです。これに送信元制約を追加することで、ルールは想定されるトラフィックの送信元にのみ適用されます。
XDPフックポイント
マッチングはXDP、つまりNICドライバー内のeBPFフックで実行されます。カーネルがソケットバッファを割り当てる前、そしてパケットがネットワークスタックに到達する前です。パスまたはドロップの判定は、その場で生成されます。
私たちは意図的にXDPでフックしています。これが他のシステムと私たちを隔てる最大の要因です。Beelineはソケットレイヤーでフックし、カーネルがTCPストリームを再構築し、kTLS経由でTLSを復号化した後です。これにより、きれいなバイトストリームが得られます。より早い段階でフックすることは、ストリームを自分たちで再構築する必要があることを意味します(フラグメンテーションのセクションで詳しく説明します)。そして、XDPがそれに見合うだけの価値があるため、そのコストを支払います。
XDPでドロップされたパケットは、ソケットバッファになることも、スタックに入ることもありません。これはLinuxが持つ最も安価なドロップです。なぜなら、カーネルはすでに拒否する予定だったトラフィックに何も費やさないからです。
強制もユーザー空間の下に位置します。JSからルールを記述・送信すると、ランタイムがカーネルプログラムが読み取る構造にコンパイルします。表現力のある作業、ルールの記述、設定の管理、ログのストリーミングはすべて、通常のJSアプリケーションで行われます。判定自体はカーネル内で実行されるため、コストが低く、侵害されたユーザー空間プロセスが静かに無効にすることはできません。
ルールの更新はgit pushで行えます。再ビルド、再デプロイ、再起動は不要です。便利です。
TLS終端とクリアテキスト制約
TLSは適合しません。この制約が、それ以上のすべてを規定します。XDPはNICから出てくるバイトをそのまま見ます。それらのバイトがTLSレコードの場合、その中の:authorityやUser-Agentは暗号化されており、マシンがまだ平文を持っていないヘッダーを読み取るためのeBPFの巧妙さはありません。
したがって、ファイアウォールはクリアテキストHTTP/2のみを検査します。これは、すでにTLSを終端したものの後ろにあるオリジンサーバーで実行されます。この記事で説明する本番環境のデプロイメントでは、顧客自身のエッジPoPがTLSを終端し、ロードバランシングを行っています。そして、私たちのXDPプログラムはその後、オリジンに到着する復号化されたHTTP/2トラフィック上で実行されます。これも、ルール言語がX-Forwarded-ForやPROXYプロトコルを扱う理由です。リクエストを見る時点では、元のクライアントアドレスはパケットフィールドではなくヘッダーになっており、前面の信頼できるプロキシは、設計がすでに前提としていることです。
これは技術的な問題ではなく、実際の制限です。TLSハンドシェイクも行うボックスでヘッダー強制を行いたい場合、これは間違ったツールであり、BeelineのようなプロキシやkTLSベースのアプローチが正しいでしょう。これによって得られるのは配置です。オリジンフリートは通常、終端後のトラフィックを処理する多くのマシンを持っており、そこで不要なリクエストをドロップするコストはマシンごとに1つのXDPプログラムであり、パスに新しいホップは追加されません。
このトレードオフは、設計全体を機能させるものと同じです。ネットワークスタックの前にフックすることが、ドロップのコストをほぼゼロにするものであり、また、カーネルが行う可能性のあるあらゆる復号化の前に私たちを置くものでもあります。同じフックから両方を得ることはできません。
Aho-Corasickマッチング
User-Agentを禁止リストのサブ文字列のリストと1つずつ照合することは、パターンごとにヘッダーをスキャンすることを意味します。代わりに、すべてのルールにわたるすべてのUAサブ文字列を1つのAho-Corasickオートマトンにコンパイルします。これは、ヘッダーをバイトごとに読み取り、単一パスでヒットしたすべてのパターンを報告するDFAです。
スキャンはヘッダーの長さに線形であり、パターンの追加に伴って遅くなることはありません。10個のパターンでも1万個でも、ヘッダーは依然として数百バイトであり、1回のパスで処理されます。より多くのルールはテーブルサイズを増加させますが、スキャン時間を増加させるわけではありません。
また、カーネルにロードできるのはこの形状だけです。ベリファイアは、すべてのループが終了することを証明できる場合にのみプログラムをロードします。単一の境界付きループと、ヘッダー長で制限された1バイトあたりのテーブルルックアップは、証明が容易です。パターンを1つずつマッチさせるとネストされたループになり、ベリファイアを通過するのがはるかに困難になります。この制約が、長年カーネル内L7を困難にしてきた理由であり、私たちとBeelineチームの両方がDFAにたどり着いた理由です。
基本的に、私たちは巨大な「 chutes-and-ladders」(人生ゲームのようなもの)のボードをコンパイルします。ファイアウォールが見るすべてのパケットがゲームをプレイします。勝てばブロックされ、負ければ許可されます。
[画像: Chutes and ladders]
オートマトン容量とルール更新
状態マシンは16ビットの状態IDを使用するため、最大32,767の状態を保持できます。実際には、これは現在約4,000のUser-Agentパターンに相当し、余裕があります。なぜなら、実際のブロックリストはプレフィックスを共有し、最悪の場合よりも密にパックされるからです。約16,000パターンまで拡張するパスがありますが、コンパイル時にメモリをより多く消費するため、デフォルトではなく計画されています(モデル化されており、まだ出荷されていません)。
ルール変更は帯域外で行われます。ルールセットを編集すると、マシンは再コンパイルされ、通常数秒でスワップインされます。パケットパスの外で行われます。新しいセットが準備できるまで、パケットは現在のルールでマッチし続けます。その後、スワップはアトミックに行われます。オートマトン全体を毎回再構築するのはデータ構造の特性です。フォールバックリンクはグローバルであるため、更新をインプレース編集ではなく、バックグラウンドコンパイルとスワップとして扱います。
測定コスト
ここで重要なのは2つの数値であり、混同しやすいです。カーネル内でのヘッダーマッチングコストは200ナノ秒未満です。リクエスト全体の処理コストは数十マイクロ秒です。前者は私たちが設計したステップであり、後者は実際に体感するものです。
パケットごとの処理時間をPrometheusヒストグラムとしてエクスポートします。これはカーネルプログラムから直接取得されます。eBPFプログラムがマッチングに費やす時間をパケットごとに測定します。これは意図的に狭い測定値であり、サブ200nsの数値です。これはファイアウォールのコストではなく、オートマトンのコストです。
あるキャプチャでは、マッチングステップのp50は200ナノ秒をはるかに下回り、p95は約775ナノ秒でした。p99は通常1マイクロ秒を下回り、トラフィックが多い場合は低マイクロ秒に上昇します。テールエンドでは、時折3ミリ秒近くのスパイクが見られます。
リクエストあたりのコストはより大きく、下のダッシュボードがそれを示しています。そのパネルのパケットあたりの処理時間は、約20〜30マイクロ秒です。この2つの差は、マッチャーが行わないすべての処理です。パケットの受信、HTTP/2フレームの解析、接続状態のルックアップ、HPACK動的テーブルの更新などは、マッチングに加えて実際の時間を消費します。リクエストあたりのマイクロ秒という数値が重要です。
[画像: Per-packet decision time]
マッチングコストのみ。ループバックレートでの1回のキャプチャから。これはオートマトンの時間であり、リクエストあたりのコストではありません。
200ナノ秒を文脈に入れるために、システムエンジニアが常に持ち歩いているレイテンシーラダーでの位置を以下に示します。
| 操作 | おおよそのコスト |
|---|---|
| L1キャッシュ参照 | ~1 ns |
| メインメモリ参照 | ~100 ns |
| このファイアウォールのヘッダーマッチ(p50) | <200 ns |
| システムコール(getpid、ラウンドトリップ) | ~1–2 µs |
| コンテキストスイッチ | ~3–5 µs |
| このファイアウォールのリクエストあたり処理 | ~20–30 µs |
| ユーザー空間プロキシホップ(コピーアップ、再構築、検査、コピーダウン) | ~1+ ms |
マッチングコストはDRAMからの2回の読み取りと同程度です。その周りのリクエスト処理は数十マイクロ秒であり、これは依然としてユーザー空間プロキシが追加するミリ秒単位のホップよりも1〜2桁低いです。この比較が重要です。
これらの数値の背後にある条件は、数値自体と同じくらい重要であり、私たちの条件は控えめでした。下のダッシュボードはループバックテストです。トラフィックは127.0.0.1:8080で、毎秒約46リクエスト、アクティブなルールは4つです。これはメカニズムが機能することを示し、マッチングコストを測定するには十分ですが、システムがラインレートでどのように動作するかを伝えるには全く不十分です。
両方の数値はカーネル内時間であり、エンドツーエンドのアプライアンスレイテンシーではありません。ユーザー空間検査レイヤーは、リクエストごとにシステムコール、コピー、TCP再構築、スケジューラにコストを支払います。これがミリ秒単位のコストの源です。私たちの数値のどちらも、ボックスを通過する完全なラウンドトリップを含んでいないため、ベンダーが公開するエンドツーエンドレイテンシーと直接比較できるものではありません。
スループットは全くベンチマークしていません。1秒を200ナノ秒で割ると、毎秒500万マッチという数字が得られます。この投稿の以前のバージョンでは、まさにそのように引用していました。しかし、それは誤った数値です。中央値の逆数であり、p95が775ナノ秒である場合、平均はそれより高くなります。また、マッチングステップのみをカバーしており、その周りの20〜30µsの作業は含まれていません。さらに、ループバックレートでのキャプチャからのものです。サブ200nsの数値がサポートするのは、より狭い範囲のことです。マッチングは十分に安価であるため、制限要因ではなく、ルールセットが増加しても安価なままであるということです。なぜなら、オートマトンはヘッダーバイトごとに一定の作業を行うからです。10個のパターンでも1万個でも、スキャンは同じです。実際の天井がどこにあるかは、私たちがあなたに負っている測定であり、それを生成することが本番ロールアウトの目的です。
HPACK動的テーブル追跡
HTTP/2はHPACKでヘッダーを圧縮します。HPACKは動的テーブルを保持します。クライアントはUser-Agentを一度完全に送信し、その後すべての後続リクエストでインデックスで参照できます。リテラル文字列のみを見るマッチャーは、最初の要求でヘッダーを見て、それ以降はそれを見逃すでしょう。
Beelineは、HTTP/2を処理するために、その背後にあるすべてのポッドにHPACK動的テーブルキャッシングを無効にするように要求します(ハフマンエンコードされたヘッダーは問題ありません。ステートフルな圧縮は削除する必要があります)。これは、すべてのポッドを制御できるサービスメッシュ内では実行可能なトレードオフです。私たちはそれを実行できません。終端後であっても、オリジンフリートは任意のクライアントから発生したリクエストを処理しており、スクレイパーにヘッダー圧縮をオフにするように依頼することはできません。
そこで、動的テーブルを直接計測します。ダッシュボードは、テーブルのアクティビティ、ヘッダーヒット、およびデシンクやストリーム中での結合などのヘルスシグナルを表示します。サイレントにヘッダーを見なくなるマッチャーは、それが可能であることを教えてくれるマッチャーよりも悪いです。
オペレーションとメトリクス
[画像: Dashboard]
レイテンシー数値と同じループバックキャプチャ:4つのルール、約46 req/s、ポート8080。ここのパケットあたりのパネルはリクエストあたりの処理時間であり、マッチングステップのナノ秒ではなくマイクロ秒で表示される理由です。
Prometheusエンドポイントでリアルタイムメトリクスをエクスポートし、Grafanaダッシュボードと連携して、以下の項目を確認できます。
- 1秒あたりの判定数、許可された数とブロックされた数、およびルールごとおよびホストごとのブロックの内訳
- XDPファンネル:フックされたパケット、パスされたパケット、ドロップされたパケット、さらに検査されたTCPセグメント、HTTP/2フレーム、デコードされたヘッダー
- Aho-Corasickオートマトン:容量に対する使用状態、受理状態、ロードされたパターンの数
- BPFマップの使用状況、XDPプログラムがアタッチされているか、および一目でわかるUP / ENFORCINGステータス
- 最後にルールがリロードされてからの時間とリロード失敗の数
- 送信元解決:信頼できる
X-Forwarded-Forを使用した決定の数、PROXYプロトコルを使用した決定の数、信頼できないとして無視された決定の数
ダッシュボードのヘッダーには、最初に確認する2つのシグナルがあります。それは稼働しているか、そして強制しているかです。
フラグメンテーション、再送信、順序誤り
XDPでフックするため、カーネルがストリームに再構築する前に個々のTCPセグメントを確認します。ほとんどのHTTP/2 HEADERSフレームは実際には単一のTCPセグメントに収まりますが、すべてではありません。また、ファイアウォールについて知っている攻撃者は、XDPのみの検査を回避しようとして、意図的にヘッダーをセグメントにフラグメント化する可能性があります。
攻撃者はこの方法で検出を回避できません。遅いパスにトラフィックを強制するだけです。マルチセグメントのHEADERSフレームは、検査されずにドロップされるのではなく、JavaScriptサーフェスで再構築および検査されます。フラグメント化されたケースはXDPの高速パスよりも遅いですが、それでも検査され、フラグメントフレームのカウントはメトリクスとして公開されるため、トラフィックミックスでそのパスがどれくらいの頻度で実行されるかのハードな数値が得られます。
再送信と順序誤りのセグメントは同じクラスの問題であり、名前を付ける価値があります。なぜなら、生のセグメントを見るフックは、それらを処理するか、HPACK動的テーブルがクライアントのテーブルと同期ずれを起こすかのどちらかだからです。デコーダーに再生された重複セグメントや、間違った順序で適用された2つのセグメントは、その接続の後のすべてのリクエストのテーブル状態を破損させます。これは、テーブルが計測されている理由であり、想定されていない理由です。デシンクやストリーム中での結合はカウントされ、エクスポートされます。テーブル状態を信頼できなくなった接続は、間違っているとわかっているテーブルに対してマッチングするのではなく、ユーザー空間パスにフォールバックします。実際のトラフィックミックス全体でそれがどれくらいの頻度で発生するかを定量化することは、本番ロールアウトが測定していることの一部です。
制限事項と次のステップ
このファイアウォールは現在、本番環境でテストされており、実際のエンタープライズトラフィックの前面に配置され、ライブパケットでこれらの決定を行っています。段階的なロールアウトは、XDPで実行されるものを出荷するためのより慎重な方法です。各ステージで見るトラフィックを広げ、自信を持って前進し続けるためのメトリクスを収集します。
現在最も関心のある測定値は、ラインレートへの持続的なスイープです。名前付きハードウェアでのスループット、NICとXDPモードの記録、トラフィックミックスの説明、ルール数の明記、中央値ではなく平均とテールエンドの報告です。これは、この記事にはないベンチマークであり、それを公開することが、評価するすべての人に私たちが次に負っていることです。一定のバイトあたりの作業設計は、テールエンドがその形状を維持すると述べています。本番環境でそれを確認します。測定したこと、驚いたことも含めて公開します。
私たちのロードマップは、マッチャーが決定できることを増やし、決定をカーネル内に維持し、ポリシーをJavaScript内に維持することです。より大容量のオートマトンはモデル化されており、顧客のブロックリストが必要なときに準備ができています。そして、すべての決定がすでにPrometheusを通じてエクスポートされているため、各最適化には独自の最適化前後のチャートが付属します。何かが速くなったと言ったとき、ヒストグラムが動くのを見ることができます。
このファイアウォールでトラフィックを実行したい場合は、お問い合わせください。