HN 日本語サマリー

← 一覧へ戻る
プログラミング

macOSにおけるWireGuardのパフォーマンスを5 Gbit/sへ引き上げる

Pushing WireGuard on macOS to 5 Gbit/s (firezone.dev)

35 pointsby wh33zle4 コメント

要約

FirezoneはmacOS版WireGuardクライアントのパフォーマンスが他のプラットフォームに比べて遅いという問題を抱えていました。本記事では、XNUカーネルの内部構造を詳細に調査し、UDPソケットのバックプレッシャーの欠陥や、sendmsg_x/recvmsg_x、TCPセグメントの結合といった最適化手法を駆使して、パフォーマンスを1 Gbit/s未満から5 Gbit/s以上に向上させた過程を解説しています。

全文翻訳

macOSにおけるWireGuardのパフォーマンスを5 Gbit/sへ引き上げる

私たちは、あらゆるプラットフォームで最速のWireGuard VPNを提供するための終わりのない探求を続けています。歴史的に、VPNのパフォーマンス向上は、高速I/Oのための最も汎用的で最適化されたAPIを提供するLinuxに限定されることが多かったのですが、この投稿の後半でその理由を詳しく説明します。

多くのLinux愛好家を落胆させることに、2026年になってもデスクトップLinuxの時代は本当に来ないでしょう。特にVPNが企業ネットワークの保護に広く使用されているエンタープライズの世界では、ほとんどのユーザーはWindowsまたはAppleデバイスから接続します。そのため、高速なVPNを構築する際には、AppleおよびWindowsデバイスにも焦点を当てるべきであり、私たちの謙虚な意見では、VPNがデータ転送速度の制限要因となるべきではありません。もし5 Gbit/sのインターネット接続をお持ちなら、それを完全に使い切れるはずです。

LinuxおよびWindowsビルドとは異なり、macOSおよびiOS上のFirezoneは、私たちが望むほどパフォーマンスを発揮しておらず、ダウンロード速度は最大でも1 Gbit/s、アップロード速度は数百Mbit/sに制限されることがよくありました。この問題は高レイテンシで悪化し、パケットがどこかで失われている可能性を示唆していました。

この記事では、Firezone macOSクライアントのパフォーマンスを約1 Gbit/sから5 Gbit/s以上に最適化した方法について説明します。これは、ネットワーク理論とXNUソースコードの調査を組み合わせ、macOSおよびiOSが基盤とするAppleオペレーティングシステムのコアであるDarwin上で、TUNとUDPがどのように機能するかを明らかにするものです。

最大スループットとは何か?

インターネットのようなネットワークは、多くの仲介デバイスとパスから構築されています。当然のことながら、2つのエンドポイント間で得られる最大スループットは、パス上の最も遅いデバイスまたはリンクによって制限されます。おそらく驚くべきことは、最大スループットをどのように把握するかということです。スループットは広告されるものではなく、両端の接続がそれに従うものではありません。むしろ、スループットは測定し、動的に適応させるものです。

インターネットプロトコル(IP)は、パケットロスを許容するように設計されています。IPパケットは「送信して忘れろ」という形で送信され、失われたり送信されなかったりしたパケットに対処するのは、その上に構築されたプロトコルの仕事です。

したがって、TCPやQUICのようなプロトコルには、輻輳制御機能が備わっています。輻輳制御機能の仕事は、何が送信され、リモートが何を受信したか(つまり、確認応答されたか)、データを送信するのにどれくらいの時間がかかったかを追跡し、そこからどれくらいの速さでデータを送信すべきかを計算することです。この継続的なフィードバックループが、スピードテストが単に最大速度を即座に報告せず、最初に「ウォームアップ」する必要がある理由です。

基本的に、輻輳制御機能はデフォルトのウィンドウサイズから開始し、データを送信し、リモートからの確認応答を待ち、ラウンドトリップ時間(RTT)を測定し、その後ウィンドウサイズを増やしていきます。帯域遅延積(bandwidth-delay product)は、これらの変数がどのように相互作用するかを定義します。RTTが20 msの場合、1 MBのウィンドウサイズは400 Mbit/sのスループットの上限を与えます。ウィンドウサイズを2 MBに増やすと、最大800 Mbit/sのスループットが可能になります。

インフライト(つまり未確認)のデータ量を変化させることで、輻輳制御機能は転送速度を調整します。

最新のWindows(10以降)、Linux、macOSでは、TCPのデフォルトの輻輳制御機能はCUBICです。CUBICアルゴリズムはロスベースであり、リモートからの確認応答からパケットロスが発生したと判断するとすぐにウィンドウサイズ(したがって送信レート)を縮小します。

例えばTCPでは、これはTCPヘッダーの一部として発生します。TCPは送信するすべてのバイトに番号を付け、受信側の確認応答は「バイトNより前のすべてを受信した」と示します。このフィードバックに基づいて、送信側はどのパケットが失われたかを知ります。短い再順序付けウィンドウ内にギャップが閉じない場合、再送信され、輻輳制御機能はそのギャップをロスとして扱います。

TCP確認応答とロスセグメントの交換
送信側と受信側は番号付きセグメントを交換します。セグメント1が到着し、受信側はACK 2(セグメント2より前のすべてを受信した)と応答します。セグメント2は途中で失われます。セグメント3が到着しますが、セグメント2がまだ失われているため、受信側のACKは2のままです。その後、送信側はセグメント2を再送信します。それが到着すると、受信側はACK 4(セグメント4より前のすべてを受信した)と応答します。

送信側
受信側
セグメント 1
ACK 2
セグメント 2
(ロス)
セグメント 3
ACK 2
セグメント 2(再送)
ACK 4

(説明のため、セグメント番号は簡略化されています。ACK 4はセグメント2が受信されてから送信されます。)

この交換は、接続の送信側と受信側の間で行われます。パス上のデバイスは、送信側と明示的に送信レートを交渉しません。デバイスはパケットをドロップするか、明示的輻輳通知(ECN)を使用してパケットにマークを付けることで輻輳をシグナルできます。どちらの場合も、受信側からのフィードバックに基づいてレートを調整するのは送信側です。

物理的なネットワークデバイスやリンクにとっては、これは非常に理にかなっています。仲介デバイスは、例えばクロックスピードに基づいて転送できるパケット数に物理的な制約があります。処理できるよりも速く到着するパケットはドロップされ、送信側はパケットを速すぎると送信していたことを学習します。

適切なウォームアップ時間があれば、輻輳制御機能は輻輳ウィンドウのサイズを変化させることで、パスが維持できる送信レートを見つけます。

リンクがビジーなままでも輻輳ウィンドウが縮小する
CUBICの輻輳ウィンドウの時間経過に伴うグラフの例。ウィンドウはスロースタート中に増加し、各ロスで70%に縮小してから再び増加します。低い参照線は、このリンクをビジーに保つために必要なウィンドウを示します。この例では、縮小された各ウィンドウはその参照線の上に留まるため、送信側がバックオフしている間でもキューイングされたパケットがリンクをビジーに保つことができます。グラフはスループットレートではなく、輻輳ウィンドウを示しています。

時間
輻輳ウィンドウ
輻輳時のウィンドウ
リンクをビジーに保つために必要なウィンドウ
スロースタート
パケットロス
ウィンドウが30%縮小

ここでは、各ロス後にウィンドウはリンクをビジーに保つのに十分な大きさのままです。キューイングされたパケットは、送信側がバックオフしている間もスループットを維持できます。

CUBICがパケットロスを検出すると、輻輳ウィンドウを30%縮小します。これは一見攻撃的に聞こえますが、転送レートで30%の低下に直接つながるわけではありません。結局のところ、インフライト中のデータはまだドレインされ、配信されています。輻輳ウィンドウは、新しいデータを送信するレートのみを制御します。

最も重要なのは、これらすべてが受信側からのフィードバックに基づいて機能するため、受信側へのレイテンシが増加すると、実効スループットが安定するのに時間がかかるということです。

パケットロスは高価である

オーバーレイネットワークとしてのVPNにとって、これは何を意味するのでしょうか?輻輳制御機能は、パケットを送信しているインターフェースが仮想のものであることを知りません。他のネットワークデバイスと同様に扱います。したがって、輻輳制御機能のルールに従うことが重要です。もしそれがパケットロスを測定することでスループットを制御するなら、私たちのソフトウェアでパケットを失ったり、順序を入れ替えたりしない方が良いでしょう。

なぜ順序が重要なのでしょうか?送信側にとって、遅れて到着したパケットは、最初は失われたパケットと同じように見えます。確認応答にギャップがあるからです。ネットワークは、例えば並列パスにパケットを分散させる際に、正当にパケットを再順序付けすることがあります。そのため、TCPはパケットロスを宣言する前に短い再順序付けウィンドウを待ちます。しかし、パケットがそれよりも遅れて到着した場合、送信側はすでにそれを再送信しており、おそらく無駄に送信レートを下げています。したがって、最高のパフォーマンスを得るためには、パケットの再順序付けを避け、パケットのドロップを絶対に避けたいのです。

回避可能なパケットドロップのコスト
追加のロスなしの場合と、回避可能なパケットドロップがあった場合の送信側のレートの時間経過に伴う比較の例。どちらのレートも物理パスの容量を下回って開始します。追加のロスがなければ、レートは増加し続けます。送信側が追加のロスを検出すると、バックオフし、回復に時間がかかります。たとえ物理パスに空き容量があってもです。レート間の影付き領域は、その間に送信側が送信できたデータを示しています。

time
send rate
physical path capacity
without additional loss
packet loss detected
data we could have sent

回避可能なパケットドロップは、物理リンクに空き容量がある場合でも、送信側をバックオフさせます。

リンクの可能な帯域幅容量を下回っている間にパケットをドロップすると、輻輳制御機能はウィンドウサイズを早期に縮小します。これは実質的に、私たちの処理速度が許容するよりも低いスループット数値になります。

バックプレッシャーはパケットロスに勝る

物理的なネットワークリンクと同様に、私たちの仮想リンクを構成するコードはキューと考えることができます。パケットは一方から入り、もう一方から出てきます。

内部的には、パケットは複数のステージを経由する必要があります。Firezoneでは、それらのステージは異なるスレッドで実行され、それらはキュー/チャネルで接続されています。

Firezoneのスレッドレイアウト
Firezoneのデータプレーンは、バウンドチャネルで接続された複数のスレッドで実行されます。出力時には、TUN rxスレッドがTUNデバイスからIPパケットを読み取り、イベントループスレッドに渡します。イベントループはルーティング、ポリシー、NATを実行します。イベントループはパケットを暗号化ワーカー(複数)にジョブとして渡し、WireGuardで暗号化し、UDPスレッド(IPv4とIPv6それぞれ1つ)に渡してネットワークに送信します。入力時には、UDPスレッドがデータグラムを受信し、イベントループに渡します。イベントループはそれを暗号化ワーカーに渡して復号します。復号されたパケットはイベントループに戻り、TUN txスレッドに渡されてTUNデバイスに書き込まれます。

TUNデバイス
ネットワーク
TUN rxスレッド
TUN fdから読み取り
TUN txスレッド
TUN fdへ書き込み
イベントループスレッド
ルーティング
ポリシー
NAT
UDPスレッド
送信
受信
暗号化ワーカー スレッド
暗号化
復号

2つのスレッド間の各矢印はバウンドチャネルです。

これらのチャネルはすべてバウンドされており、2つの理由で重要です。

  1. 全体的なメモリ使用量を制限し、パケットを強制的に送り込むことでFirezoneクライアントをOOM(Out Of Memory)にできないようにする必要があります。
  2. ネットワークの最も遅いリンクが他のリンクを遅くするように、最も遅い処理ステージは前のステージに容量がいっぱいであることをシグナルする必要があります。

バウンドチャネルはこれら両方を達成します。チャネルがいっぱいの場合、書き込みタスクは一時停止し、Rustの用語ではwakerを登録します。受信側が要素を取り出し、登録されたwakerを見つけると、それを使用して送信側に新しい要素のための容量ができたことを通知します。

したがって、あるチャネルから要素を取り出し、別のチャネルに送信する処理タスクは、遅い後続ステージからのバックプレッシャー信号を自動的に「引き継ぎ」ます。

バウンドチャネルを通じたバックプレッシャー
送信タスクと受信タスクは、4つのアイテムを格納できるバウンドチャネルで接続されています。受信側が遅いステージであるため、チャネルは満杯です。送信側が満杯のチャネルに送信しようとすると、wakerをチャネルに残してパークします。受信側がアイテムを1つ取り出し、送信側のwakerを見つけて、送信側をウェイクアップするために使用します。送信側は次のアイテムを送信し、チャネルは再び満杯になるため、次の試みでwakerを残して再びパークします。受信側が遅いステージである限り、これは繰り返されます。送信側は受信側がスペースを作る速さでしか送信せず、アイテムはドロップされません。

送信側
パーク
waker
送信中
パーク
バウンドチャネル
送信側のwaker
なし
送信側のwaker
受信側
(遅いステージ)
送信
満杯:パーク
受信
ウェイクアップ

満杯のチャネルは、受信側がスペースを作り、ウェイクアップするまで送信側をパークさせます。

このアプローチを一貫してコード全体に適用することで、いずれかのステージがボトルネックになった場合でも、Firezone内でパケットが失われることを防ぎます。

ここで疑問に思うかもしれません。最も一般的に使用される輻輳制御機能がロスベースであることを確立したばかりなのに、なぜこれに手間をかけるのでしょうか?

理由はレイテンシです。ロスベースのフィードバックは遅延しますが、ローカルバックプレッシャーは本質的に即時であり、ユーザーのソケットまでバックプレッシャーチェーンを作成できると仮定すれば、同じ効果があります。

例えば、ユーザーがブラウザからFirezone経由でアクセスされるウェブサイトにファイルをアップロードしたいとします。その下では、ブラウザがサーバーへのTCPストリームを開き、提供されたファイルディスクリプタへの書き込みを開始します。接続を確立するために、カーネルのネットワークスタックはTCP SYNパケットを作成し、インターフェースにルーティングします。この場合、それはFirezoneのTUNデバイスです。FirezoneはIPパケットを受信し、必要な暗号化とルーティングを実行して、WireGuardデータパケットを含むUDPデータグラムとして送信します。TCPハンドシェイクが完了すると、TCPセグメントを含むさらに多くのIPパケットがストリーミングされてきます。

IPパケット1つ入力、UDPデータグラム1つ出力
TCPセグメントを運ぶIPパケットがTUNデバイスから出てきます。Firezoneはそれを暗号化し、UDPソケットに1つのUDPデータグラムとして書き込みます。これは、IPヘッダー、UDPヘッダー、WireGuardヘッダー、そして元のIPパケット(暗号化済み)と認証タグで構成されます。

TUNデバイス
Firezone
UDPソケット
IP
TCP
データ
暗号化
IP
UDP
WG
IP
TCP
データ
タグ
(暗号化されたIPパケット)

FirezoneがTUNデバイスから読み取る各IPパケットは、正確に1つのUDPデータグラムとして出力され、元のパケットは内部で暗号化されます。

カーネル内では、TCPソケットにはブラウザのシステムコールによって満たされる送信バッファがあります。TCPは再送信する必要があるため、データはサーバーが確認応答するまでバッファから出ません。重要なのは、バッファがいっぱいの場合、カーネルはシステムコールを拒否することです。例えばLinuxでは、非ブロッキングソケットの場合、これはエラーコードとしてEWOULDBLOCKが返されます。

同じ考え方が、WireGuardデータグラムを運ぶUDPソケットにも適用されます。カーネルによってFirezoneに渡される各IPパケットは、最初にデータが書き込まれるUDPソケットの送信バッファに格納されるUDPデータグラムに直接対応します。TCPと同様に、UDPソケットにも送信バッファがあり、writeに渡されたデータはまずそこに格納されます。そこから、カーネルはデータグラムを対応するNICドライバに渡し、最終的にネットワーク経由で送信します。

UDPの主な違いは、フロー制御や輻輳制御を定義していないことです。つまり、パケットがデバイスから出るレートを調整する輻輳制御機能がありません。待たなければならない確認応答もありません。代わりに、パケットは基本的にラインレートで出力されます。

しかし、バックプレッシャーは依然として適用されます。送信バッファがいっぱいの場合、カーネルはシステムコールを拒否し、それを通じてUDPソケットからのバックプレッシャー信号を送信アプリケーションにリンクします。

UDPパケットがデバイスから出るレートがスループットの制限要因となる可能性が最も高いです。CPUはネットワーク接続が処理できるよりも速い速度で新しいパケットを作成できます。

このシステムにおける唯一の注意点は、TUN送信キュー、つまりFirezoneが新しいIPパケットを読み取るキューです。これは、キューサイズのみに基づいたバックプレッシャー信号を持たず、したがって、TCP(またはQUIC)が読み取りを停止した後でも送信できるパケットを吸収するのに十分な容量が必要です。そうでない場合、輻輳信号としてロスに戻ります。キューがいっぱいになるとカーネルはパケットをドロップし、輻輳制御機能は欠落した確認応答に気づいたときにのみ遅くなります。キューが十分に大きい場合、TCPはキューがいっぱいになる前にウィンドウを使い切り、ACKがさらに到着するまで送信を保留します。

UDPソケットからブラウザへのバックプレッシャー
ファイルをアップロードするブラウザは、カーネル内のTCPソケットに書き込みます。カーネルはソケットの送信バッファからIPパケットを形成し、TUNデバイスにルーティングします。FirezoneのTUNスレッドがそれを読み取ります。Firezoneは各パケットを暗号化し、そのUDPスレッドはそれをカーネル内のUDPソケットの送信バッファにUDPデータグラムとして書き込みます。カーネルはデータグラムをNICに渡し、NICはラインレートで送信します。NICが追いつけない場合、UDP送信バッファがいっぱいになり、Firezoneの次の書き込みはEWOULDBLOCKを返します。Firezoneの内部チャネルがその背後で満杯になり、TUNスレッドは読み取りを停止し、パケットはTUNデバイスのキューに蓄積されます。TCPは利用可能なウィンドウを使い切り、確認応答を待ちます。ブラウザが書き込みを続けると、未確認のデータはTCP送信バッファに残り、満杯になります。送信バッファがいっぱいになると、ブラウザの次の書き込みはEWOULDBLOCKを返し、ブラウザは待機します。十分なTUNキュー容量があれば、これはパケットをドロップせずに発生します。

ブラウザ
アップロード
カーネル
TCP送信バッファ
TUNデバイス
Firezone
TUN
UDP
書き込み
読み取り
読み取り停止
TCPウィンドウ枯渇
EWOULDBLOCK
NIC
ラインレート
カーネル
UDP送信バッファ
書き込み
EWOULDBLOCK
チャネル満杯

満杯のUDP送信バッファはFirezoneを遅延させ、そこからブラウザの書き込みまでのすべてのステージが遅延します。

要約すると、ここで頼りにしているのは、非ブロッキングI/Oシステムの契約です。

  1. バッファがいっぱいの場合、書き込みは「ブロックされる」というエラーで拒否されます。
  2. 「書き込み準備完了」にサブスクライブした後、ディスクリプタが再び書き込み可能になったという通知を受け取ります。

Linuxでは、(1)はEWOULDBLOCKエラーコードとして実装され、(2)はepollシステムコールを通じて実装されます。mioのようなリアクターは、このシステムの上に構築され、非ブロッキングI/Oのビルディングブロックを提供します。

前述のように、この設計はWindowsおよびLinuxビルドでうまく機能していました。しかし、macOSでは、アップロードパフォーマンスは他のプラットフォームには遠く及ばず、レイテンシが増加するとスループットは数百Mbit/s、あるいはそれ以下に制限されることがよくありました。

XNUソースコードへのダイブ

XNUはDarwinにとって、LinuxがFedoraやUbuntuにとってのものであるのと同様です。カーネルです。一部の人々を驚かせるかもしれませんが、Appleは実際にはXNUソースコードをGitHubで公開しています。通常、新しいmacOSまたはiOSバージョンのリリースから数ヶ月遅れますが、最終的にはそこに公開されます。

XNUのネットワークスタックはFreeBSDにルーツを持ち、そのソケットAPIは1983年の4.2BSDまで遡ります。LinusはLinuxを作成した際に同じAPIを採用したため、bind、connect、read、writeといったシステムコールは表面上似ています。しかし、内部的には非常に異なって動作し、結果として、非ブロッキングI/Oに関してXNUはネットワークソケットの動作とAPIにおいて大きく分岐しています。

UDPソケットは送信バッファを使用しない

スループットの問題をデバッグする際に、最初に試すことの1つはバッファサイズを増やすことです。その理由は、より大きなバッファは、パケットロスにつながる可能性のあるバーストやスケジューリング遅延を吸収するのに役立つからです。私たちのケースではそれは役に立たず、ソースコードを見るとその理由がわかりました。

XNUは各UDPソケットに送信バッファを割り当てますが、それは実質的に使用されません。バッファリングされる代わりに、パケットは直接ネットワークインターフェースの送信キューに渡され、バッファの充填レベルは常に0のままです1。

では、SO_SNDBUF経由でバッファサイズを増やそうとしたときに設定したのは何だったのでしょうか?送信バッファの設定は、実際にはデータグラムが許容されるサイズを強制するハイウォーターマークを設定するだけであることが判明しました2。いくぶん面白く、これは送信バッファのデフォルト値の一部としても文書化されています3。

充填レベルが常に0であるため、送信キューがどれだけ満杯であってもスペースのチェックは成功します4。TCPのような他のプロトコルでは、ここでXNUはバッファがいっぱいの場合にEWOULDBLOCKを返します。

XNUにおけるTCPとUDPの送信パス
アプリケーションの書き込みからネットワークインターフェースまでのXNUにおける2つのパス。それぞれソケットの送信バッファ、インターフェースの送信キュー、そしてラインレートでパケットを送信するネットワークインターフェースを経由します。TCPの場合、書き込まれたデータは送信バッファで待機します。そのバッファがいっぱいになると、アプリケーションの次の書き込みはEWOULDBLOCKで失敗します。UDPの場合、送信バッファは空のままです。各パケットはそれをバイパスしてインターフェースの送信キューに直接入ります。空のバッファは常にスペースがあるため、アプリケーションの書き込みは成功します。送信キューがいっぱいになると、パケットはそこでドロップされ、アプリケーションは決してそれを知りません。

アプリケーション
送信バッファ
送信キュー
ネットワークインターフェース
TCP
書き込み
ラインレート
EWOULDBLOCK
UDP
書き込み
ラインレート
書き込み成功
ドロップ

TCPデータはソケットの送信バッファで待機するため、バッファがいっぱいになると次の書き込みはEWOULDBLOCKで失敗します。UDPパケットはそのバッファをスキップしてインターフェースの送信キューに直接入ります。そこがいっぱいになるとパケットはドロップされ、書き込みは成功したままです。

つまり、macOSでは、ほとんどすべての非同期ランタイムでUDPのバックプレッシャーが壊れています。リアクターや言語ランタイムは、Unixシステムでは、メッセージを格納するのに十分なスペースがない場合に、非ブロッキングソケットへの書き込みがEWOULDBLOCKで失敗するという動作に依存しています。XNUでは、UDPではそれは決して起こりません。ソケットはすべてのメッセージを喜んで受け入れ、エラーを報告しませんが、パケットはインターフェース送信キューでドロップされます。

接続済みソケットは異なる

このコードパスを調べることで、別の発見がありました。接続済みUDPソケットは、未接続のものとは異なる扱いを受けます。

接続済みソケットとは何でしょうか?プロトコルレベルでは、UDPはステートレスです。各パケットはソースと宛先の属性を記述するだけです。UDPにはハンドシェイク、シーケンス番号、メッセージタイプはありません。デフォルトでは、単一のUDPソケットを複数のピアに同時に送信および受信するために使用できます。

UDPソケットでconnectを呼び出すと、宛先が指定されたピアに制限され、そのピアからのメッセージのみがソケットにルーティングされます。これは、複数の長期的なUDP「接続」を、受信データグラムのデマルチプレキシングを自分で行うことなく管理する必要がある場合に便利です。単一のソケットの代わりに、宛先ピアごとに1つのソケットを作成し、それにconnectを呼び出し、異なるタスク/スレッドでソケットを処理します。

XNUでは、UDPソケットの接続には追加の副作用があります。最も重要なのは、接続済みソケットを使用することで、バックプレッシャー信号を取得できることです。ただし、これは典型的なリアクターや言語ランタイムが期待するものとは異なります。インターフェース送信キューがいっぱいになると、それ以上の送信はEWOULDBLOCKの代わりにENOBUFSで失敗します。ランタイムはENOBUFSをエラーとして扱います。そのため、バックプレッシャーに使用するには特別な処理が必要です。

異なるエラーコードにもかかわらず、ENOBUFSを受信した後に書き込み準備完了に登録すると、キューにスペースができたときにウェイクアップが発生します。

バックプレッシャーの復元

これにより、私たちが観測していた低速なアップロード速度が説明されます。平均して、リンクの容量をはるかに下回る速度で送信していましたが、インターフェースの送信キューは限られた数のパケットしか保持できません。CPUが他の作業で忙しいなどの理由でドレインが一時的に遅延すると、キューがいっぱいになり、XNUは書き込みを成功として報告したまま、それ以降のすべてのデータグラムをドロップしました。トンネル内のTCPストリームにとって、これは輻輳のように見えたため、CUBICはリンクに余裕があるにもかかわらず輻輳ウィンドウを縮小しました。これはまさに、前述した早期の縮小です。そして、送信側はロスについてラウンドトリップ後にしか学習しないため、レイテンシが高いほど、これらのドロップから回復するのに時間がかかりました。

接続済みソケットへの移行とENOBUFSエラーの特別処理により、インターフェースキューがいっぱいになったときにUDP送信スレッドを一時停止する専用のコードパスを実装し、バックプレッシャーを復元することができました。この作業の詳細はPR 13725にあります。これにより、このような遅延は送信スレッドを一時停止するだけで、キューにスペースができるまで待機し、長い遅延はパケットロスに変わるのではなく、バウンドチャネルを通じてTUNデバイスまで伝播します。

償却、スループットの聖杯

これまでは、輻輳制御機能を動揺させないためにパケットを失わないことに焦点を当ててきました。これは良い基盤ですが、それ自体では何も速くしません。皮肉なことに、システムのどこかがまだパケットをドロップしている間に速度向上を測定すると、パケットを失っているのに、今度はより速く失っているため、結果が悪くなることがよくあります。

パケット処理を高速化するためには、コストを2つの部分に分割すると役立ちます。パケットごとの作業があります。暗号化と復号、新しいIPへのNAT、チェックサムの更新、フローログの記録などです。これはパケットごとに行われるため、CPU時間はパケット数とともに増加します。

そして、呼び出しごとのコストがあります。システムコール、スレッドウェイクアップ、割り当てなどです。これは操作ごとに1回支払われ、その操作がいくつのパケットを処理したかに関係なく発生します。

これが償却を強力にする理由です。1回のシステムコールで32個のパケットを読み取ると、システムコールあたりのコストは1/32になります。一度に100個のパケットを別のスレッドに渡すと、ウェイクアップあたりのコストは1/100になります。

同じパケット、より少ない呼び出し
4つのパケットがパケット処理、I/Oラッパー、カーネルを通過します。パケットを1つずつ渡すと、レイヤー間の各境界で4回の呼び出しが発生します。4つのパケットをまとめて渡すと、各境界で1回の呼び出しが発生します。呼び出しごとのオーバーヘッドはバッチ全体で共有されます。

一度に1パケット
パケット処理
I/Oラッパー
カーネル
境界ごとに4回の呼び出し
一度に1バッチ
パケット処理
I/Oラッパー
カーネル
境界ごとに1回の呼び出し

バッチ処理により、各呼び出しのコストがより多くのパケットに共有されます。

したがって、より高速なパケット処理の答えは、バッチ処理することであり、XNUはそれを実行するためのいくつかの方法を公開しています。

sendmsg_xとrecvmsg_x

これらはLinuxのsendmmsgおよびrecvmmsgシステムコールに相当します。単一のパケット/バッファを渡す代わりに、複数のバッファを1回の呼び出しで渡して、カーネルにそれらをすべて一度に処理させることができます。Linuxとは異なり、これらのシステムコールはネットワークソケットとTUNファイルディスクリプタの両方で機能します!

これにより、カーネルとユーザースペースの間でパケットをバッチで渡すことができ、システムコールコストを複数のパケットに分割できます。これらのAPIは依然として各パケットに個別のバッファを渡す必要があります。これは、主にシステムコールオーバーヘッド自体を償却することを意味します。

LinuxとWindowsでは、システムコールオーバーヘッドだけでなく、カーネル内の実際の処理も償却できるシステムコールを利用できます。これは、バッファのリストではなく単一の連続バッファを受け入れ、セグメント長が指定されているAPIによって可能になります。このセグメント長は、個々のデータグラムを取得するためにバッファを分割する必要がある場所を指定します。

ユーザースペースプログラムと同様に、カーネルも多くのレイヤーで構成されています。単一の大きなバッファをNICドライバまで一貫して渡すことは、個々のデータグラムを渡すことと比較して、その処理コストを償却します。

残念ながら、XNUはBSDソケットAPIでこの機能を提供していません。それでも、少なくともシステムコールオーバーヘッドを償却することは、何もないよりは良く、大幅なパフォーマンス向上を提供します。

接続済みソケットとの組み合わせsendmsg_x

すでに構築した接続済みソケットの便利な副作用として、sendmsg_xと組み合わせて使用すると、カーネルは高速パス5を実装します。これにより、ソケットのポリシー更新やバッファスペースのチェックなど、一部のソケットセットアップがデータグラムごとではなくバッチごとに実行されます。また、ソケットはすでに宛先を知っているため、カーネルはデータグラムごとのアドレスとルート検索をスキップします。

アイデアは、sendmsg_xを使用してシステムコールオーバーヘッドを回避するのと同じですが、今度はカーネル内で行われます。パケットごとにではなく、操作ごとに1回実行できることは、より多くのパケットの処理能力を解放します。

TCPセグメントの結合

TUNデバイスを設定する際、IPv4およびIPv6アドレスだけでなく、リンクのMTU(Maximum Transmission Unit)も設定する必要があります。MTUは、Firezone経由で送信されるアウトバウンドトラフィックのためにカーネルが作成するIPパケットのサイズをカーネルに伝えます。

FirezoneのTUNデバイスは、すべてのプラットフォームでMTU 1280に設定されています。これはIPv6の最小MTUに一致し、一般的な1500バイトのイーサネットMTUを持つパスでのWireGuardのカプセル化オーバーヘッドに十分なスペースを残します。

XNUを調査して見つけた興味深い発見は、カーネルが書き込みパス、つまりFirezoneがパケットをカーネルに戻す際に、MTUよりも大きいパケットを受け入れることです。内部的には、各パケットは固定サイズのスロット6に格納され、テストしたMacでは、NetworkExtensionはそのスロットを4096バイトにサイズ設定しています。これは1280バイトのMTUの約3倍です。

このスロットサイズは、TUNデバイスが作成された後では変更できませんが、クエリすることは可能です!これにより、同じTCPフローのMTUサイズのセグメントを最大3つまで、TUNデバイスに書き込む前に単一の大きなセグメントにマージできます。これはTCPでのみ機能します。なぜなら、TCPはバイトストリームであり、受信アプリケーションは1つのセグメントがどこで終わり、次のセグメントが始まるかを知ることがないからです。一方、UDPはメッセージベースです。各データグラムは個別のメッセージとしてアプリケーションに到達するため、2つをマージすると、受信側が解析できない単一のメッセージとして配信されます。

TCPパケットの結合にはチェックサムの再計算が必要であり、これはペイロード全体を完全にスキャンすることを意味します。しかし、そのコストは、カーネルのセグメントごとの処理の節約によって相殺されます。この処理は最大で3分の1の頻度でしか発生しなくなります。

結果

現実世界は複雑です。「正しい」順序でこれらの発見をしたわけではありません。パケット処理の最適化の一部は、バックプレッシャーが機能するようになる前に実装されました。特に、FirezoneはXNUでのバックプレッシャーには特別な処理が必要であることを発見するずっと前から、UDPソケットでバッチ処理された送受信システムコールsendmsg_xとrecvmsg_xを使用していました。そのため、過去のベンチマーク結果を特定するのは困難です。

しかし、これらの個々の改善の影響を測定できないわけではありません。

以下の結果は、macOSクライアントがM1 Macのペアで、Thunderbolt経由で40 Gbit/sで直接接続されている私たちの継続的なベンチマーク環境で測定されました。これらのM1 Mac上で、Firezoneはアップロード5.87 Gbit/s、ダウンロード5.76 Gbit/sを達成しています。

以下の数値の目的のために、各最適化がどれだけの影響を与えるかを示すために、この記事で議論された最適化を選択的に無効にしました。各実行では、iperf3を使用して、各方向で単一のTCPストリームを3回測定します。表示される数値は、これらの3つの測定値の中央値です。

各最適化が追加されるにつれてのスループット
ギガビット/秒でのアップロードとダウンロードのスループット。バーは繰り返し測定された中央値の受信スループットを示します。ひげは観測された最小および最大の範囲を示し、信頼区間ではありません。

アップロード
ダウンロード
0
1
2
3
4
5
6 Gbit/s

  1. ベースライン
    アップロード 1.16
    ダウンロード 1.16
    • 接続済みソケット + バックプレッシャー
      アップロード 1.73
      ダウンロード 1.81
    • UDPバッチ処理 (sendmsg_x, recvmsg_x)
      アップロード 2.63
      ダウンロード 2.60
    • TUNバッチ処理 (sendmsg_x, recvmsg_x)
      アップロード 4.95
      ダウンロード 5.07
    • 8 MiB TUN受信バッファ
      アップロード 5.18
      ダウンロード 5.50
    • TUNデバイスでのTCP結合
      アップロード 5.87
      ダウンロード 5.76

観測された最小値と最大値を含む中央値受信スループット。

次は何を?

5 Gbit/s以上のスループットを達成できたのは素晴らしいことであり、ほとんどの人のワークロードにとって、Firezoneがボトルネックになることはないはずです。しかし、私たちはFirezoneをさらに速くしたいと考えています。

測定されたレートは、MTU 1280での約60万パケット/秒に相当します。プロファイリングによると、最もビジーなスレッドはすでにUDPスレッドであり、すでにその時間のほとんどをカーネル内で費やしています。それが明らかにする重要な点は、sendmsg_xを使用しているにもかかわらず、XNUのIPレイヤーに到達するとすぐに、各UDPパケットが個別に処理されていることです。

LinuxとWindowsでは、セグメンテーションオフロードにより、ここでパケットごとのコストが大幅に削減されます。パケットごとに個別のバッファを渡す代わりに、カーネルに1つの大きなバッファとセグメントサイズを渡します。カーネルは、理想的にはネットワークカード上で、そのバッファを個々のデータグラムにできるだけ遅く分割します。これにより、IPパケットの形成とルーティングのコストをバッファ内のすべてのパケットに償却できます。

AppleがBSDソケットAPIを通じてそのような機能を提供する場合、スループットは2倍または3倍になり、macOS上のUDPを多用するワークロード、およびユーザースペースQUICスタックに大きなブーストを提供できる可能性があります。

参考文献

脚注

  1. XNU bsd/net/dlil.c、行 3222~3241。↩
  2. XNU bsd/kern/uipc_socket.c、行 1943~1946。↩
  3. XNU bsd/netinet/udp_usrreq.c、行 2327。↩
  4. XNU bsd/kern/uipc_socket.c、行 1947~1965。↩
  5. XNU bsd/kern/uipc_syscalls.c、行 1906~1918。↩
  6. XNU bsd/net/if_utun.c、行 144~162。↩