HN 日本語サマリー

← 一覧へ戻る
プログラミング

1台のVMで1500万のWebサーバー - smoltcp, DPDK, AF_XDP

15M web servers on one VM – smoltcp, DPDK, AF_XDP (kapteko.com)

366 pointsby fessguid41 コメント

要約

この記事では、1台の仮想マシン(VM)で1500万ものWebサーバーを動作させるという野心的な目標を、メモリ使用量とネットワーク処理のオーバーヘッドを最小限に抑えることで達成する方法を探求しています。従来のカーネルベースのネットワークスタックがメモリを大量に消費する問題に対し、ユーザーランドでTCP/IPスタックを実装するsmoltcp、DPDK、AF_XDPといった技術が、パフォーマンスとリソース効率の向上にどのように貢献するかを解説しています。

全文翻訳

1台のVMで1500万のWebサーバー - smoltcp, DPDK, AF_XDP

2026年11月18日

Webサーバーをオンラインにすると、誰もがハッキングしようとします。なぜでしょうか?経済の基本原則です。供給は少なく、需要は大きい - 誰もが利用できるWebサーバーが十分にありません。地球上の全人類、80億人それぞれにWebサーバーを実行しましょう。資金調達はできなかったので、自己資金で始めます。目標は、10GBのRAMと1CPUコアを持つ1台のVMで1500万のWebサーバーを実行することです。成功すれば、家の古い電子レンジからRAMを見つけてスケールアップし、誰もが自分のWebサーバーを持てるようにします。需要はゼロに低下し、サイバーセキュリティは完全に解決されるでしょう。

Webサーバー

すべてを「バイブコーディング」する代わりに、学習という古いテクニックを使いましょう。まず、Webサーバーとは何でしょうか?いくつかの必須のシステムコールがあります。

  1. listen - システムコール、カーネルにソケットで接続をリッスンするように要求します
  2. accept - システムコール、ソケットで接続を受け入れます
  3. recv - ソケットからデータを受信します
  4. send - データを送信します
  5. close - 閉じます

システムコールとは何でしょうか?OSカーネルによって実行される関数です。HTTPに使用するどんな派手な言語やライブラリも、結局はこのシステムコールに行き着きます(まあ、はい、しかし実際にはいいえ)。すべてを明確にするためにCを使いましょう。リッスンを開始し、ループでソケットから読み取り、常にOKと応答します。

int main(void)
{
    // ポート0を使用すると、OSは利用可能なポートを返します
    int server = socket(AF_INET, SOCK_STREAM, 0); 
    if (listen(server, 128) < 0)
        return 1;
    const char reply[] = "HTTP/1.0 200 OK\r\nContent-Length: 2\r\n\r\nOK";
    for (int client; (client = accept(server, NULL, NULL)) >= 0;) {
        if (recv(client, NULL, 4096, MSG_TRUNC) > 0)
            send(client, reply, sizeof reply - 1, MSG_NOSIGNAL);
        close(client);
    }
}

シンプルそのものです:ソケットでリッスンし、接続を受け入れ、データを読み取り、応答を送信し、クライアント接続を閉じ、繰り返します。これにより、約65k RPSが得られます。これで全て学んだので、記事を終わりにしましょう:

$ for i in $(seq 1 15_000_000); do echo $i; ./server &; done
...
...
28232
program exited with error 1

うーん、なぜlistenが失敗したのでしょうか?ああ、ポートがなくなりました!port=0を使用しているので、カーネルはip_local_port_rangeから利用可能なポートを選択します。

$ sysctl net.ipv4.ip_local_port_range
net.ipv4.ip_local_port_range = 32768    60999

なぜこれほど多くのポートがスキップされているのでしょうか?歴史的に、ポート0はアウトバウンド接続のために作成されました。connect('example.com', 80)を呼び出すと、Linuxはリモートサーバー(送信側)に接続し、次にデータを受信するためにip_local_port_rangeからランダムなポートをホストに割り当てます(受信側)。デフォルト範囲が小さい理由はいくつかあります。

  • ポート0は特別です。リッスンできません(実際にはできます - https://acid.vegas/blog/the-port-that-does-not-exist/)。
  • ポート1-1024はroot権限が必要です。
  • ポート1024-32768は、動的に割り当てられたポートが既存のアプリケーションと競合しないようにするためにスキップされます。connect('example.com')を呼び出して、受信データ用にポート3306を割り当てることにはなりたくありません。mysql cannot start because you have example.com open in your Firefoxというエラーは、混乱を招くUXになるでしょう。
  • ポート60999 - 65535は、IPマスカレードに遡る歴史的な理由で除外されています。

範囲をオーバーライドして1-65535を使用することを妨げるものはありませんが、それでも1500万には少し足りません。UDPサーバーとTCPサーバーは同じポートを使用できるので、それを128kに倍増できます。リクエストを正しいプロセスに転送するために前にプロキシを実行することもできます(バーチャルホスティング、いいですね)、しかしこれらはすべて古い技術です - AI時代には、ソフトウェアの問題が発生したら、ハードウェアにお金をかけます。サーバーに新しいネットワークカードを450枚接続するだけで済みます。

[画像: network card]

65kの制限はTCP標準から来ています。ポートはu16なので、カーネルをfind '*.c' -exec sed -i 's/u16/u32/' orward{} +でハックしてより大きなポート番号をサポートしたとしても、通常のクライアントは接続できません。各リッスンサーバーは(プロトコル, IP, ポート)タプルで識別されます。これは、UDPとTCPで同じポートを使用できる理由を説明しています。また、Webサーバーに多数の異なるIPを使用できることも意味します。サーバーに450枚のネットワークカードを接続すると、450個のユニークなIPアドレスが得られ、1500万個のユニークなアドレスでリッスンできるようになります!

更新。 リーダーから、ネットワークカードは過去1年間で価格が100倍にならなかった唯一のハードウェアコンポーネントだと聞きました。これを台無しにしないようにし、ソフトウェアで解決することはできませんか?

AnyIPという美しい技術を使用しましょう。これにより、サブネット全体でリッスンできます。多くのVPSおよび専用サーバープロバイダーは、定期的にTCPv6サブネット全体を提供します。sudo ip -6 route add local 2001:db8:1234:5678::/64 dev loを実行するだけで、約1800京個のアドレス(プラスマイナス1)を取得してリッスンできます。IPv4でも同様のことを行うことができます - 15Mアドレスのサブネットを取得するには約2億5000万ドルかかるので、環境に合わせてコマンドを調整してください。サーバーを変更して、範囲からn番目のIPを選択するようにします:

// CLIからIPインデックスを読み取り、ベースIPをそれにシフトします
int i = read_cli_param(argv[1]);
const uint32_t base_ip = 0x0a400001;  // 例: 10.64.0.1
addr.sin_addr.s_addr = htonl(first_ip + i);  // シフト、例: 10.64.0.2

そして、ついに記事を終えることができます。

$ for i in $(seq 1 15_000_000); do echo $i; ./server $i &; done
...
...
Out of memory

うーん、サーバー1台あたり1.5MBのRAMを消費するので、それらをすべて実行するには…20TBのRAMが必要になります。これは10GBの予算を数バイト超えています。

ランタイム

純粋な偶然(確率はいかに?)で、Running 10 million Codex CLIs on one server - LFI processesで、なぜ数百万のプロセスを実行するとオーバーヘッドが大きすぎるのかを説明しました。答えは、V8が単一プロセスで数百万のゲストを実行できるのと同様に、カスタムランタイム内でそれらすべてを1つのプロセスで実行することです。Userland Linux scheduler in Rustでは、特殊なユーザーランドスケジューラを構築し、最小限のRAMでタスクを切り替える方法を示しました。

TLDR:サンドボックス化のためにLFIを使用します。メモリ分離を提供し、すべてのシステムコールをホストハンドラへの呼び出しに置き換えるため、I/Oを好きなように実装できます。複数のゲストをスケジュールするには、それらをすべてメインプロセスのメモリにロードし、CPUがゲスト間で常に切り替わるようにします - 私たちは独自のマイクロOSになります。

バイトとCPUサイクルを節約する必要があるので、別の特殊なランタイムを構築せざるを得ません。始めましょう。10GBを1500万で割ると、正確にはいくらになるでしょうか?

[画像: wolfram]

10ギガバイトを1500万で割ると、キロバイトの半分くらいになります。あまり多くありません。すべてのゲストをランタイムで実行する場合、カスタムスケジューラはそれらの間で切り替える必要があります。各ゲストを保持するために必要な最小限の状態は何でしょうか?サーバーの初期化は無視でき、スイッチはメインループ内でのみ発生すると仮定します。ループをもう一度見てみましょう。

for (int client; (client = accept(server, NULL, NULL)) >= 0;) {
        if (recv(client, NULL, 4096, MSG_TRUNC) > 0)
            send(client, reply, sizeof reply - 1, MSG_NOSIGNAL);
        close(client);
    }

このコードにはserverとclientという2つの状態変数しかありません。どちらも単純なファイルディスクリプタです。スケジューラがこのループの任意のシステムコールポイントでゲストを中断する必要がある場合、次の状態を保存する必要があります:

struct Context {
    pc: u64,        // 返される命令アドレス
    fd_server: i32, // サーバーファイルディスクリプタ
    fd_client: i32, // クライアントファイルディスクリプタ
}

ゲストあたり16バイトしか必要ないので、1500万のゲストをランタイムで実行し、それらを中断して切り替えることができるようにするには、220MBのRAMが必要です。ここでは安全策をとっています - 完全なu64やi32は必要ありませんし、ビットパッキングを使えばゲストあたり8バイトまで減らせるかもしれません。他に何が必要でしょうか?

$ codex "How much TCP connection takes?"
Idle connection takes zero, while active connection consumes around 5kb

ここでは、同時にアクティブな接続が100万であると仮定した場合の結果を示します。

  • アイドル接続1400万 - 0バイト
  • 1500万ゲストのスケジューリング状態 - 220MB
  • アクティブ接続100万(各5kb)= 5GB

RAM予算の半分しか使っていません、やった!自分の期待を超えることはめったにありません。検証しましょう:

int main(void) {
    // 1400万のアイドル接続を実行 - リッスンして何もしない
    // メモリを消費しないはず!
    for (int i = 0; i < 14_000_000; i++) {
        int server = socket(AF_INET, SOCK_STREAM, 0); 
        listen(server, 1)
    }
}
$ ./run_15m_idle_servers
Out Of Memory
$ dmesg | tail -n 1
'SHOULD CONSUMER ZERO MEMORY' - what are you, stupid?

カーネルにはまだLinusからの残りのコメントがあるようです。私は愚かではありませんが、平均以下だったことを認めなければなりません。LLMは学習に大きな助けになりますが、批判的に考えずにその答えを受け入れてしまい、後で恥ずかしい思いをすることはあまりにも簡単です。しかし、まあ、恥ずかしさは参入コストです - カーネル内のネットワーキングに飛び込みましょう。

カーネル内のネットワーキング

私たちのシンプルなサーバーが5つのシステムコールしか使わないと言ったのを覚えていますか?目の前にあったものを1つ見落としていました。それを強調しましょう:

int main(void)
{
    for (int i = 0; i < 10_000_000; ++i) {
        socket(AF_INET, SOCK_STREAM, 0);
    }
}

そのコードは10GBのVMでOOM(Out Of Memory)になります。socketシステムコールは、ソケットがアクティブか、リッスン中か、何もしていないかに関わらず、約3300バイトを割り当てます。Linuxは明らかにRAMが大きく安価だった時代に書かれたようです、ため息。AIにメモリがどこに行くのか尋ねてみましょう:

構造体sizeof説明
struct tcp_sock2240BTCP状態、キュー、タイマー、シーケンス番号、輻輳制御、再送信および配信のブックキーピング
struct socket_alloc768B埋め込み待機キューを持つ128バイトのstruct socket、および608バイトのsockfs inodeとパディング
struct file184B開いているファイル操作、フラグ、資格情報、参照カウント、およびソケットへのポインタ
struct dentry192Bsockfs疑似名、inodeポインタ、およびVFSルックアップおよびライフタイムのブックキーピング
合計3384B

ポテトポテト、TLDR、カーネルは多くのことにメモリを使用します。buffer: [u8; 3300]のようなものを見ることを期待していましたが、カーネルの半分を書き直さずに最適化できることはあまりなさそうです。日曜日にトークンも残り少ないので、代わりに考える必要があります - カーネルをバイパスするにはどうすればよいでしょうか?

選択肢は何でしょうか?エンジニアリングの知恵は、タスクを解決できない場合は、抽象化のレベルが間違っていると教えてくれます。うーん…レベル、レベル、レイヤー。ちょっと待ってください!HTTPから始めてTCP/IPまでレベルを下げました。これは何かを思い出させます!ママ!ママ!大学の教科書はどこ?今すぐ必要です!

[画像: osi_model]

OSIモデルは…えーと…大学で勉強したものです。はい、それが良い定義です。アプリケーション層とHTTPから始めて、トランスポート層のTCP/IPまで下がりました。その下にはさらに3つの層があります。完全な制御を得てRAMの問題を解決するために、もっと下に降りることはできますか?ああ、はい、ネットワーク層とデータリンク層で動作することがまさにそれを可能にします。一番下まで行くのはどうでしょうか?

[画像: physical layer]

クリア。

各層は、上の層からのデータをラップします。

HTTPアプリケーション · L7

TCPトランスポート · L4

IPネットワーク · L3

Ethernetデータリンク · L2

物理L1

GET /

ペイロード

ペイロード

ペイロード

送信元ポート50123

宛先ポート80

Seq1001

ACK7001

フラグACK

送信元IP192.0.2.10

宛先IP198.51.100.20

TTL64

プロトコル6 (TCP)

宛先MAC02:00:00:00:00:fe

送信元MAC02:00:00:00:00:01

EtherType0x0800 (IPv4)

FCSCRC

TCP/IPはステートフルですが、それ以下のすべてはステートレスです。下のどの層もペイロードを知ったり気にしたりしないので、独自のバイナリデータを手作業で作成した新しいIPパケットまたはイーサネットフレームを送信することを妨げるものはありません。TCPおよびIPスタックを自分で再実装するだけです。例はありますか?組み込み開発者はこれを何百万回も解決しています。最も極端な例はAdam DunkelsのMiniwebです - カスタムTCP/IP実装とHTTPサーバーを組み合わせ、それらが動作するためにわずか28バイト(バイト)しか必要としません。

もっと極端ではない、成熟した実装はたくさんあります:

  • gVisorは、ネットワークスタックを含むOS全体を実質的に再実装しています。
  • Seastarは、ScyllaDBの背後にある素晴らしいチームによる独自のネットワークスタックを持つ完全なランタイムです。
  • lwIPは、TCP/IPの一般的なC実装です。
  • F-StackはFreeBSDのTCP/IPスタックを使用しています。

Go、C++、Cは良い言語ですが(まあ、まあ)、私たちの愛するRustほどではありません。そこで、smoltcpを使用します。これは驚くほど優れています:

>smoltcpは、ベアメタル、リアルタイムシステム向けに設計されたスタンドアロンのイベント駆動型TCP/IPスタックです。smoltcpはヒープ割り当てを全く必要としません。

それで、cargo add smoltcpで終わりでしょうか?そうは問屋が卸しません。smoltcpは基本的にスマートパーサーであり、I/Oを実行できません。ネットワークカードとどのように通信するのでしょうか?3つの方法があります:

  • TUNはカーネルが提供する仮想ネットワークインターフェイスです。IP層で動作します。
  • TAPはもう1つのカーネル機能で、1層下のイーサネット層で動作します。
  • DPDKは、カーネルを完全にバイパスして、イーサネットフレームを使用してネットワークカードと直接通信できます。

smoltcpは最初の2つのオプションを標準で提供しており、使いやすいです。

fn main() -> std::io::Result<()> {
    let (mut device, config) = match std::env::args().nth(1).as_deref() {
        Some("tun") => (
            TunTapInterface::new("smoltun", Medium::Ip)?,
            Config::new(HardwareAddress::Ip),
        ),
        Some("tap") => (
            TunTapInterface::new("smoltap", Medium::Ethernet)?,
            Config::new(EthernetAddress([0x02, 0, 0, 0, 0, 2]).into()),
        ),
        _ => panic!("pass tun or tap"),
    };
    let mut iface = Interface::new(config, &mut device, Instant::now());
    iface.update_ip_addrs(|addrs| {
        addrs.push(IpCidr::new(IpAddress::v4(192, 0, 2, 2), 24)).unwrap();
    });
    let mut sockets = SocketSet::new(Vec::new());
    
    // メインネットワークループ
    loop {
        let now = Instant::now();
        iface.poll(now, &mut device, &mut sockets);
        wait(device.as_raw_fd(), iface.poll_delay(now, &sockets))?;
    }
}

しかし、3番目のオプションであるDPDKはどうでしょうか?レイテンシを非常に気にする場合、すべてのシステムコールは血まみれの傷です。システムコール自体は500nsかかる可能性があり、バッファサイズによってはカーネルからユーザー空間へのデータのコピーにさらに1000nsかかる可能性があります。それは小さく聞こえますが、比較のために言うと、高頻度取引会社が400Gbpsのネットワークインターフェイスを飽和させることは一般的です。これは毎秒最大6億パケットを処理することを意味し、パケットあたり約1.7nsです。

DPDKは、プログラムがカーネルネットワークスタック全体をバイパスして、イーサネットフレームを使用してハードウェアネットワークカードと直接通信できるようにします。システムコールなしでメモリマップドバッファを読み書きします:データを送信したい場合 - 単にメモリに書き込むだけで完了です。受信したものを読み取りたい場合 - すでにそこにあります。

もう1つ、あまり明白ではない利点があります - 新しいパケットがネットワークデバイスに到着するとどうなるでしょうか?割り込みが発生し、CPUコアはアプリケーションの実行を停止し、カーネルに切り替わり、割り込みを処理してからアプリケーションに戻ります。大量の着信パケットがあり、アプリケーションが常に中断されると想像してください。美しい名前はlivelockですが、本番環境でデバッグするのは地獄の釜の底のようなものだと思います。DPDKはこれをすべて回避できますが、代償があります。

DPDKは、CPUコア全体を占有するビジーループを実行することで機能します。メモリとネットワークデバイスの間で双方向にデータを絶えず移動させます。まるでこんな感じです:

loop {
    send_from_app_memory_to_network();
    receive_from_network_to_app_memory();
}

もう1つ、あまり明白ではないニュアンスがあります。DPDKはハードウェアレベルで動作するドライバを使用するため、ネットワークデバイスへの排他的アクセスが必要です - 2つのドライバが同時に同じデバイスで動作することはできません。ネットワークインターフェイスのDPDKドライバを有効にすると…それはOSから消えます。はい、ifconfigには何も表示されません。SSH経由で有効にすると、SSHアクセスも失います。そこから多くの面白い話が生まれるのを想像できます。

実際、今では4番目のオプションがあります - LinuxにはAF_XDPサブシステムがあり、同様のことを行います。カーネルネットワークスタックをバイパスでき、メモリマップドバッファの同じアイデアを使用して、アプリケーションでゼロコピーI/Oを取得します。カーネルはまだデバイスを所有しており、割り込みは通常どおり発生します。新しいパケットが到着すると、カーネルは簡単なeBPFフィルターを実行し、それをネットワークスタックをバイパスしてユーザー空間バッファに直接送信するか、通常どおり処理するかを決定します。これはSSHがまだ機能することを意味します。AF_XDPは、CPUコアを犠牲にしてビジーループを提供する、DPDKにさらに近い代替モードSO_PREFER_BUSY_POLLをサポートしています。DPDKはカーネルを完全にバイパスするため、依然としてAF_XDPを上回りますが、AF_XDPは非常に近く(そして管理が簡単です)。

smoltcpでDPDKとAF_XDPをサポートするには、完全な制御が必要な場合は3つのメソッドを持つDevice traitを実装するだけで済みます。あるいは、DPDK用の既存のクレートrust-dpdk-netとAF_XDP用のxsk-rsを使用して支援を受けることができます。

これで最終的なフローは次のようになります:

  1. ランタイムは1500万のWebサーバーゲストをメモリにロードします。
  2. ランタイムスケジューラはゲストを1つずつ実行し始めます。
  3. ゲストのシステムコールはランタイムによってインターセプトされ、smoltcpネットワークスタックとそのアダプターに置き換えられます。
  4. すべての1500万のゲストがリッスンを開始し、それぞれが独自のIPアドレスでリッスンします。
  5. スケジューラはsmoltcpアダプターからの着信データをポーリングし、ゲストをウェイクアップさせ、データを処理させ、次のゲストに切り替えます。

そして、ついに記事を終えることができます。カーネルネットワークスタックは、約250万のWebサーバーでメモリをすべて使い果たし、サーバーが増えるにつれてRPSは低下します。smoltcpを使用すると、メモリ使用量は遅く増加します - アイドルサーバーあたり620バイト、アクティブなサーバーあたり約1キロバイトで、1600万サーバーに到達しました。DPDKはこのベンチマークで明らかに優れており、AF_XDPがそれに続いています:

[画像][画像]

なぜこれがそれほどエキサイティングなのでしょうか?これは、ネットワークスタックをユーザーランドに移動することで、メモリ使用量に対する完全な制御を得てパフォーマンスを向上させることができることを意味します。そしてカスタムランタイムを使用すると、ゲストをより速く実行できます。

Simplyは少し誇張です - プルーフオブコンセプトの構築は簡単です。互換性のあるLinuxランタイムを構築し、すべてのシステムコールを100%POSIX互換で再実装するには、もう少し考えが必要です。そして、別の記事が必要です。

参考文献

← 全記事