Linux MicroVMスタックをApple Silicon上で再構築する
We Rebuilt the Linux MicroVM Stack on Apple Silicon (encore.dev)
要約
Encoreは、macOS上のApple SiliconでLinux microVM(Firecracker)を動作させるための「crackling」という新しいスタックを開発しました。これにより、開発者はローカルのMacで、本番環境と同じビルドシステムとイメージを動かせるようになり、リモートサーバーへの依存を解消しました。この再構築では、macOSのVirtualization.frameworkを利用し、LinuxのKVMに依存しない方法で、Firecrackerの機能と同等の環境を構築しました。
全文翻訳
Linux MicroVMスタックをApple Silicon上で再構築
Encoreはバックエンドアプリケーションを構築・デプロイしており、2022年半ば以降、それらのビルドはすべてFirecracker microVM内で実行されています。FirecrackerはエミュレートされたハードウェアをLinuxカーネルが必要とするものだけに絞り込み、各ビルドに仮想マシンと同等の分離性と、コンテナに近い起動速度を提供します。
FirecrackerはKVMを利用するため、/dev/kvmを持つLinuxホストが必要です。しかし、Encoreのエンジニアの多くはMacで開発しており、Macには/dev/kvmが存在しません。EncoreはAppleのVirtualization.framework上で動作する動作確認済みのPoC(Proof of Concept)を断り、macOSのサポートを「近い将来行う予定はない」とGitHubで述べているため、この状況は変わりそうにありません。
そのため、4年間、ビルドシステムでの作業は別の環境で行う必要がありました。私たちは、本番環境ではFirecrackerを使い続けつつ、開発者のラップトップでも同じビルドシステムを実行したいと考え、Linux上ではFirecrackerを、macOS上ではAppleのハイパーバイザーを駆動する単一のmicroVM APIであるcracklingを開発しました。両方のプラットフォームで同じイメージを起動するには、Linuxイメージのツールチェーンの多くをmacOSで動作するように再構築する必要がありました。
以前は、各エンジニアのオンボーディングは一度だけ実行するスクリプトで行われていました。このスクリプトは共有ビルドマシンにrootでSSH接続し、https://github.com/<you>.keysから公開鍵を取得してユーザーを作成し、ハイパーバイザーにアクセスしてコンテナを実行できるようにkvmとdockerグループに追加していました。VMイメージは~/imagesにコピーされ、firecrackerバイナリは各ユーザーが自分のツリー内で必要とするため、~/binにハードリンクされていました。これにより、データセンター内に、Tailscale経由でアクセス可能な、他のユーザーの環境の隣に配置された個人環境が実現していました。
2つ目のスクリプトは、gitignoreされたエンジニアごとのファイルであるCUE設定からユーザー名とポートを読み取ることで、変更をビルドマシンに反映させていました。これはホストを共有していたため、衝突しないように調整が必要でした。バイナリはGOOS=linux GOARCH=amd64でクロスコンパイルし、rsyncで転送し、転送されたファイル数を数えて再起動が必要かどうかを判断していました。
一方、イメージの扱いはより困難でした。Firecrackerはブロックデバイスを起動し、Dockerはレイヤーを生成しますが、その間を変換するツールが見つからなかったため、自作しました。そのツールの半分はラップトップ上で、半分はビルダー上で実行されました。
# tools/dev-builder/deploy-dev-builder.sh
docker save -o "$imagesdir/$name.tar" "$docker_image"
tar -C "$layersdir" -xf "$imagesdir/$name.tar" # explode the layers
tar -C "$dst/" -xf "$imagesdir/$name.tar" manifest.json
rsync -azP $layersdir ${username}@builder:~/images/
rsync -azP "$dst" ${username}@builder:~/images/
ssh ${username}@builder -- \
"bash -l -s squash_layers \"images/${outputdir}\" \"images/${name}\"" < $scriptpath
このbashスクリプトは後にGoで書き直されましたが、パイプラインとホストの構成は変わりませんでした。squash_layersは、マニフェストの順序で各レイヤーを再展開し、tarでは処理されない.wh..wh..opqホワイトアウトマーカーをfindで削除し、VMがDNSを持たないためハードコードされた/etc/resolv.confを書き込み、jqでDocker設定からイメージの環境変数を抽出し、mksquashfsを呼び出してFirecrackerが起動できるものを作成していました。DockerイメージIDをキーとしたキャッシュにより、一致した場合はパス全体をスキップできました。これは、イメージに変更があった場合、つまりゲスト側で作業している場合はほとんどの場合に実行されました。
再起動には3回目のSSHが必要で、コンテナを停止し、その代替を起動していました。
docker run --privileged \
-v ~/socks:/var/lib/buildsvc/socks:rw -v ~/logs:/tmp/encore-builds:rw \
-v ~/.keys:/.keys:ro -v ~/binaries:/usr/local/bin:ro \
-v ~/images:/usr/lib/buildsvc/images:ro \
--env-file service-envs \
--device /dev/kvm --device /dev/net/tun \
-p $port:9060 --name "${username}-builder" -d -t buildsvc-tester
FirecrackerはDockerコンテナ内で実行されているため、--privileged、/dev/kvm、/dev/net/tunを渡す必要がありました。これは、コンテナ内のプロセスがタップデバイスを作成し、それ自体で仮想マシンを起動するためです。
Firecrackerはこれらのタップデバイスをホストブリッジにアタッチすることを期待しますが、Dockerコンテナ内にはホストブリッジが存在しません。そのため、ビルドサービスが起動する前に実行されるシェルスクリプトでブリッジを構築しました。
# tools/dev-builder/container/start.sh
ip link add docker0 type bridge
ip link set eth0 master docker0
addr=$(ip address show eth0 | grep inet | xargs | cut -d " " -f2)
ip address del $addr dev eth0
ip address add $addr dev docker0 broadcast 172.17.255.255
ip link set docker0 up
ip r add default via 172.17.0.1 dev docker0
これにより、タップデバイスは実際のDockerホストのように見えるものにアタッチできるようになりました。
ビルドシステムはラップトップ以外では動作していた
このセットアップは機能し、2022年から私たちが最終的に置き換えるまで使用されました。バックエンド開発はスムーズであるべき、コードからインフラが自動的に生成されるべきという、同社の全体的な主張を考えると、このリモートビルドシステムは正当化が困難でした。一方で、git pushを実行可能なアプリケーションに変える製品の一部が、私たちがソフトウェアを書いているマシンで実行できないという状況でした。
ビルドシステムがリモートだったため、ローカルでのブレークポイントは決してヒットせず、ログを読むにはSSH経由でファイルをtailする必要がありました。プロファイラをアタッチするには、まずそれをビルドマシンにコピーする必要がありました。ゲスト側の変更もすべてdocker saveと展開されたイメージのrsync、そして共有ホストでの展開とmksquashfsを経ており、他のエンジニアもそこで独自のビルドを実行していました。
このループは長く、推測的な変更を試す前に二の足を踏むほどでした。私たちが求めていたのは、ビルドシステムをMac上でネイティブに、同じイメージを起動し、目の前にあるマシンで実行することでした。
共通点の少ない2つのハイパーバイザーを跨ぐ単一API
macOS上でLinuxをVMとして実行するには、いくつかの実装方法があります。Apple自身のcontainerは6月に1.0に到達し、LimaとTartは長年この機能を提供しており、podmanもlibkrunを通じて可能です。macOS 15以降のM3以降のMacでは、Linux VM内で/dev/kvmを使用することも可能で、Firecrackerをそのまま動作させることができます。
しかし、これらのいずれも両方のホストを跨ぐことはできません。また、ネストされたルートは、それをサポートするラップトップのサブセットでLinux VM内に留まることになります。これらのいずれを採用しても、ラップトップでのみ動作し、異なる振る舞いをする、2つ目のビルド実行方法を持つことになります。
cracklingは、両方のプラットフォームで軽量なLinux VMとしてOCIイメージを起動するデーモンおよびCLIです。ゲスト内には1つのエージェントがあり、どちらの方法でも1つのプロトコルがそれを駆動します。Linuxでは引き続きFirecrackerがバックエンドとして使用され、macOSではAppleのVirtualization.framework、すなわちVZが使用されます。これは、エクスポートされるすべてのタイプにプレフィックスとして付いています。
コアクレートはどちらのハイパーバイザーにも依存しないように保たれました。これはMachineSpecを通じてマシンを記述し、vcpus、mem、kernel、rootfs、extra_disks、nics、vsock、およびバックエンド固有の追加情報を持ちます。一方、MachineStateは実行時にそれを追跡します。
両方のバックエンドはMachineBackendを実装しており、start、shutdown、pause、resume、snapshot、wait、dispose、そして利用可能な場合はconnect_vsockを提供します。バックエンドのディスパッチは静的です。なぜなら、ターゲットごとに存在するバックエンドは1つしかないからです。一方、トレイトは両方の実装に共通の契約を提供し、テストでインメモリバックエンドを代替できるようにします。
ただし、両者の機能には違いがあります。FirecrackerはホストのタップデバイスとMMDSメタデータサービスを持っています。Appleのフレームワークは、代わりに組み込みのNATデバイス、virtiofsディレクトリ共有、およびarm64ゲストでx86バイナリを実行するためのRosetta翻訳機能を持っています。各バックエンドは、実装できない要求された機能の名前を含むエラーを返します。
// crates/crackling-core/src/backend.rs
pub enum Feature {
Snapshot,
/// Creating a machine from a previously captured snapshot.
/// Distinct from `Snapshot`: VZ can capture (entitlement permitting)
/// but crackling never restores there, while Firecracker does both.
SnapshotRestore,
Mmds, VirtioFs, Rosetta, // Firecracker / VZ / VZ
/// Host tap network device (Firecracker).
TapNetwork,
/// Built-in NAT network device (VZ).
NatNetwork,
MemoryBalloon, Entropy, Vsock,
/// Machines outlive the controlling process and can be re-attached
/// (Firecracker). VZ machines live in-process and can never be adopted.
Adoption,
}
各バックエンドは、マシンが存在する前に現在のホストでサポートされている機能を報告するため、デーモンはcreateの前にスペックを調整できます。利用できないネットワークモード、アドプション、またはスナップショットリストアの要求は、サポートされていない機能の名前とともにAPI境界で失敗します。
Linuxでは、各VMは個別のfirecracker子プロセスとして実行され、その限定的なAPIサーフェス向けに書かれた小さなHTTP/1.1クライアントによってREST API経由で駆動されます。これらのプロセスはデーモンよりも長く存続できます。一時的なsystemd scopeにより、サービスマネージャーがそれらを回収するのを防ぎ、PIDの再利用によって古いレコードが無関係なプロセスを指すことがないように、PIDとその開始時刻を永続化します。再起動時、デーモンはpidfdを開き、APIソケット経由でインスタンスIDを確認します。識別できないものはすべて実行されたままになります。VZマシンはプロセス内に存在し、プロセスと共に終了するため、macOSではAdoptionはエラーを返します。
両方のバックエンドは、すべてのプルリクエストでビルドおよびテストされます。Firecracker用はx86_64 Ubuntuランナーで、VZ用はarm64 macOSランナーです。デーモンのバックエンドに依存しないロジックは、各ランナーのモックバックエンドに対して実行され、VZテストはハイパーバイザー、コードサイニング、またはゲストイメージを必要としません。
バックエンドはコンパイル時に選択され、ゲストエージェントは両方で同じバイナリです。
Appleのフレームワークが主張する唯一のスレッド
VZバックエンドの実装には、厳格なスレッド制約がありました。VZVirtualMachine、VZVirtualMachineConfiguration、およびフレームワークのデバイスオブジェクトは!Send + !Syncであり、すべてのVM呼び出しと完了ハンドラはVMを作成したシリアルディスパッチキューで実行される必要があります。デーモンの残りの部分はtokioで、これは必要に応じてワーカー間のFutureの移動を行うため、VMオブジェクトをawaitポイントを跨いで保持することはできません。これは両方の制約を満たせません。
私たちは、プロセス全体でグローバルな単一のシリアルDispatchQueueで各VMを作成およびアクセスします。VMレジストリは、そのキューにディスパッチされたクロージャからのみアクセス可能であるため、アクセスはシリアライズされ、オブジェクトがtokioのスレッドに到達することはありません。非同期部分は、Sendデータのみを運ぶクロージャをディスパッチし、応答を待機する、通常のSend + Sync + Cloneハンドルです。
// crates/crackling-vz/src/reactor.rs
reactor().queue.exec_async(move || {
match build_configuration(&cfg) {
Ok(vm_cfg) => {
// SAFETY: we pass the reactor's own serial queue; the VM is
// stored and only ever used from this queue henceforth.
let vm = unsafe {
VZVirtualMachine::initWithConfiguration_queue(
VZVirtualMachine::alloc(), &vm_cfg, &reactor().queue)
};
let id = shared.id;
if let Ok(mut g) = reactor().state.vms.lock() {
g.insert(id, ReactorVm { vm, shared });
}
let _ = reply.send(Ok(()));
}
Err(e) => { /* mark Failed, then: */ let _ = reply.send(Err(e)); }
}
});
ディスパッチAPIはSend + 'staticクロージャを要求するため、コンパイラは!SendのVMオブジェクトがキャプチャされるのを防ぎます。レジストリとそれを保持するリアクターは、手書きのSendおよびSync実装を依然として必要とします。キューの不変性は、これら2つの実装に依存します。
VZVirtualMachineConfigurationも!Sendであるため、低下(lowering)を2つのフェーズに分割しました。MachineSpecはtokio上でSendデータのみを含む構造体に変換され、その後、その構造体がキュー上でVZVirtualMachineConfigurationになります。完了ハンドラは、ブロックの有効期間中のみ有効な生のNSErrorポインタを受け取るため、応答する前にキュー上で所有権のあるエラーに変換します。マシンへの最後のハンドルのドロップはディスパッチによるdisposeをトリガーします。なぜなら、フレームワークはそのキュー上での解放も要求するためです。
Linuxなしで起動可能なLinuxイメージを構築する
VZバックエンドはVMを作成・制御できるようになりましたが、それを起動するにはLinux専用のイメージパイプラインを置き換える必要がありました。OCIイメージを起動可能なルートファイルシステムに変換するには、通常root権限とループマウントが必要ですが、macOSにはどちらも存在しません。一方、initramfsの構築では通常cpioバイナリが呼び出されます。カーネルツリー自体のextract-vmlinuxはx86 bzImage用に書かれており、arm64カーネルをアンパックできません。
どちらのハイパーバイザーも、圧縮されていないカーネルイメージを持つまで何も起動しません。arm64ディストリビューションが提供するvmlinuzは通常、小さなEFI実行可能ファイルであるEFI zbootファイルであり、通常はファームウェアが起動時に展開する圧縮ペイロードをラップしています。ここではファームウェアがないため、自分でアンラップします。MZとzimgのシグネチャがフォーマットを識別し、ヘッダーがペイロードのオフセット、サイズ、および圧縮情報を提供します。
// crates/crackling-image/src/kernel.rs
// EFI zboot: "MZ" at offset 0 and the "zimg" signature at offset 4.
if bytes.len() > 64 && &bytes[0..2] == b"MZ" && &bytes[4..8] == b"zimg" {
let payload_offset = u32::from_le_bytes(bytes[8..12].try_into().unwrap()) as usize;
let payload_size = u32::from_le_bytes(bytes[12..16].try_into().unwrap()) as usize;
let comp_end = bytes[24..32].iter().position(|&b| b == 0).unwrap_or(8);
let compression = std::str::from_utf8(&bytes[24..24 + comp_end]).unwrap_or("");
let end = payload_offset
.checked_add(payload_size)
.filter(|&e| e <= bytes.len())
.ok_or_else(|| ImageError::Kernel("zboot payload out of range".into()))?;
let raw = match compression {
"gzip" => gunzip(&bytes[payload_offset..end])?,
other => return Err(ImageError::Kernel(
format!("unsupported zboot compression: {other:?}"))),
};
}
圧縮されたカーネルをVirtualization.frameworkに渡すと、詳細情報なしの汎用的な内部エラーで起動に失敗します。仮想化エンタイトルメントが最初の疑いであり、バイナリを再署名して午後を無駄にした後、カーネルに目を向けました。現在、オフセット0x38のARMdシグネチャを確認しており、これは生のarm64 Imageを識別し、起動しようとする前に圧縮カーネルを報告します。
カーネルは起動するためのルートファイルシステムを必要とするため、OCIレイヤーをユーザー空間全体で適用し、squash_layersがfindで行ったように.wh.ホワイトアウトエントリを尊重しますが、プロセス内で行われ、後でクリーンアップパスはありません。イメージのプルにはカスタムプラットフォームリゾルバも必要でした。なぜなら、デフォルトはホストOSを基準にするため、Macからのリクエストはlinux/arm64イメージと一致しないからです。
RAMからルートファイルシステムを起動するにはinitramfsが必要です。これは、gzipストリーム内のnewcフォーマットのcpioアーカイブです。両方のレイヤーを純粋なRustで生成し、デフォルトではVMが停止するまでルートファイルシステムはメモリ内に保持されます。
イメージを一度展開して正規化し、.builtセンチネルを書き込み、完了した出力をアトミックリネームで公開します。これにより、クラッシュしても既存のキャッシュは変更されません。各VMは、APFS上のclonefile、それをサポートするLinuxファイルシステム上のファイルごとのFICLONEリフレイン、またはそれ以外の場所では通常のコピーを使用してキャッシュされたルートファイルシステムをクローンします。RAMパスは、そのクローンをVM自身のinitramfsに再パックします。
VM内でシェルを取得する
カーネルとルートファイルシステムが起動した後、cracklingはゲスト内でコマンドを実行し、データを移動する方法を必要としました。両方のプラットフォームはvsockを提供しており、Alpineのvirtカーネルはロード可能なモジュールとしてAF_VSOCKを搭載しているため、/initがvsock、vmw_vsock_virtio_transport_common、およびvmw_vsock_virtio_transportなどをロードしてからでないと、何もリッスンできません。これらのモジュールは、実行中のカーネルと完全に一致する必要があるバーマック(vermagic)文字列を持っており、不一致は下流に何も有用な情報を提供せずにロード時に失敗します。VMは起動しますが、エージェントは決して起動せず、ホストは決して到着しない接続を待ち続けます。カーネルとそのモジュールは1つのlinux-virtパッケージから取得するため、同期が保たれます。ext4をマウントするとチェックサムが無効になっていてもcrc32cハッシュがプルされるため、crc32c_genericとlibcrc32cをロードする必要があり、インタラクティブシェルではopenptyが機能する前に/dev/ptsをマウントする必要があります。
すべてのVMは同じエージェントを実行します。これは、Mac上ではaarch64-unknown-linux-musl用に、amd64ホスト用にはx86_64-unknown-linux-musl用にビルドされた静的なmuslバイナリです。これはAF_VSOCKでリッスンし、小さなフレーム化されたプロトコルを使用します。8バイトのヘッダーに続いて、エンコードされた制御フレームまたはバルクデータ用の生のバイトが続き、操作ごとに1つの接続があります。このプロトコルは、ストリーミングされる標準出力と標準エラーを持つexec、PTY上のインタラクティブなshell、双方向のcp、および接続をゲスト内のポートへのトンネルに変換するforwardをサポートします。
エージェントは制御にvsockを使用するため、ゲストは手動のネットワーク設定やcracklingによってインストールされたSSHデーモンなしで動作します。アウトバウンドネットワークは個別のオプトインであり、インバウンドアクセスは、起動時に生成されるVMごとのトークンで認証されたコントロールプレーンフォワードを通じてのみ利用可能です。
macOSでは、そのトランスポートのホスト側はVZVirtioSocketDevice接続であり、そのファイルディスクリプタはすぐにdup(2)する必要があります。なぜなら、Objective-Cオブジェクトが解放されるとフレームワークが元のものを閉じるためです。Linuxでは、これはテキストハンドシェイクを持つUnixソケットであり、応答は1バイトずつ読み取る必要があります。
// crates/crackling-firecracker/src/machine.rs
// Read the reply one byte at a time so we never swallow payload
// bytes past the newline (a real hazard with buffered reads).
stream.write_all(format!("CONNECT {port}\n").as_bytes()).await?;
let mut line = Vec::with_capacity(16);
loop {
let b = stream.read_u8().await.map_err(Error::Io)?;
if b == b'\n' { break; }
line.push(b);
}
macOSとLinuxの実装は異なりますが、どちらもcrackling shell、exec、およびcp用のエージェントに接続されたバイトストリームを返します。
AppleはサードパーティによるVMのスナップショットを許可しない
FirecrackerはPUT /snapshot/createを通じてネイティブにメモリとデバイスの状態をキャプチャし、restore_fromを持つスペックは新しいVMMを起動し、スナップショットのホストフィンガープリントを確認し、スナップショットを一時停止状態でロードして再開します。アップストリームは互換性のあるアーキテクチャとFirecrackerバージョンにのみリストアするため、フィンガープリントチェックは、アイドル状態のサンドボックスを一時停止して別のホストで再開する操作を保護します。
Appleのフレームワークは同じ機能を提供しているように見えます。なぜなら、VZVirtualMachineはsaveMachineStateToURLを公開し、設定のvalidateSaveRestoreSupportはそれが適格かどうかを問い合わせるからです。私たちは実装を作成し、バリデーターは正常に返しましたが、保存はVZErrorInternalで失敗しました。これは、vsockデバイス以外ほとんど持たない最小限のVMでも失敗し、シリアライズ不可能なデバイスが原因である可能性は低いです。
VMを実行するにはcom.apple.security.virtualizationが必要ですが、これはどの開発者でも署名できます。保存するにはさらにcom.apple.private.virtualizationが必要ですが、これはAppleはサードパーティアプリケーションに付与しません。バリデーターは2番目のものをチェックしないため、フレームワークは操作をサポートされていると報告し、呼び出すと失敗し、不正なカーネルが生成するものと同じ汎用的な内部エラーを返します。
現在Macで動作するもの
エンジニアはビルドシステムをクローンし、ラップトップで実行し、Encoreのビルドとデプロイに使用されるOCIイメージを、同じエージェントとvsockパスを通じて起動します。共有ホストは消え、docker saveをrsync経由でパイプし、特権コンテナ内の手作りのブリッジもなくなりました。ビルドシステムにブレークポイントを設定し、それをヒットさせることができます。
ローカルワークフローは次のようになります。
$ crackling run --image alpine:3.20
0c1f8f3c-7b21-4a5e-9a10-2b4c6d8e0f11 running alpine:3.20
$ crackling exec 0c1f8f3c-7b21-4a5e-9a10-2b4c6d8e0f11 uname -a
Linux (none) 6.6.142-0-virt ... aarch64 Linux
$ crackling shell 0c1f8f3c-7b21-4a5e-9a10-2b4c6d8e0f11
~ # cat /etc/alpine-release
3.20.10