Show HN: Tarit – Firecrackerの2倍高速なハイパーバイザー
Show HN: Tarit – a hypervisor which is 2x faster than firecracker (github.com)
要約
Taritは、AIエージェントやRL環境向けに設計された、高速かつ安全なマイクロVMプラットフォームです。ミリ秒単位でのVM起動、タスク実行、破棄を可能にし、コンテナとは異なりカーネルレベルの分離を提供します。VMM(Virtual Machine Monitor)とオーケストレーターの2つのコンポーネントから成り、特に起動時間、スナップショット、サスペンド/レジューム機能においてFirecrackerを大幅に凌駕する性能を示しています。
全文翻訳
AIエージェントと分離実行のためのKVM microVMプラットフォーム。
Taritは、AIエージェントのワークロード向けに構築された、安全で高速な一時的なサンドボックスを実現するmicroVMプラットフォームです。ミリ秒単位で実際のハードウェア仮想化されたVMを起動し、その中でタスクを実行し、破棄します。各サンドボックスは、ホストカーネルを共有するのではなく、独自のゲストカーネルを持っています。本番環境での分離性は、SECURITY.mdで説明されているホスト側の制御にも依存します。Jailed(隔離された)オーケストレーションされたVMMは、専用のPIDおよびプロセスネットワーク名前空間をサポートします。ホスト所有のTAPキューはディスクリプタ経由で渡されるため、ホストルーティングとトラフィックポリシーはVMM名前空間の外に残ります。
このモノリポジトリで共同開発された2つの部分から構成されます。
vmm/- Tarit VMM。最小限のrust-vmmベースのmicroVMモニター(ハイパーバイザー層)です。1つのプロセスが1つのmicroVMを実行します。単独でも、任意のオーケストレーターの下でも使用可能です。orch/-taritd。フリート全体でmicroVMを起動・管理するマルチノードオーケストレーターおよびPaaSコントロールプレーンです。配置、ウォームプール、ネットワーキング、スナップショット、SSH/PTYアクセス、キーごとの使用統計、監査証跡を備えています。
これらは、1つの共有で依存関係の少ないクレートであるproto/ (tarit-proto) に存在する型を持つUnixドメインソケットプロトコルを介して通信します。このクレートがワイヤーコントラクトとなるため、型を手動でコピーすることなく、taritdまたは独自のコントロールプレーンからVMMを駆動できます。
なぜmicroVMなのか
- ハードウェア仮想化。 各サンドボックスは、共有カーネルコンテナではなく、独自のカーネルを持つKVMゲストです。ホストからの隔離、リソース制限、ネットワーキング、およびVMMデバイス境界は、セキュリティモデルの一部であり続けます。
- 高速かつ安価。 最小限のデバイスモデル(MMIO virtioのみ、PCIなし、BIOSなし)、デマンドページングされたゲストRAM、およびサブ秒起動のためのスナップショット/リストア。
- 設計による一時性。 作成、実行、破棄。スナップショットとコピーオンライトオーバーレイにより、多数の同一サンドボックスを安価に起動できます。
- エージェント向けに構築。 vsockベースのexecとインタラクティブなPTY、キーごとの使用量計測と監査、バースト的な作成/実行/破棄にチューニングされたオーケストレーター。
パフォーマンスの証拠
レイテンシは、ホストカーネル、CPU、ストレージ、ゲストイメージ、ワークロード、およびコミットに依存します。VMMライフサイクルのゲートについてはvmm/ci/perf-gates.shを、エンドツーエンドのインタラクティブまでの時間測定についてはtest/bench.shを実行してください。公開される結果には、コミット、ホストおよびゲストの構成、アーティファクトの識別子、イテレーション数、パーセンタイル法、および生のレポートを含める必要があります。バージョン管理されていないヘッドラインの数値は、リリース証拠とは見なされません。
アーキテクチャの概要
HTTP API + CLI + SSHゲートウェイ
|
taritd (orch) 1つのマルチノードコントロールプレーン
/ | \ 配置、ウォームプール、フリート
/ | \ 使用状況 + 監査 -> PostgreSQL
vmm serve vmm serve vmm serve microVMあたり1つのプロセス
| | |
microVM microVM microVM KVMゲスト、独自のカーネル
taritdおよび任意のサードパーティ製オーケストレーターは、vmm serveに対して同じtarit-protoプロトコルで通信します。1つの長さプレフィックス付きJSONリクエスト、1つのレスポンスが、VMごとのUnixソケットを介してやり取りされます。独自のオーケストレーターの導入については、vmm/docs/INTEGRATION.mdを参照してください。
クイックスタート
クイックスタートは階層化されています。レイヤー1は、microVMでコードを実行できるようにします。レイヤー2は、スナップショット、サスペンド、リストアを追加します。レイヤー3は、オーケストレーターで管理されたフリートを実行します。必要なレイヤーのみを使用してください。
KVM (/dev/kvm) とRustツールチェーンを備えたLinuxホストが必要です。microVMの実行にはroot権限(またはkvmグループのメンバーシップ)が必要なため、コマンドではsudoを使用します。
レイヤー1: microVMでコードを実行する
git clone https://github.com/instavm/tarit && cd tarit
sudo make install # vmm, taritd, およびゲストエージェントをビルド・インストール
sudo make guest # 一度だけ: 検証済みのゲストカーネルを取得 + Ubuntu rootfsをプル
make guestは、ピン留めされたチェックサム検証済みのゲストカーネルをダウンロードし、OCI rootfsを一度プルします。リリースアーティファクトが利用できない場合は、チェックサムでピン留めされたソースから同じカーネルをビルドします。これにより、guest-assets/vmlinuxとguest-assets/rootfs.ext4が書き込まれ、後続の起動でイメージ変換が繰り返されることはありません。ゲストカーネルのドキュメントには、ピン、ビルド、およびリリースチェックが記載されています。1つ起動し、その中でコマンドを実行し、破棄します。
sudo vmm serve --socket /tmp/vm.sock &
sudo vmm --socket /tmp/vm.sock create --kernel guest-assets/vmlinux --rootfs guest-assets/rootfs.ext4
sleep 12 # ゲストの起動とエージェントへの接続を待つ
sudo vmm --socket /tmp/vm.sock exec "uname -a"
sudo vmm --socket /tmp/vm.sock stop
カーネルのみのインストールが必要な場合は、sudo vmm kernel installを実行します。インタラクティブなvmm runおよびvmm createコマンドは、--kernelが省略されている場合に、そのピン留めされたカーネルのインストールを提案します。非インタラクティブなコマンドは、--kernelまたは事前のインストールが必要です。
ハイパーバイザーのみが必要な場合は、sudo make install-vmmでvmmのみをインストールできます。
レイヤー2: スナップショット、サスペンド、リストア
同じソケットを操作してVMの状態をキャプチャし、移動します。フルスナップショットはメモリとデバイスの状態を書き込みます。--diffはダーティページのみを書き込みます。サスペンドはゲストRAMを解放し、レジュームはそれを元に戻します。リストアはスナップショットから新しいVMMを起動します。スナップショットには、ゲストが使用するアーキテクチャおよびホスト通知済みのKVMパラバーチャルMSR状態が含まれます。リストアは、その状態を宛先に対して検証し、部分的なリストアなしで互換性のないホストを拒否します。サスペンドは、vCPUを停止した後、ブロック、ネットワーク、およびvsockワーカーを一時停止し、レジュームはvCPUが再び実行される前にワーカーが一時停止状態を離れるのを待ちます。
sudo vmm --socket /tmp/vm.sock snapshot # フルショット、.snapパスを出力
sudo vmm --socket /tmp/vm.sock snapshot --diff # 増分(ダーティページのみ)
sudo vmm --socket /tmp/vm.sock snapshot --live # ライブ: ゲストは実行を継続
sudo vmm --socket /tmp/vm.sock suspend # ゲストRAMを解放
sudo vmm --socket /tmp/vm.sock resume
sudo vmm restore --snapshot /path/to.snap # 新しいVMMプロセスにリストア
Taritはライブスナップショット(snapshot --live)も提供します。ゲストが実行中にプリコピーラウンドが実行され、その後最終停止で残りのダーティページのみがコピーされ、vCPU + デバイス状態がキャプチャされます。最終停止はサブミリ秒のダウンタイム(デフォルトで500µs)を目標とします。ダーティページは、KVMのダーティログ(vCPU書き込み)とvirtio DMAをカバーするソフトウェアトラッカーの両方から追跡され、最終停止のためにデバイスI/Oスレッドが静止されるため、イメージの一貫性が保たれます。注意点として、メモリをコピー速度よりも速くダーティ化するゲストは決して収束しないため、制限されたラウンド数(またはタイムアウト)の後、スナップショットは最終停止を強制し、ダウンタイムは残余とともに増加します。結果に報告されるdowntimeは、常に実際の測定されたブラックアウトです。オーケストレーションされたフルスナップショットも同様に、ディスク整合性の一時停止を使用します。利用可能な場合はFICLONE/reflinkを使用します。正しさを維持するスパースコピーのフォールバックは低レイテンシパスではないため、本番環境のレイテンシゲートにはreflink対応ストレージが必要です。完全なデバイス、アウトバウンド、ジェイラー、およびPTYサーフェスについては、vmm/docs/STANDALONE.mdを参照してください。
レイヤー3: オーケストレーターでフリートを実行する
taritdは、HTTP APIを介して1つ以上のノードで多数のmicroVMを管理します。配置、ウォームプール、キーごとの使用量アカウンティング、およびSSH/PTYゲートウェイを備えています。シングルノード:
cd orch
TARIT_API_KEY=$(openssl rand -hex 24) \
TARIT_VMM_BIN=$(command -v vmm) \
TARIT_KERNEL=$PWD/../guest-assets/vmlinux TARIT_ROOTFS=$PWD/../guest-assets/rootfs.ext4 \
taritd serve
その後、HTTP経由でVMを作成・操作し、マルチノードクラスターにスケールアップします。
- オーケストレーターのクイックスタートと設定: orch/docs/QUICKSTART.md, orch/docs/CONFIGURATION.md
- アーキテクチャとHTTP API: orch/docs/ARCHITECTURE.md, orch/docs/API.md
- マルチノードクラスター、フェイルオーバー、オートスケーリング: orch/docs/RESILIENCE.md, orch/docs/AUTOSCALING.md
- 使用状況統計と監査証跡: orch/docs/USAGE-AND-AUDIT.md
- 独自のコントロールプレーンからVMMを駆動する: vmm/docs/INTEGRATION.md
リポジトリレイアウト
vmm/ Tarit VMM(microVMモニター)- 独自のcargoワークスペース
orch/ taritd、オーケストレーターおよびPaaSコントロールプレーン - 独自のcargoワークスペース
proto/ tarit-proto、共有UDSワイヤープロトコルクレート(KVMフリー)
vmm/とorch/は独立したcargoワークスペースであるため、VMMは単独でビルド、テスト、消費できます。どちらもワイヤー型のためにproto/に依存しています。
ドキュメント
- Tarit VMM(スタンドアロン): vmm/README.md, vmm/docs/STANDALONE.md
- 独自のオーケストレーターの導入: vmm/docs/INTEGRATION.md
- VMMビルド + CLI + UDS API: vmm/docs/BUILD-AND-API.md
- オーケストレーターのクイックスタート + 設定: orch/docs/QUICKSTART.md, orch/docs/CONFIGURATION.md
- オーケストレーターのアーキテクチャ + API: orch/docs/ARCHITECTURE.md, orch/docs/API.md
- 耐障害性とスケーリング(テスト済みシナリオ): orch/docs/RESILIENCE.md
- 使用状況統計と監査証跡: orch/docs/USAGE-AND-AUDIT.md
- 貢献: CONTRIBUTING.md
プラットフォームサポート
- ホスト: KVMを備えたx86_64 Linux。macOSでもビルドとクロスチェックの開発は可能ですが、microVMの実行にはKVMが必要です。
- 未実装: aarch64ゲスト、virtio-balloon。
セルフホスティング
セルフホスティングはAWSとGCPでテスト済みです。Azureサポートは近日公開予定です。
ライセンス
TaritはAGPL-3.0-or-laterライセンスです。詳細はLICENSEを参照してください。