FreeBSDとbhyveにおけるライブマイグレーションサポートが登場
Live-migration support in FreeBSD and bhyve coming (gyptazy.com)
要約
FreeBSD 15.1上で動作するbhyve仮想マシンのライブマイグレーションを可能にする、TCP経由でのホスト間移動をサポートする初期実装が発表されました。この機能は、エンタープライズ仮想化やFreeBSDベースのVPSサービスにとって重要な基盤となり、ダウンタイムを最小限に抑えながらホストメンテナンスや負荷分散を実現します。
全文翻訳
FreeBSD bhyveライブマイグレーション:VMをホスト間で移動する
このプロジェクトは、FreeBSD 15.1上でbhyveゲストのライブマイグレーションを実現するための最初の動作状態を示しています。実行中のamd64ゲストは、TCP経由で2つのホスト間を移動でき、その間も実行を継続します。停止するのは最終的なストップ&コピーフェーズのみです。この作業は、bhyveの実験的なスナップショットサポートを基盤とし、vmmカーネルモジュールにダーティページトラッキングを追加し、bhyveとbhyvectlにマイグレーションプロトコルを組み込んでいます。
[画像: Live migration of a VM in FreeBSD with bhyve]
Live migration of a VM in FreeBSD with bhyve
以前の記事「bhyve on FreeBSD and VM Live Migration – Quo vadis?」で、bhyveライブマイグレーションの状態、その歴史的発展、既存の制限、そしてFreeBSD仮想化の将来にとってなぜ重要なのかについて議論しました。
この目標は、明確に実践的です。抽象的なライブマイグレーションの議論に終始するのではなく、実際のインプリメンテーションをテスト、議論、改善できるようにすることです。現在のコードとテストツールはWIP RFCとして公開されており、次のステップはオープンな形で形成される予定です。VMがライブマイグレーションされる詳細なデモンストレーションは、私のYouTubeチャンネルで視聴できます。
なぜこれが重要なのか
ライブマイグレーションは、エンタープライズ仮想化の重要な構成要素です。これにより、ワークロードへの影響をはるかに少なくしながら、ホストメンテナンス、ハードウェア交換、負荷分散、障害ドメイン管理が可能になります。また、FreeBSD向けにProxmoxライクな仮想化ソリューションを提供することを目指すSylveプロジェクトの中核でもあります。このようなプラットフォームでは、マイグレーションはオプションの利便性ではなく、クラスタリング操作を実用的にする機能の1つです。
私が個人向けに無料のBSDベースVPSインスタンスを提供しているBoxyBSDにとっても同様に重要です。信頼できるマイグレーションパスがなければ、定期的なホスト作業にはゲストのダウンタイムが必要になる場合があります。これはライブマイグレーションをプロジェクトにとって現在のショーストップパーにしており、この作業がテスト可能でレビュー可能な状態に向かって推進されている理由です。
現在の実装方法
ソース側はプリコピーフェーズから開始します。まず、メモリを送信し、その後、前回のスキャン以降に変更されたページのビットマップを繰り返し取得し、そのページのみを送信します。残りのダーティセットが設定されたダウンタイムターゲットに収まるか、収縮しなくなるか、設定されたラウンド制限に達すると、bhyveはゲストとそのデバイスを一時停止します。その後、最終的なダーティページと、vCPU、カーネル状態、エミュレートされたデバイスのスナップショット状態を送信します。
デスティネーション側は、VMの基本ジオメトリを検証し、メモリと状態を受信して復元し、準備ができたことを報告します。その後、ソースはコミットポイントであるGOを送信します。GOの前であれば、マイグレーションが失敗した場合でもソースゲストを再開できます。デスティネーションは、コミットメッセージを受信しない限り、ゲストを開始しません。ウォームなストップ&コピーモードも利用可能で、これはフォールバックとしても比較ベースラインとしても役立ちます。
今日実装されていること
- プリコピーとウォームマイグレーション: ライブプリコピーは、ダウンタイムと最大ラウンド制御で設定可能です。明示的なストップ&コピーマイグレーションもサポートされています。
- マルチvCPUプロトコルサポート: マイグレーションハンドシェイクはゲストvCPU数を運び、デスティネーションはカウントの不一致を拒否し、すべてのゲストvCPUはマイグレーションの一部として一時停止および再開されます。公開されているテストベッドは主に1vCPUゲストでテストされており、より広範な主張をする前に、マルチvCPUのストレステストとレーステストが引き続き必要です。
- メモリ整合性チェック: ダーティページトラッキングは、カーネル側のダーティページアルゴリズムが、ダーティビットが検査およびクリアされている間に書き込みを失わないことを実証する必要があります。これには、集中した同時実行性、ページング、エミュレーション書き込み、およびマルチvCPUのストレステストカバレッジ、さらにレビュー可能なロッキングとメモリ順序付けの議論が必要です。
- ディスク書き込み検証: ゲスト側のワークロードは、ファイルを繰り返し書き込み、fsyncし、チェックサムを検証し、コールドリブート後に再度チェックされます。これは、デバイスの一時停止、ドレイン、および復元パスをテストすることを目的としています。
- 障害処理: デスティネーションの拒否、到達不可能なターゲット、およびプリコピーとストップ&コピーの両方でのターゲットの消失がテストされました。コミット前は、障害後にソースが一時停止したゲストを再開するように意図されています。
- 基本的なデスティネーションチェック: プロトコルバージョン、ページサイズ、メモリレイアウト、vCPUカウントは、データ転送前にチェックされます。マイグレーションソケットはbhyvectlによって開かれ、bhyveに渡されるため、bhyveはCapsicumサンドボックス内に留まることができます。
- サポート範囲: これはamd64専用であり、実験的なBHYVE_SNAPSHOTサポートに依存しています。スナップショット対応のエミュレートされたデバイスに依存しており、PCIパススルーはまだマイグレーションできません。
観測された結果
現在の2ホストテスト環境では、繰り返しライブマイグレーション、メモリ書き込みワークロード、およびfsync負荷の高いディスクワークロードが正常に完了しました。ゆっくりとダーティになる512 MiBゲストの場合、観測されたダウンタイムは約138〜171ミリ秒でした。急速にダーティになるゲストはプリコピー中に収束しない可能性がありますが、それでもより長いポーズを伴う正しいストップ&コピー完了にフォールバックします。これらは励みになるエンジニアリング結果であり、本番サポートの約束や完全な正当性証明ではありません。
アップストリーム評価前にさらに検討が必要なブロッカー
以下は中立的なエンジニアリング要件であり、プロトタイプの価値への批判ではありません。これらは、FreeBSDへのさらなるアップストリーミングを責任を持って評価する前に、まず対処する必要があります。
- ダーティログの正当性と堅牢性の証明。 カーネル側のダーティページアルゴリズムは、ダーティビットが検査およびクリアされている間に書き込みを失わないことを実証する必要があります。これには、集中した同時実行性、ページング、エミュレーション書き込み、およびマルチvCPUのストレステストカバレッジ、さらにレビュー可能なロッキングとメモリ順序付けの議論が必要です。
- 完全な互換性契約の定義。 メモリサイズとvCPUカウントの一致だけでは不十分です。デスティネーションは、マイグレーションを受け入れる前に、ゲストのID、CPU機能、bhyve/vmmおよびスナップショット形式の互換性、デバイスのトポロジーと機能、共有ストレージのIDを検証する必要があります。
- トランスポートとプロトコルの堅牢化。 現在のTCPトランスポートには認証または暗号化がなく、最初のバージョンのネイティブプロトコルを使用しています。安定したプロトコルには、明示的なワイヤフォーマット、バウンドされたメッセージ処理、タイムアウト、バージョンネゴシエーション、認証またはサポートされる外部セキュアトランスポートモデル、および明確な運用ガイダンスが必要です。
- コミットとデバイス側効果の境界の明確化。 ソース/デスティネーションのハンドオフは、ソースがコミットする前にデバイスの復元が外部から見える作業を引き起こさないように、また、失われたポストコミット確認後の避けられない不確実な結果が運用上回復可能であるように、レビューされる必要があります。
- ストレージとネットワークのハンドオフの指定。 共有ストレージは、定義された一貫性、耐久性、およびフェンシングの前提条件を持つ必要があります。ネットワークマイグレーションも、タップ/ブリッジ処理、MAC/IP移動、トラフィック収束について明確な回答が必要です。
- ツリー内テスト戦略の構築。 現在のスクリプトとテストベッドワークロードは有用ですが、アップストリームレビューには自動化された回帰カバレッジと、CPU数、メモリサイズ、サポートされるデバイス、ホストCPU、および障害ケース全体での文書化されたサポートマトリックスが必要になります。
- 作業をレビュー可能なパッチに分離する。 ダーティページトラッキング、スナップショットAPIのリファクタリング、プロトコル/レシーバーの作業、CLIの変更、およびテストは、個別にレビュー可能であるべきです。これにより、設計フィードバックがより実行可能になり、結合された変更のマージリスクが軽減されます。
次のステップ
これらの質問については、すでにSylve Discordで詳細な議論が行われています。現在の状態を公開することは、これらの議論をより具体的にし、より広範なFreeBSDおよびbhyveのフィードバックを取り込み、プロトタイプを明確なロードマップに変えることを目的としています。当面の焦点は、パフォーマンス機能を追加するのではなく、正当性、互換性検証、トランスポートの安全性、および再現可能なテストです。現在、一部の人々がそれにアクセスできるようになっており、私のgitとGitHubで少なくとも提案として公開する予定です。
- git.gyptazy.com/gyptazy/freebsd-bhyve-live-migration
- github.com/gyptazy/freebsd-bhyve-live-migration
圧縮、ゼロページエリジョン、より広範なデバイスカバレッジ、リッチなオーケストレーション、およびパフォーマンスチューニングは、基盤が健全になった後に続くことができます。bhyveを運用している方、FreeBSD仮想化に取り組んでいる方、またはSylveやBoxyBSDに興味がある方は、RFCをテストし、設計フィードバックに貢献していただけると特に価値があります。
ステータス: FreeBSD 15.1における最初の動作するbhyveライブマイグレーション実装のためのWIP RFC。