HN 日本語サマリー

← 一覧へ戻る
Web開発

5倍高速なEdge Functions: V8 IsolatesからFirecracker MicroVMsへ

5x faster Edge Functions: V8 isolates to Firecracker MicroVMs (netlify.com)

228 pointsby jbott106 コメント

要約

Netlifyは、毎日のEdge Functionsの実行数を約10億回から5倍高速化するため、インフラストラクチャを再構築しました。この変更により、リクエスト処理、ルーティング、コンピューティング容量の割り当て、コードの起動がミリ秒単位で行われるようになり、レイテンシが大幅に削減されました。新しいアーキテクチャでは、Firecracker MicroVMsが使用され、セキュリティと信頼性の向上、およびエッジでの複雑なコンピューティング実行の可能性が広がっています。

全文翻訳

5倍高速なEdge Functions:V8アイソレートからUnikraft MicroVMへ

Netlifyでは、毎日約10億件のEdge Functionsが実行されています。Sunwebによるページパーソナライゼーション、Loto-QuébecによるCookieチェックでのトラフィックルーティング、そして数万もの他のサイトでのパーソナライゼーション、ルーティング、認証など、あらゆる処理が行われています。これらはすべて、顧客のトラフィックに合わせてスケーリングするフルJavaScriptランタイム上で動作しています。

レイテンシを可能な限り低く抑えようと努める中で、これは重大な技術的課題を提示します。毎秒数万、時には数十万ものエッジ関数を処理するには、各リクエストを処理し、正しくルーティングし、コンピューティング容量を割り当て、プラットフォームコードと顧客コードの両方を起動する必要があります。これらすべてをミリ秒単位で行う必要があります。

過去数ヶ月間、私たちのチームはEdge Functionsのインフラを再構築してきました。Unikraftのチームと緊密に連携し、彼らもその経験についてブログで書いています。以前は、リクエストはホストされた実行サービスに送られていました。現在、それらは私たちのエッジネットワーク内のMicroVM上で実行されており、中央値で約5倍高速です。この移行は、セキュリティと信頼性も向上させ、エッジでの複雑なコンピューティング処理の可能性をさらに広げます。

Edge Functionsの記述方法や使用方法に変更はありません。URLインポート、npmパッケージ、Node組み込み、netlify.toml宣言、ローカル開発など、すべて以前とまったく同じように機能します。ただ、より高速で、より回復力が高くなっただけです。この記事では、新しいアーキテクチャと、低パフォーマンスオーバーヘッドで高トラフィックを処理できる新しいコンピューティングプラットフォームの構築における私たちの学びについて、さらに詳しく共有したいと思います。

まずは数字から

エッジ関数はサイトの前に配置され、それに一致するすべてのリクエストで実行されます。その実行にかかる時間は、顧客が待機する時間であるため、ここでのミリ秒は他のほとんどの場所よりも重要です。

ウォームインボケーション(コンピューティングノードへのルーティング、MicroVMへの入り込み、関数の実行、レスポンスヘッダーの生成)にかかる時間は、現在以下のようになっています。

  • 中央値(p50)で約5〜6ms。以前のインフラストラクチャでは25〜40msでした。
  • p99インボケーションで47.4%高速化。
  • 99.998% の可用性。
  • エッジ関数ログ配信が5倍高速化。

[画像: 中央値ウォームインボケーションレイテンシは、V8アイソレートでの25〜40ミリ秒から、Firecracker MicroVMでの5〜6ミリ秒に減少しました]

コールドインボケーションについても言及する価値があります。リクエストが、まだコンピューティングノードが認識していないリージョンに到着した場合、何かを実行する前に関連するイメージを取得する必要があります。これはインボケーションの約1.2%で発生し、平均して約9msかかります。

リクエスト時に何が起こるか

以下は、単一のリクエストがたどるパスです。順序は次のとおりです。エッジノードに到着し、仕様に変換され、コンピューティングノードにルーティングされ、ウォームインボケーションかコールドインボケーションかによって、すでに存在する可能性のあるMicroVMに引き渡されます。

[画像: ウォームおよびコールドのエッジ関数リクエストが、クライアントからエッジノード、コンピューティングノードを経てMicroVMインスタンスに到達する様子]

リクエストがエッジノードに到着

すべてのリクエストは、クライアントに最も近いNetlifyエッジノードに着地します。ノードはTLS接続を終端し、デプロイのエッジ関数ルートとリクエストパスを照合します。

一致するものがない場合、リクエストは通常どおりキャッシュを経てオリジンに進みます。ルートが一致した場合、ここでリクエストは私たちのネットワークを離れていました。以前のインフラストラクチャでは、インターネット経由で送信され、エッジ関数を実行し、私たちに戻ってきて渡されていました。新しいコンピューティングプラットフォームでは、リクエストは私たちのネットワーク内のコンピューティングノードに転送されます。

[画像: エッジノードがエッジ関数ルートに一致し、リクエストをコンピューティングノードに転送する様子]

エッジ関数サービスの作成

コンピューティングノードがリクエストとマシン仕様、サービスIDを受け取ると、まずそのIDを持つサービスがすでに存在するかどうかを確認します。存在する場合、リクエストをサービスに転送し、MicroVMに送信します。サービスにより、同じサイトのエッジ関数に関連付けられた複数のMicroVMを持つことができ、MicroVMのスケールイン・アウトのパラメータを設定できます。例えば、MicroVMが無限に実行されるのを防ぐために、各サービスはMicroVMがシャットダウンされる前に処理できるリクエスト数を固定数に制限するように設定しています。また、MicroVMがシャットダウンされる前に、別のMicroVMを積極的に起動するタイミングを知るためにも同じパラメータを使用します。

サイトのエッジ関数用のサービスがコンピューティングノードにまだ存在しない場合、新しいサービスが作成され、マシン仕様に必要なすべてのイメージがディスク上にあるかどうかが確認されます。不足しているイメージがあれば、エッジノードから取得してディスクに書き込まれます。このアプローチにより、そのリージョンでトラフィックを受けているエッジ関数イメージのみを取得することになります。

エッジノードが仕様を記述

リクエストがどこかに移動する前に、エッジノードは関数を実行するマシンの仕様を記述します。仕様は、ランタイム、プラットフォームイメージ、エッジ関数イメージの3つのイメージを指定します。また、CPU、メモリ、接続制限も設定します。

仕様は、すべてのリクエストとともに移動します。そのハッシュとサイト固有の情報が計算され、サービスIDになります。これにより、異なるコードや環境変数を持つ2つのデプロイは異なるサービスとなり、MicroVMを共有することはないため、分離が実現されます。

この分離は、発生させたくない障害に対して最も重要です。潜在的に侵害されたデプロイは個別のMicroVMで実行され、たとえランタイムから脱出したとしても、他の顧客やコンピューティングレイヤー自体を汚染することはできません。V8アイソレートは、その名前に関わらず、このレベルの分離を提供しません。

エッジ関数を実行するコンピューティングノードの選択

各リージョンにはコンピューティングノードのグループがあります。エッジノードは、ランデブーハッシュを使用してサービスを選択します。同じサービスは毎回同じノードに着地するため、MicroVMがウォーム状態に保たれ、読み込まれたコードがディスク上やキャッシュに残ります。このスティッキーさ(固定性)が、私たちのキャッシング戦略となります。関数へのすべてのリクエストを均等にスワーム全体に分散させると、コールドスタートのレベルが高くなります。

関数へのすべてのリクエストを同じコンピューティングノードに送信することが高速パスであることは重要ですが、それはホットスポット(1つのビジーな関数がそのボックス上の他のすべてとリソースを競合する場所)を形成する方法でもあります。リージョンのトラフィックのかなりの部分を占めるサービスが単一ノードにピン留めされると、他のサービスを犠牲にしてノードが飽和します。

私たちは、スティッキーさを緩和することでこれをバランスさせています。あるしきい値を超えると、サービスをノードのスライス全体に分散させます。これにより、同じノードにハッシュされた他のサービスに影響を与えることなく、単一顧客からのトラフィックの急増を吸収できます。

最後に、ノードが選択されると、関数のコードがプルされます。以前にその関数を提供したことがあるコンピューティングノードは、すでにそれを持っています。初めて見るノードはそれを一度取得してキャッシュするため、最初の1つのリクエストのみがそのコストを負担します。

[画像: エッジノードが、エッジ関数イメージがプルされキャッシュされるコンピューティングノードを選択する様子]

MicroVMの起動

各関数は独自のFirecracker MicroVMで実行されます。これらは1ミリ秒未満で作成され、p99で約2msで起動します。なぜなら、VMは完全なオペレーティングシステムではなく、最小限のLinux環境を起動するからです。エッジ関数のファイルは、非圧縮のEROFSイメージとしてマウントされ、その後メモリマップされるため、VMはバンドル全体をロードするのではなく、実際に使用する部分のみを読み込みます。

MicroVMが起動し、JavaScriptサーバーがポートのリスニングを開始すると、MicroVMのスナップショットを取得します。エッジ関数が呼び出されていない間、それを実行しているMicroVMはアイドル状態のままではなく、ゼロにスケールダウンします。次回呼び出されたとき、そのスナップショットから新しいMicroVMが起動します。スナップショットはメモリマップされるため、VMはスナップショット全体がメモリに読み込まれるのを待たずに実行を開始できます。

VMのライフサイクル(起動、スナップショット、復元、ゼロへのスケールダウン)は、Unikraftの製品の仕事です。私たちは、リクエスト量とトラフィックパターンに対応できることを確認するために、移行中に彼らと緊密に協力しました。

実行とレスポンス処理

このプロジェクトを数年間運営してきた経験から、パフォーマンスとデバッグ能力を最大化するために組み込んだ学びがありました。スケーリングすると、仮想スイッチのポート枯渇からDNS(驚きましたが、常にDNSが原因だったわけではありません)まで、あらゆる種類の問題に直面しました。

今回のイテレーションでは、コンピューティングノードがローカルDNSリゾルバを実行するようにしました。また、起動時間、最初のポートオープンまでの時間、ユーザーコードの開始時間などのメトリクスを拡張して収集しています。迅速なルーティングとコンピューティングノードの廃止を保証するための、いくつかのサーキットブレーカーも設置されています。

[画像: エッジ関数リクエストパスとMicroVMインスタンスを監視するサーキットブレーカー]

これが全体のパスであり、ウォームインスタンスでは約6msが追加されます。私たちのネットワークから何も離れることはなく、リクエストサイクル全体を制御下に置いています。上記のすべては、リクエストが到着してからレスポンスが返されるまでの間に行われます。

回復力のあるコンピューティングインフラストラクチャの設計

上記のようなシステムを構築する際には、エンドユーザーエクスペリエンスとロールアウトの回復力の2つのことを同時に最適化します。変更を迅速にロールアウトできる必要がありますが、同様に迅速にロールバックできる能力とのバランスを取る必要があります。

コンピューティングノードは、Unikraftが公開したベースイメージから構築され、一連のパッケージがインストールされます。これらのノードは、いくつかの理由でエッジノードとは別に構築されています。エッジノードを軽量かつ高速に保ち、コンピューティングノードに異なるインスタンスタイプを使用でき、これらのノードを独立してスケーリングできます。

コントロールプレーンは、どのコンピューティングノードが存在し、どのノードが正常であるかを追跡し、エッジノードはそれをポーリングしてリストを取得します。また、デプロイを駆動するのもコントロールプレーンです。新しいフリートが実行中のフリートの隣に立ち上がり、それに合わせてスケールし、正常であることが確認されてからトラフィックを引き継ぎます。

コンピューティングインフラストラクチャの構築には、Unikraftチームとの緊密な協力が必要でした。移行全体を通して、私たちは彼らと協力して、正確性のテスト、大量のリクエストの処理、および私たちのプラットフォーム固有の機能の構築を行いました。

ライブになりました

エッジコンピューティングアーキテクチャの再構築作業は、単なるスピードブースト以上のものです。これは、私たちが継続的に構築でき、より多くの制御を得られる、より高速な基盤です。最も良い点は、移行ステップなしで、プロジェクトに変更を加える必要もなく、すでに今日のプロダクショントラフィックを提供していることです。

コンピューティングを自社で実行することは、Edge Functionsの上限を私たちが引き上げられることを意味します。これにより、以前は不可能だった3つのことが可能になります。

  • npmパッケージサポート、ベータ版終了。 npmパッケージは現在ベータ版でEdge Functionsで動作していますが、ネイティブバイナリや実行時のファイルインポートには注意が必要です。実際のVMと実際のファイルシステムにより、これらの注意点が存在する理由のほとんどが解消されます。
  • 運用制限の見直し余地。 ドキュメント化された制限であるリクエストあたり50msのCPU、512MBのメモリ、20MBの圧縮コードは、アイソレートベースの実行モデルから来ていました。
  • 自社ネットワーク内のコンピューティング。 インターネットを介してサードパーティに到達するのではなく、ネットワークパスを制御することに依存するものはすべて、構築できるようになりました。

私たちはまだ終わっていません。以前は触れることができなかった制限や粗いエッジは、現在取り組んでいる部分ですので、続報にご期待ください。