HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

100万の同時実行サンドボックスを数秒でスケーリングする

Scaling to 1M concurrent sandboxes in seconds (modal.com)

15 pointsby thundergolfer1 コメント

要約

Modalは、数百万のサンドボックスを毎秒数万のレートで作成・実行できる、新世代のサンドボックスプラットフォームを発表しました。このプラットフォームは、従来のKubernetesのような中央集権的なボトルネックを排除し、各ワーカーが自身の状態を管理する分散アーキテクチャを採用することで、無限のスケーラビリティを実現しています。

全文翻訳

100万の同時実行サンドボックスを数秒でスケーリングする

Modalでは、サンドボックスなどを構築しています。エージェントはサンドボックス内で実行され、エージェントはソフトウェアを食い尽くしています。現在、Modalは1日に数百万のサンドボックスを実行し、顧客あたり最大5万の同時実行サンドボックスをサポートし、強化学習からバックグラウンドエージェントまで、さまざまなユースケースを大規模にサポートしています。

ますます多くのユーザーが、より高いレートで作成される、より多くのサンドボックスを必要としています。強化学習では、数百万のサンドボックスを同時に実行する必要があり、ロールアウト開始時に数十万のサンドボックスのバーストを作成する必要があります。同様に、エージェントはトラフィックのバーストに対処するために、ますます大規模なスケールと高い同時作成レートを必要としています。

既存のサンドボックスプラットフォームは非常に優れていますが、これらのスケール向けには設計されていませんでした。他の既存のソリューションも同様です。私たちはスケールとパフォーマンスに執着しており、インフラストラクチャがエージェントの成長を加速させ、摩擦を加えないようにしたいと考えています。そこで、私たちは設計図に戻りました。

過去数ヶ月間、私たちはスケールと信頼性の両方を考慮して、コアサンドボックスプラットフォームをゼロから再構築しました。新しいシステムでは、ユーザーは数百万のサンドボックスを同時に実行でき、毎秒数万のサンドボックスを作成できます。コントロールプレーンからすべての中央ボトルネックを削除したため、実質的なスケーリング制限はなく、コンテナのスケジューリングと起動のすべての部分を最適化し、スケジューリングパスをワーカーフリートに直接コンテナを作成するロードバランサーのレイヤーに単純化しました。

私たちのプラットフォームが何を実行できるかのデモンストレーションとして、100万のサンドボックスを同時に実行し、1分未満ですべての100万を作成しました。

[画像: 大量のサンドボックスを実行できる証拠。]

大量のサンドボックスを実行できる証拠。

ほとんどのソリューションがスケーリングしない理由

100万のサンドボックスを実行することは、コンテナの絶対数だけでなく、これほど多くのサンドボックスを実行するには数万のコンピューティングノードが必要になるため、あらゆるコンテナプラットフォームの限界を押し広げます。コンテナ数に比例する、ノード数に比例する、またはその両方となる多くの操作があり、従来のコンテナプラットフォームはスケーリングの限界に達します。

Kubernetesを例にとると:

  • スケジューリングアルゴリズムは、最悪の場合、nノードとpポッドに対してO(n x p)であり、スケジューリングはデフォルトでシリアル化されます。
  • 各ポッドは、そのライフサイクル中にetcd(Kubernetesの中央永続ストア)に複数の書き込みを発生させ、これは高いポッド作成レートまたは高いポッドチャーン(入れ替わり)の下で深刻な問題を引き起こす可能性があり、etcdはキー空間内でネイティブにシャーディングできません。
  • 各ノードは、ハートビート間隔ごとに少なくとも1回はetcdに書き込みを行い、ライブネス(稼働状態)を示す必要があります。そのため、ベースラインのetcd書き込み負荷は、ポッド作成とは無関係にO(ノード)になります。

[画像: Kubernetesスケジューリングフローの近似。新しいポッドは、APIサーバーによってetcd(強く整合性の取れた永続ストア)に書き込まれます。Kubernetesスケジューラは、新しい割り当てられていないポッドを監視し、APIサーバーへの呼び出しを通じてノードに割り当てます。この呼び出しは再びetcdに書き込まれます。この書き込みが完了した後、ノードはポッドを開始できます。]

Kubernetesスケジューリングフローの近似。新しいポッドは、APIサーバーによってetcd(強く整合性の取れた永続ストア)に書き込まれます。Kubernetesスケジューラは、新しい割り当てられていないポッドを監視し、APIサーバーへの呼び出しを通じてノードに割り当てます。この呼び出しは再びetcdに書き込まれます。この書き込みが完了した後、ノードはポッドを開始できます。

Kubernetesはスケーリング可能ですが、かなりの作業が必要です。多数のノードを実行するには、etcdは一般的に書き直されるか置き換えられる必要があります。高いスケジューリングスループットをサポートするには、スケジューリングアルゴリズムを並列化しつつ、ポッドの状態に対する単一の真実の情報源を維持するための複雑な散布・収集システムを構築する必要があります。Kubernetesは設計のバックボーンとして強い整合性に依存しているため、シャーディングと並列化はデフォルトでは簡単ではありません。

Modalの元のサンドボックスアーキテクチャにも同様の問題がありました。Kubernetesと同様に、バックエンド全体で強い整合性に依存しているため、サンドボックスの作成とスケジューリングにはグローバルな調整が必要であり、PostgresへのO(サンドボックス)書き込みが発生します。これは簡単にシャーディングできません。

[画像: Modalの元のサンドボックスコントロールプレーンアーキテクチャ。サンドボックスが作成されると、キューに入れられ、Postgresに書き込まれます。スケジューリングは楽観的で並列実行されますが、競合を避けるために中央の調整が必要です。ワーカー(コンピューティングノード)にサンドボックスを割り当てるには、Postgresへの追加の書き込みが必要です。]

Modalの元のサンドボックスコントロールプレーンアーキテクチャ。サンドボックスが作成されると、キューに入れられ、Postgresに書き込まれます。スケジューリングは楽観的で並列実行されますが、競合を避けるために中央の調整が必要です。ワーカー(コンピューティングノード)にサンドボックスを割り当てるには、Postgresへの追加の書き込みが必要です。

Kubernetes上に構築していないため、このシステムの多くの部分をスケールアウトできました。例えば、スケジューリングはデフォルトで並列化されており、非常に高いバーストサンドボックス作成レートを達成できます。しかし、ノード数とサンドボックス数がますます大きくなるにつれて、スケールアウトが容易ではないO(サンドボックス)またはO(ノード)の操作から生じる新しいボトルネックに継続的に遭遇しました。

例えば、完了した各サンドボックスに対して永続的なワークフローを実行しているため、高いサンドボックスチャーンレートは大量のイベントバックログを作成します。O(サンドボックス)レートで呼び出されるRPCに繰り返し遭遇し、システム全体で予期しない負荷の問題を引き起こしました。また、多数のサンドボックスを実行するために必要なノードの絶対数は、ノード管理とオートスケーリングにおける複数の下流問題を引き起こしました。最後に、回避策はありましたが、すべてのサンドボックス作成とスケジューリングのクリティカルパスにシャーディングされていないPostgresインスタンスを残しておくのは悪い考えであることが証明されました。

無限のスケールを解き放つ

私たちが望むスケールを達成するには、アーキテクチャを一から再考する必要があることをすぐに理解しました。数百万のサンドボックスを実行し、毎秒数万のサンドボックスを作成したいと考えており、これは既存のどのシステムよりもはるかに優れたスケーリングプロパティを必要とします。既存のものを進化させようとするのではなく、最も迅速でクリーンな道はゼロから始めることだと信じていました。

スケールを最適化するために、O(サンドボックス)またはO(ノード)の負荷がかかるすべてはデフォルトで水平スケーラブルでなければならず、サンドボックス作成パスは可能な限りシンプルでなければならず、それ以外はすべて二次的であると決定しました。私たちがたどり着いた解決策は、既存のシステムとは著しく異なります。中央集権的な調整を完全に廃止し、グローバルな整合性をサンドボックスの実行と作成のクリティカルパス全体のスケーラビリティとパフォーマンスにトレードオフしました。仕組みは次のとおりです。

  • 単一のシリアル化されたスケジューラではなく、サンドボックス作成リクエストを並行して処理するスケジューリングサーバーのフリートを実行します。作成リクエストを処理するために、スケジューリングサーバーはインメモリキャッシュデータに対して高速なスケジューリングアルゴリズムを実行します。結果として、スケジューリングは水平にスケーリングし、従来のコンテナスケジューリングよりもロードバランシングに似ています。
  • ほとんどのコンテナプラットフォームが機能する方法である、サンドボックスとワーカーの状態の真実の情報源として機能する中央の永続データストアではなく、新しいシステムの各ワーカーはそれ自身の真実の情報源です。ワーカーは定期的にRedisストリームに状態を発行します。スケジューリングサーバーは、この状態を非同期に消費し、スケジューリングの決定に使用します。スケジューリングサーバーがどのワーカーにサンドボックスを作成するかを決定すると、RPCを介してワーカーに直接連絡してサンドボックスの作成を要求します。ワーカーは、利用可能なリソースがあればスケジューリングリクエストを受け入れ、そうでなければ拒否します。
  • サンドボックス作成のクリティカルパスにはデータストアは一切ありません。これにより、スケーラビリティと信頼性が向上します。サンドボックスのメタデータと結果を永続ストレージに書き込む必要はありますが、それは主に非同期で行います。
  • サンドボックス作成以外のRPCはO(サンドボックス)ではありません。ワーカーは、データ指向設計のアイデアの精神に則り、複数のサンドボックスの制御メッセージを単一のRPCにまとめてバッチ処理します。

[画像: 私たちの最終的な設計、最初にホワイトボードに描いたもの。]

私たちの最終的な設計、最初にホワイトボードに描いたもの。

[画像: Modal v2サンドボックスアーキテクチャにおけるサンドボックス作成パス。サンドボックス作成リクエストは、水平にスケーリングされたスケジューリングサーバーによって処理され、次に高速なインメモリロードバランシングアルゴリズムを持つワーカーを選択し、サンドボックスを作成するためにワーカー(コンピューティングノード)に直接連絡します。サンドボックスオブジェクトはRedisに保存されますが、クリティカルパスにはありません。]

Modal v2サンドボックスアーキテクチャにおけるサンドボックス作成パス。サンドボックス作成リクエストは、水平にスケーリングされたスケジューリングサーバーによって処理され、次に高速なインメモリロードバランシングアルゴリズムを持つワーカーを選択し、サンドボックスを作成するためにワーカー(コンピューティングノード)に直接連絡します。サンドボックスオブジェクトはRedisに保存されますが、クリティカルパスにはありません。

結果として、サンドボックス作成パスはわずか2回のネットワークホップと1回の安価なCPU操作しか必要としません。中央のボトルネックや調整コスト、単一障害点はなく、したがって集計サンドボックススケールやサンドボックス作成スループットに実質的な上限はありません。必要に応じて、スケジューラやワーカーを追加できます。最も差し迫ったボトルネックは、すべてのワーカーが単一のRedisストリームに状態を発行することですが、ロードテストではこれは100,000を超えるワーカーでも有効であることが示唆されています。また、ストリームでの順序に依存しないため、ストリームを増やすのは簡単です。設計により、既存のソリューションがスケーリングできない問題を回避しています。

このソリューションの構築は容易ではありませんでした!開発プロセス全体で数ヶ月の作業がかかり、バックエンドの主要なシステムのほとんどに及びました。ホワイトボードで何時間も過ごしました。4人でマイアミビーチのレンタルハウスに集まり、邪魔されずに新しいシステムのプロトタイプを作成しました。8日間、物理的に無理になるまでコーディングし、スピードチェスで回復し、海に飛び込み、そしてすぐにコーディングに戻り、新しいシステムをクリーンで機能的にするために奮闘しました。

[画像: マイアミビーチでリラックスする私たちの最高のエンジニア。]

マイアミビーチでリラックスする私たちの最高のエンジニア。

コアコンポーネントが機能するようになり(そしてニューヨークに戻った後)、新しいシステムの上にすべてのサンドボックス機能とすべてのサンドボックスオブザーバビリティを再実装する必要もありました。このプロジェクトは、コアワーカー管理スタックとコンテナランタイムにも変更を必要としました。例えば、遭遇した興味深い問題の1つは、新しいサンドボックススケジューラがワーカーにコンテナを非常に速くプッシュできるため、同時に多数のコンテナが起動すると、コンテナネットワーキングルールを設定する際にLinuxカーネルのrtnlロックで競合し、起動に数十秒かかることがあったため、ワーカーがサンドボックス作成の洪水でクラッシュしないように、サンドボックスのコンテナネットワーキング設定を変更する必要があったことです。

パフォーマンスの比較

100万のサンドボックスを可能な限り速く起動してシステムをベンチマークしました。大まかに言うと、1分未満で100万のサンドボックスを作成でき、主なボトルネックはベンチマーク自体です。個々のサンドボックスの起動時間(time-to-interactivity)は一貫して低く、スケールによる顕著な低下は見られません。

[画像: サンドボックス作成リクエストの分布とeCDF。サンドボックス作成リクエストは、スケジューリングサーバーがサンドボックスをワーカーに正常に割り当て、起動を開始したときに返されます。]

サンドボックス作成リクエストの分布とeCDF。サンドボックス作成リクエストは、スケジューリングサーバーがサンドボックスをワーカーに正常に割り当て、起動を開始したときに返されます。

この設計を考えると、これは予想されることです。スケジューリングパスには調整がないため、スケジューリングは並行性やスケールに関係なく非常に高速であるはずです。私たちの見解では、利用可能な容量以外の同時サンドボックススケジューリングやスケールに対する深刻な制限はなく、容量管理はすでにうまくやっていることです。

[画像: 100万サンドボックステストからの1万サンドボックスの起動時間の散布図。100万サンドボックスからランダムに選択。]

100万サンドボックステストからの1万サンドボックスの起動時間の散布図。100万サンドボックスからランダムに選択。

新しいシステムでのサンドボックス起動時間(クライアントが最初にサンドボックス作成を試みてから、サンドボックスがユーザーコードを実行できるようになるまでのレイテンシ)は、中央値で0.5秒未満であり、スケールでも安定しています。また、スケジューリングがはるかに高速になったため、以前のシステムよりも大幅に高速です。現在、わずか数十ミリ秒しかかかりません。レイテンシのロングテールは、望むよりもやや長いです。このテールは、多数のサンドボックスが同じワーカーで同時に起動する際のカーネルとネットワークの競合(前述のrtnlロック競合を含む)に起因すると考えており、削減に取り組んでいます。また、スケールでのテールは現実です。コンテナ起動パスを最適化するにつれて、これが改善されると予想しています。

全体として、これらのパフォーマンス数値には非常に満足しています。エージェントが世界を支配するにつれて、私たちは明らかにそれらと共にスケーリングできます。

ご自身で確認してください

この新しいシステムは、まもなくModalのすべてのサンドボックススケジューリングのバックエンドになりますが、すでにベータ版で利用可能です。コードの簡単な変更でオプトインできます。大量のサンドボックスを実行する必要がある場合は、ぜひ試して、私たちに話しかけてください!

謝辞

多くの人々がこのプロジェクトに血と汗と涙を捧げました。マイアミのPOCは、Colin Weld(私)、Daniel Shaar、Walter Tang、Gleb Posobinによって構築され、その後Walter、Colin、Connor Adams、Akshay Balwally、Tom Wildenhain、Scott Hao、Taylor Baldwinによって本番稼働されました。