HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

MicroVMs: 完全なライフサイクル制御を備えた隔離されたサンドボックスを実行する

MicroVMs: Run isolated sandboxes with full lifecycle control (aws.amazon.com)

369 pointsby justincormack199 コメント

要約

AWS LambdaがMicroVMsを導入し、ユーザーまたはAIが生成したコードを隔離されたステートフルな実行環境で実行できるようになりました。これにより、仮想マシンレベルの分離、ほぼ瞬時の起動と再開、環境ライフサイクルと状態の直接制御を、インフラ管理なしで実現します。これは、Firecracker技術を基盤とし、AIコーディングアシスタントやインタラクティブなコード環境など、マルチテナントアプリケーションのニーズに対応するために設計されています。

全文翻訳

完全なライフサイクル制御で分離されたサンドボックスを実行: AWS LambdaがMicroVMsを導入

[画像: Pollyによる音声]

本日、AWS Lambda MicroVMsを発表します。これはAWS Lambda内の新しいサーバーレスコンピューティングプリミティブで、ユーザーまたはAIによって生成されたコードを、分離されステートフルな実行環境で実行できます。インフラストラクチャの管理や複雑な仮想化技術の専門知識なしに、仮想マシンレベルの分離、ほぼ瞬時の起動と再開、環境ライフサイクルと状態の直接制御を実現します。Lambda MicroVMsは、月間15兆回以上のLambda関数呼び出しを支えてきた軽量仮想化技術であるFirecrackerによって駆動されています。

顧客がこれを必要とする理由

過去数年間、新しいクラスのマルチテナントアプリケーションが登場しており、これらはすべて、アプリケーション開発者が記述しなかったコードを安全に実行するための専用実行環境を各エンドユーザーに提供する必要性を共有しています。AIコーディングアシスタント、インタラクティブなコード環境、データ分析プラットフォーム、脆弱性スキャナー、ユーザー提供スクリプトを実行するゲームサーバーなどがこのパターンに当てはまります。現在この機能を構築するには、難しい選択を迫られます。仮想マシンは強力な分離を提供しますが、起動に数分かかります。コンテナは数秒で起動しますが、共有カーネルアーキテクチャのため、信頼できないコードを安全に封じ込めるには、かなりのカスタム強化が必要です。Functions as a Serviceはイベント駆動型の要求応答ワークロードに最適化されていますが、ユーザーインタラクション間で環境状態を保持する必要がある長時間実行されるインタラクティブセッションには設計されていません。そのため、開発者はパフォーマンスと分離のトレードオフを受け入れるか、または分離された実行を実現しながらエンドユーザーに低レイテンシのエクスペリエンスを提供するために、カスタム仮想化インフラストラクチャの構築と運用に多大なエンジニアリングリソースを投資する必要があります。これは、深い専門知識を必要とし、エンジニアリング時間を実際​​に構築しようとしている製品から引き離す作業となります。

Lambda MicroVMsは、まさにこのギャップを埋めるために特別に構築されました。各MicroVMは、単一のエンドユーザーまたはセッションに、迅速に起動し、セッションの長さの間メモリとディスクの状態を保持し、ユーザーが離れた際には低アイドルコストで一時停止する、独自の分離環境を提供します。同じFirecracker技術がすでにAWS Lambda Functionsの基盤となっているため、大規模でこのスタックを実行してきたサービスの運用成熟度を引き継ぐことができます。

試してみましょう

開始するために、AWS Lambdaコンソールに移動しました。そこでは、Lambda MicroVMsが左側のナビゲーションメニューに表示されるようになりました。まずMicroVMイメージを作成する必要があります。

FlaskウェブアプリケーションとそのDockerfileをzipファイルにパッケージ化し、Amazon Simple Storage Service (Amazon S3)バケットにアップロードしました。

私のFlask API – app.py

import logging

from flask import Flask, jsonify

app = Flask(__name__)
logging.basicConfig(level=logging.INFO)


@app.route("/")
def hello():
    app.logger.info("Received request to hello world endpoint")
    return jsonify(message="Hello, World!")


if __name__ == "__main__":
    app.run(host="0.0.0.0", port=5000)

私のDockerfile


FROM public.ecr.aws/lambda/microvms:al2023-minimal
RUN dnf install -y python3 python3-pip && dnf clean all

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY app.py .

EXPOSE 5000

CMD ["gunicorn", "--bind", "0.0.0.0:5000", "app:app"]

以下のコマンドを使用してMicroVMイメージを作成しました。

aws lambda-microvms create-microvm-image \
--code-artifact uri=<path/to/s3/artifact.zip> --name <VM_image_name> \
--base-image-arn arn:aws:lambda:us-east-1:aws:microvm-image:al2023-1 \
--build-role-arn <IAM role ARN>

[[画像]]

上記の画像のように、AWSコンソールでMicroVMイメージを作成することもできます。コマンドを実行すると、Lambdaはzipファイルを取得し、Dockerfileを実行し、アプリケーションを初期化し、実行中のディスクとメモリの状態のFirecrackerスナップショットを取得しました。ビルドログはAmazon CloudWatchに/aws/lambda/microvms/<image-name>の下にリアルタイムでストリーミングされ、イメージの準備が整うと、Amazon Resource Name (ARN)とバージョン番号とともにコンソールに表示されました。

aws lambda-microvms run-microvm \
--image-identifier arn:aws:lambda:<region>:<acct>:microvm-image:my-image \
--execution-role-arn arn:aws:iam::<acct>:role/MicroVMExecutionRole \
--idle-policy '{"maxIdleDurationSeconds":900,"suspendedDurationSeconds":300,"autoResumeEnabled":true}'

起動はAWSコンソールまたはCLI経由でも可能です。イメージARNと、15分間の非アクティブ後に自動一時停止し、次の着信リクエストで自動再開するように設定されたアイドルポリシーを渡しました。ネットワーク設定は不要でした。LambdaはMicroVMに一意のIDを割り当て、専用のエンドポイントURLを返し、スナップショットから再開されたため、Flaskアプリがすでに実行されている新しいMicroVMを開始しました。私のFlaskアプリは、起動が完了した瞬間にすでに実行されていました。完全に初期化され、ブートストラップされたコンピューティング環境を取得するためのAPIコールです。

[[画像]]

トラフィックを送信するために、CLIで短命の認証トークンを生成し、X-aws-proxy-authヘッダーを使用してプレーンなHTTPSリクエストに添付しました。リクエストはすぐに私のFlaskアプリに着信しました。その後、MicroVMを一時停止しきい値を超えてアイドル状態のままにしておきました。その時点でMicroVMは一時停止され、メモリとディスクの状態はスナップショット化されて保存されました。その後、別のリクエストを送信すると、アプリケーションの状態は完全に維持されたまま再開しました。クライアント側からは、一時停止は発生しませんでした。

[[画像]]

仕組み

内部的には、Lambda MicroVMsは、今日まで単一のAWSコンピューティングサービスが提供していなかった3つの機能を提供します。最初の機能は、Firecrackerから提供される仮想マシンレベルの分離です。各セッションは、共有カーネルやユーザー間の共有リソースなしに、独自の専用MicroVMで実行されるため、あるユーザーから提供された信頼できないコードは、他の環境や基盤となるシステムにアクセスすることなく、その実行環境に封じ込められます。2番目の機能は、高速な起動と再開です。モデルは「イメージしてから起動」です。DockerfileとAmazon S3のzipアーティファクトとしてパッケージ化されたコードを提供してMicroVMイメージを作成します。LambdaはDockerfileを実行し、アプリケーションを初期化し、実行中の環境のメモリとディスク状態のFirecrackerスナップショットを取得します。そのイメージから起動される後続のすべてのMicroVMは、コールドブートではなく、事前に初期化されたスナップショットから再開します。これは、起動とアイドル状態からの再開の両方がほぼ瞬時の起動レイテンシを達成することを意味します。数ギガバイトのインタラクティブセッションでも、エンドユーザーが応答性を感じるのに十分な速さでオンラインに戻ります。3番目の機能は、ステートフルな実行です。実行中のMicroVMは、ユーザーのセッション全体でメモリ、ディスク、および実行中のプロセスを保持します。アイドル期間中、MicroVMは(メモリとディスクの状態を維持したまま)一時停止され、トラフィックが到着したときに再開できます。インストールされたパッケージ、ロードされたモデル、および作業中のファイルセットは、ユーザーがセッションを再開したときにすぐに利用できます。MicroVMは最大8時間の合計実行時間をサポートし、設定可能なアイドルウィンドウ後に自動的に一時停止できるため、数分で完了するソフトウェア脆弱性スキャン、数時間実行されるデータ分析アプリケーション、および拡張されたアイドル期間を持つインタラクティブコーディングセッションなど、さまざまな製品を簡単に構築できます。Lambda MicroVMsは事前に初期化されたスナップショットから起動されるため、初期化中に一意のコンテンツを生成したり、ネットワーク接続を確立したり、一時的なデータをロードしたりするアプリケーションは、互換性のためにサービス提供のフックと統合する必要がある場合があります。

Lambda MicroVMsはAWS Lambda内の新しいリソースであり、独自のAPIサーフェスを持っています。Lambda Functionsは、イベント駆動型の要求応答ワークロードに引き続き適しており、Lambda MicroVMsは、各エンドユーザーまたはセッションに信頼できないコードを分離して実行するための環境を提供するマルチテナントアプリケーションのために特別に構築されています。両者は互いを補完します。イベント駆動型のバックボーンとしてLambda Functionsを使用するアプリケーションは、信頼できないコードを分離して実行する必要があるステップのためにLambda MicroVMsを呼び出すことができます。アプリケーションはあなたが提供し、サービスが実行環境を提供します。

現在利用可能

AWS Lambda MicroVMsは、ARM64アーキテクチャで、米国東部(バージニア北部、オハイオ)、米国西部(オレゴン)、ヨーロッパ(アイルランド)、アジア太平洋(東京)の各リージョンで本日より利用可能です。MicroVMあたり最大16 vCPU、32 GBのメモリ、32 GBのディスクを備えています。アイドル状態のMicroVMは、API呼び出しを通じて明示的に、またはライフサイクルポリシーを通じて自動的に一時停止でき、状態を完全に維持して高速な再開を可能にしながら、実行コストを削減します。料金の詳細については、AWS Lambda料金ページをご覧ください。

開始するには、AWS Lambdaコンソールにアクセスするか、Lambda MicroVMs製品ページで詳細をご確認ください。ドキュメントについては、Lambda MicroVMs開発者ガイドをご覧ください。