HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

マシンは起動するが、応答が消えるとき

When the machine boots but the reply disappears (mainbrella.com)

4 pointsby cs19961 コメント

要約

この記事は、クラウドインフラストラクチャにおける、リクエストがサーバーに到達したかのように見えても応答が返ってこないという問題について解説しています。これは、リソースの競合やネットワークの問題、あるいは非同期処理の複雑さに起因する可能性があります。Mainbrellaでは、Cloudflare Durable Objectsを活用して、リソースの予約、起動、および状態管理を原子的に行うことで、このような問題に対処しています。

全文翻訳

マシンは起動しても、応答が消えるとき

← エンジニアリングブログ

2026年10月7日 · Mainbrella Engineering

作成リクエストがタイムアウトしました。クライアントには応答がありませんが、Linuxマシンはすでに起動している可能性があります。新しいリクエストで再試行すると、2台分の料金を支払うことになるかもしれません。諦めると、作業中のマシンを放棄することになるかもしれません。どちらも優れた復旧戦略ではありません。

Mainbrellaは、マシンを起動する前に作成レシートを保存します。再試行で最初の試行を見つけることができます。同じ考え方は、コマンドや保存されたディスクの復旧にも役立ちますが、レシートはサーバーが記録できなかった応答を復旧することはできません。

[画像: 困惑したエンジニアが「起動した?」と尋ねる。目を覚ましたサーバーが「応答は届きましたか?」と尋ねる。その間、応答は壊れた接続から抜け落ちる。]

別のコンテナからデータを読み込み、metrics.csv を書き込むPythonジョブを考えます。スクリプトを analysis.py、そのスロットを c17 と呼びます。この例は、2026年10月7日版のバックエンドに従っています。APIリファレンスとエージェントワークフローは、リクエストフォーマットをカバーしています。

起動前にスロットを予約する

そのジョブを実行するには、まずアカウントがスロットを取得する必要があります。スロットが1つだけ残っている状態で2つのリクエストが到着したとします。両方が「1つ利用可能」を読み取り、起動し、後でカウンターを更新した場合、両方が成功します。支払いを開始した後に競合を発見するのは遅すぎます。

各アカウントには、永続ストレージを持つコーディネーターであるCloudflare Durable Objectがあります。これはスロット、月ごとの開始回数、およびコンピューティング割り当てを予約します。個別のランタイムコントローラーが各スロットのマシンを管理します。

コーディネーターはリクエストを一度に1つずつ受け入れ、起動を要求する前に各予約を保存します。したがって、次に来るリクエストは、占有されたスロットを見ることになります。container-account-core.jsのキューは、決定がawaitで一時停止した場合でも、その順序を維持します。

予約が保存されたら、ロックを解放します。Linuxの準備ができるまでロックを保持すると、すべてマシンが前の起動を待つことになり、バッチ処理を開始するには悲惨な方法となります。図は、順序付けされた予約後の重複する起動を示しています。これらの間隔は起動時間ではありません。

[画像: アカウントが3つの予約を順にコミットする。各コミットは個別のランタイムの起動を開始するため、起動間隔は重複する。]

Admission testは、6つのリクエストがBuilderアカウントの5つのスロットを競合する間、準備完了チェックを意図的に開いたままにします。5台のマシンが起動を開始し、6台目は競合します。コーディネーターがアカウントがいっぱいであることを知るために、何も起動を完了する必要はありません。

コーディネーターは、APIキーまたはログインセッションからアカウントIDを取得します。呼び出し元は、x-mainbrella-userヘッダーを提供することで、他人のアカウントを選択することはできません。Auth adapterは、internal request builderがリクエストを転送する前に、所有権を確立します。

レシートを先に書く

クライアントはPOST /containersと共にIdempotency-Keyを含め、リクエストを送信する前にそれを保存します。そのキーを再利用すると、同じ試行について問い合わせることになります。異なるイメージ、サイズ、またはその他の記録された構成でそれを再利用すると、競合が発生します。新しいキーは、リクエストの残りの部分が同じように見えても、新しい開始を要求します。

リトライごとに新しいキーを使用する

  1. キーAで作成リクエストを送信します。マシンが起動しますが、応答が失われます。
  2. キーBで同じ構成を再試行します。

キーBは新しい開始を要求します。容量があれば、2台のマシンができます。

元の試行のためにキーを保持する

  1. キーAで作成リクエストを送信します。マシンが起動しますが、応答が失われます。
  2. キーAで同じ構成を再試行します。

保存されたレシートは、元の開始を指します。2回目の起動はありません。

アカウントは、スロット予約と、予約番号と構成フィンガープリントを含むレシートを準備します。それらを一緒にコミットしてから起動をディスパッチします。container-account-core.jsでは、その書き込みは次のようになります。

await this.ctx.storage.put({
  [KEY]: state,
  [CREATION_PREFIX + idempotencyKey]:
    creation,
});

書き込みはアトミックです。予約のみを保存すると、再試行で見つけられないスロットに対して課金される可能性があります。レシートのみを保存すると、予約していないスロットを指す可能性があります。両方が保存されてから、起動を開始できます。

ここで応答が失われた場合、同じキーでの再試行は保存されたレシートを見つけます。90秒の保留期間中にstartingと報告される場合があります。その後、コーディネーターはランタイムをチェックし、マシンが実行中であればそれを返します。最初の応答が欠落しているという理由だけで、別の起動を送信することはありません。

レシートは24時間有効です。保持されたキーは、マシンが停止したか、スロットが再利用された場合、creation_no_longer_runningを返します。交換が必要な場合は、新しいキーを使用してください。タイムアウトによって推測が残らないように、元のキーとリクエストを一緒に保持してください。

「実行中」とは、ゲストがコマンドを実行できることを意味します。Runtimeは、sleep infinityで選択されたイメージを起動し、uname -aが60秒以内に成功するようにします。Pythonジョブは、依存関係をインストールし、独自のチェックに合格する必要があります。

古いリクエストが新しいマシンと出会う

次に、起動リクエスト自体が遅延したとします。その予約はキャンセルされ、c17は解放され、代替がスロットを引き継ぎます。その後、古い起動リクエストが到着します。スロット名は有効ですが、リクエストはそこで何かを開始する権限がありません。

受け入れられた各起動に番号を付けます。ランタイムは、受け入れた最新の起動と最新のキャンセルを記憶し、それらのいずれよりも新しくない起動を拒否します。破棄するゲストがいない場合でも、キャンセルを記録します。そうしないと、キャンセルされた起動が遅れて到着し、マシンを元に戻す可能性があります。

[画像: 起動41が遅延する。キャンセル41が到着し、次に起動42が代替を開始する。起動41が最終的に到着したとき、ランタイムはそれを拒否する。遅延したキャンセル41もマシン42を実行させたままにする。]

同じチェックがクリーンアップを保護します。遅延した「停止41」は、マシン42を実行させたままにする必要があります。RuntimeのDELETEパスは、新しいゲストを破棄せずにそのキャンセルを記録します。アカウントは、古い起動の応答が代替の保留中の予約をクリアすることも拒否します。

公開コマンドとファイルリクエストは{ id, createdAt }を運びます。IDは再利用可能なスロットを名前付けし、タイムスタンプはそれを特定のマシンを識別します。私たちはcreatedAtをmax(now, previousCreatedAt + 1)として計算し、2つの起動が1ミリ秒以内に発生した場合やクロックが逆方向に動いた場合でも、IDを区別し続けます。

両方の値を保持してください。「c17をクリーンアップする」は、c17に別の占有者がいる場合、危険な指示です。私たちの回帰テストは、クロックを進めることなく、古い起動リクエストを解放する前にスロットを再利用します。hello-world起動は、その失敗について何も教えてくれません。

コンピューティングも予約する

予約されたスロットには、予約されたランタイムも必要です。そうでなければ、5台のマシンが同じ残りの割り当てを見て、すべてを使い果たす可能性があります。アカウントは起動前にコンピューティングを予約し、マシンが停止したときに使用状況を精算します。

plan-policy.jsの重みは、Liteで1コンピューティングユニット、Mediumで10、XLで28です。Mediumを1時間予約して5分後に停止すると、予約の大部分が戻ってきます。表は、コンピューティングユニット時間(3桁の小数点まで丸められる)を使用しています。

1時間予約。5分使用。

予約済み: 10ユニット × 1時間10.000
使用済み: 10ユニット × 5/60時間0.833
確認済みの停止後に返却9.167

マシンに到達できない場合、まだ実行中である可能性があるため、予約を保持します。受け入れられた起動は、失敗した場合でも月ごとの開始回数を消費します。ランタイムの精算は開始回数を返金しません。

ランタイムはコンピューティングユニットミリ秒で追跡されます。ハードデッドラインは、以下のいずれか早い方です。

  • プランのセッション制限の終了
  • 有料アクセス期限切れ
  • 次のUTC月境界
  • 予約されたコンピューティングが枯渇する時間

アイドル状態のデッドラインは、マシンをより早く停止させる可能性があります。作業を行うと、そのデッドラインがハードデッドラインまで延長されます。ステータスをポーリングしても延長されません。Durable Objectアラームは、クライアントが消えた後の期限切れを強制します。プランの変更は既存のリースを短縮する可能性がありますが、元のハードデッドラインを延長することはできません。

請求情報の検索に失敗しても、マシンの停止を防ぐべきではありません。DELETEは、新しい請求情報の解決を必要とせずに所有権をチェックし、クリーンアップは有効な間、保存された権利を使用できます。その他のチェックについては、最新の権利観測を保持し、支払いが行われていない結果がタイを制するようにします。遅延した支払い済みの結果が取り消しを元に戻すことはありません。

切断を介してジョブを実行する

マシンが実行されたら、analysis.pyを起動できます。フォアグラウンドコマンドには60秒の制限があります。より長い分析、または切断後に必要となる結果については、独自の冪等性キーとマシンの正確な{ id, createdAt }ペアを持つ管理された実行を作成します。

2分間のPOST /containers/executionsリクエストのボディは次のようになります。

{
  "argv": [
    "python3",
    "/workspace/analysis.py"
  ],
  "timeoutMs": 120000
}

認証済みリクエスト全体

// machine は、実行中のゲストに対して返された正確な { id, createdAt } です。
// executionKey とこのリクエストを送信前に保存してください。
const query = new URLSearchParams(machine);
const response = await fetch(`${apiOrigin}/containers/executions?${query}`, {
  method: 'POST',
  headers: {
    Authorization: `Bearer ${apiKey}`,
    'Content-Type': 'application/json',
    'Idempotency-Key': executionKey,
  },
  body: JSON.stringify({
    argv: ['python3', '/workspace/analysis.py'],
    timeoutMs: 120_000,
  }),
});
if (!response.ok) throw new Error(`Execution HTTP ${response.status}`);
const execution = await response.json(); // Save execution.id.

argvは、シェルコマンドを構築せずにリテラル引数を渡します。プロセスを開始する前にexecutions.jsで実行レコードを保存するため、再試行で同じジョブを回復できます。作成応答の喪失や出力ストリームのクローズは、実行中のままにします。キャンセルは明示的です。

出力イベントには、増加するシーケンス番号が付けられます。クライアントは、最後に処理したシーケンスをcursorとして再接続し、欠落していたものを読み取ります。ストリームは30秒続くため、再接続は正常です。ジョブは、要求されたタイムアウトとマシンの残りのリースに応じて、最大15分間実行できます。図は、そのような切断を介したジョブを追跡しています。

[画像: ジョブは、最初の出力接続が閉じている間も実行を続けます。ギャップ中にイベントが保存されます。新しい接続は、最後の処理済みイベントのカーソルを使用して再開されます。]

ランタイムは、Admissionから1時間まで最大32の実行を保持します。ジョブは、フォアグラウンドコマンドとファイル転送と4つの操作の同時実行制限を共有します。出力は1 MiBと有限のイベント数に制限されています。制限に達するとジョブが停止し、切り捨てられたとマークされます。結果を受け入れる前に、最終ステータス、終了コード、タイムアウト、および切り捨てフラグを確認してください。行の途中でカットされたCSVは、依然として失敗した分析です。

ランタイムコントローラーの再起動は、回復がより困難です。レコードは残りますが、プロセスハンドルは残りません。回復は、未完了のジョブをinterruptedとマークし、それらがまだ現在の世代である場合はゲストを破棄します。追跡方法なしで実行中のプロセスを残すことはありませんし、静かに再度実行することもありません。

その決定により、保存されていないCSVが失われる可能性があります。請求書を送信するコマンドを自動的に再実行すると、さらに大きな損害が発生する可能性があります。呼び出し元は、ジョブを安全に繰り返せるかどうかを決定する必要があります。

サービス名はネットワークに属する

私たちのPythonジョブはhttp://data.internal/shards/westを読み取ります。それを機能させるために、その世代をdataという名前のマシンとポート8080でサービスを提供するプライベートサービスネットワークに登録します。呼び出し元はメンバーシップを必要としますが、独自のリスニングポートは必要ありません。

ランタイムは、リクエストがどのアカウントとネットワークに属するかを決定します。Outbound interceptorは、予約されたIDヘッダーを削除し、信頼された構成からアカウント、スロット、および世代を提供します。ゲストコードは、ヘッダーを偽造して顧客を切り替えることはできません。

Service registryは、ソース世代のネットワークでdataを解決します。他アカウントやネットワークもその名前を再利用できます。ポート8080を開く前に、宛先はそれがサービスに登録された世代であることを確認します。

データサービスが応答している間にメンバーシップが変更される可能性があります。バウンドされた応答をバッファリングし、再度チェックしてから解放します。アカウントも呼び出し元と両方のメンバーシップを再チェックします。リクエスト中にサービスがデタッチまたは置き換えられた場合、古い認証は応答を通過させることはできません。

その応答を拒否しても、アプリケーションが既に行ったことを元に戻すことはできません。不変のシャードの読み取りは再試行が容易です。支払いまたはタスクキューリクエストにはアプリケーション操作IDが必要です。なぜなら、サービスはルーティングが応答を拒否する前にその変更をコミットした可能性があるからです。

このルーティングは、1 MiBのボディと10秒のタイムアウトを持つHTTPをサポートします。WebSocketや任意のTCPは転送しないため、PostgreSQLホスト名に.internalを追加しても機能しません。デプロイメントの有効化とGET /capabilitiesを確認してから使用してください。

CSVを持ち帰る

ジョブが/workspace/metrics.csvを書き込んだら、マシンの世代を運ぶファイルリクエストでダウンロードできます。そのエンドポイントは最大1 MiBの生バイトを転送します。stdout経由でファイルを強制し、それが切り捨てられていないことを期待する理由はありません。

files.jsのアップロードは、ターゲットの既存の親ディレクトリに一時ファイルを書き込み、その後ターゲットの上に名前を変更します。リーダーは古いファイルまたは完了した新しいファイルを見ます。パスは、補間されたシェルテキストではなく、位置引数です。書き込みはシンボリックリンクターゲットを拒否します。読み取りは、所有するゲスト内のリンクをたどることができます。

CSVの行を入力と比較し、マシンを破棄する前にコピーアウトします。環境も保持したい場合は、保存されたワークスペースが必要です。

保存されたディスクの復旧

ディスクの保存とマシンの停止には、アカウントコーディネーター、ランタイム、およびキャプチャを実行するプロバイダーが含まれます。すべてを一度にコミットするトランザクションはありません。

アカウントは保存容量を予約し、操作を記録します。ランタイムは独自のレシートを保存し、snapshotContainer()を呼び出し、返されたプロバイダーハンドルをレシートに書き込みます。そのハンドルは、ディスクを復元するために必要なアドレスです。アカウントがそれをワークスペースレコードにコピーしたら、stop: trueでソースを破棄できます。

ランタイムがハンドルを保存してからアカウントへの応答を失った場合、再試行でキャプチャをレシートから回復できます。しかし、プロバイダーがキャプチャを受け入れ、ランタイムがハンドルを保存する前に再起動した場合、復元するためのアドレスがありません。ディスクを保存しようとしたことはわかっています。回復可能なワークスペースがあるとは主張できません。

[画像: 両方のスナップショット試行には保存されたレシートがあります。保存されたプロバイダーアドレスがあれば、再試行で保存が完了します。アドレスがない場合、回復は未解決のまま、キャプチャは繰り返されず、保存パスはソースをそのまま保持します。]

その未解決の場合、workspaces.jsはworkspace_save_unavailableを返し、キャプチャの繰り返しを拒否します。保存パスはソースをそのまま保持しますが、そのリースは引き続き適用されます。新しいキーは新しいキャプチャを要求します。失われたものを回復するものではありません。

キャプチャ前にソースサイズのディスク容量全体を予約します。ワークスペースを削除すると、ライブワークスペースクォータは解放されますが、履歴キャプチャ予算は返金されません。プロバイダーが応答を回復できない場合でも、キャプチャを実行している可能性があるため、あいまいな失敗をすべて無料と見なすと、無制限の再試行が可能になります。

準備完了ワークスペースの復元は、新しい開始を消費し、新しい世代を取得します。保存されたサイズとインターネットポリシーを保持し、一致するイメージダイジェストが必要です。互換性のないイメージまたは失敗したプロバイダーの復元は、エラーを生成します。正常な復元として空のマシンを返すのは、ひどい驚きでしょう。

ワークスペースにはファイルシステムの状態が含まれています。RAM、実行中のプロセス、プレビュー、プライベートサービスメンバーシップは再構築する必要があります。私たちのスクリプトはファイルに保存された進捗を必要とします。復元されたサービスは再度開始して登録する必要があります。キャプチャ前にライターを静かにすることも必要です。すべてのバイトを忠実に保存しても、半完成したアプリケーションの書き込みは一貫しません。

厄介なケースを試す

ライフサイクルのテストで厄介なタイミングを再現できます。これらはシミュレートされたプロバイダー状態を使用するため、ライブ接続を壊そうとせずに応答を保留できます。バックエンドのチェックアウトから、次を実行します。

node --test containers/container-account.test.mjs \
  containers/user-container.test.mjs \
  containers/workspaces.test.mjs \
  containers/private-services.test.mjs

まず、「停止してスロットを再利用すると、同じミリ秒でも遅延したディスパッチをフェンスする」から始めます。これは、スロットに新しい占有者がいる後に遅延したリクエストを解放します。次に、ワークスペーステストのlost snapshot response reconciles receipt without recaptureとuncertain capture cannot be repeatedを比較します。最初のものには回復するための保存された応答があります。2番目のものはソースを実行させたままにし、知らないことを認めなければなりません。