HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

高速な書き込みはすべて、どこかに処理を移動させる

Every fast write moves work somewhere else (shayon.dev)

52 pointsby shayonj19 コメント

要約

ストレージエンジンの書き込み成功の定義は、レイテンシと耐久性のトレードオフを伴います。メモリへの書き込み直後に成功を返すと高速ですが、クラッシュでデータが失われる可能性があります。ローカルSSDへの書き込みはプロセスやカーネルのクラッシュに耐えますが、ディスクやホストの喪失には弱いです。リモートストレージや複数のサーバーに保存することで耐久性は向上しますが、ネットワーク遅延が追加されます。高速な操作の数値を見る際には、そのコストがどこで発生し、何が失われる可能性があり、システムがどの程度の未完了のクリーンアップを許容できるかを理解することが重要です。

全文翻訳

高速な書き込みはすべて、どこかに作業を移動させる

すべてのストレージエンジンは、クライアントに書き込みが成功したと伝える前に、何が完了している必要があるかを決定しなければなりません。最も迅速な答えは、バイトをメモリにコピーした後すぐに返すことです。ローカルでの耐久性のある書き込みは、データベースホスト上のSSDで fdatasync() が完了するのを待ちます。そのホストが消失した後も書き込みを保持するには、ネットワークボリューム、オブジェクトストレージ、または複数のデータベースサーバーが自身のコピーを保存するのを待つ必要があります。

これらの選択は、レイテンシと耐久性を一体として移動させます。メモリへのコピー後に返せば高速ですが、マシンのクラッシュで書き込みが失われる可能性があります。ローカルSSDを待つ場合は、プロセスやカーネルのクラッシュには耐えられますが、そのデバイスやホストの喪失には耐えられません。一方、リモートストレージや複数のデータベースサーバーは、ネットワーク時間とコピー時間を各書き込みに含めることで、より多くの障害に耐えることができます。

あるシステムの fdatasync() は、データベースホストに接続された1つのSSDの完了を待ちます。別のシステムは、同じNVMeインターフェースを通じてネットワークボリュームを公開し、リモートストレージサービスの完了を待ちます。システムコール名は同じですが、レイテンシとデータが耐えられる障害は異なります。

オブジェクトストレージを中心に構築された新しいストレージ設計では、この選択が特に興味深いものになります。なぜなら、多くの設計で不変のソート済みファイルをオブジェクトストレージに配置し、書き込み先頭ログ(WAL)やキャッシュのためにローカルNVMe SSDを使用し、ログ構造化マージツリー(LSM)レイアウトでデータを整理しているからです。オブジェクトストレージは、コンピューティングリソースが変動してもストレージサービスが永続的なコピーを所有でき、新しい不変ファイルの書き込みは共有ディスクページの小さなランダム更新を回避できるため、構築の素晴らしい基盤となります。

オブジェクト PUT が成功した後、ストレージサービスはそのバイトに対する広告された耐久性を満たす責任を負います。データベースは依然として、どのバージョンが最新かを決定し、他のマシンがそれを参照できるようにその決定を記録し、読み取りを高速化し、古いバージョンを削除し、クラッシュ後に復旧する必要があります。ローカルの書き込み先頭ログは書き込みを高速化できますが、その場合、データベースはそのローカルコピーの喪失が許容されるかどうか、または成功前に別のコピーが存在する必要があるかどうかを決定する必要があります。

私は、キー・バリューリクエストをデータベースに送信するクライアント PUT と、オブジェクトストレージに送信するHTTPリクエストであるオブジェクト PUT を使用します。それらの書き込みを別々に管理するようになると、メモリ、ローカルSSD、リモートストレージ、そして多数のデータベースサーバーを通過する1つのクライアント PUT を追跡するのが容易になりました。したがって、操作に対して非常に高速な数値を見たとき、私はそれがどの操作の対価であるか、成功後でも何を失う可能性があるか、そしてシステムがどの程度の未完了のクリーンアップに耐えられるかを知りたいと思います。

追記専用キー・バリューストアに求めたいコストから始めるのが有用だとわかりました。

操作成功前の作業
GETO(キーのバイト数 + 返されるバイト数)、1回のインデックス検索と値の1回の読み取り
PUTO(キーのバイト数 + ペイロードのバイト数)、ペイロードをハッシュするための1回のパス、1回のWAL追記、および他の書き込みと共有される1回の fdatasync()
DELETEO(キーのバイト数)、1回の削除レコードの追記

これらのコストは魅力的です。なぜなら、通常の要求は保持されているすべてのオブジェクトをスキャンしたり、完全な書き込み履歴をたどったりすることはなく、より大きな値はより小さな値よりも予測可能な方法でコストがかかるからです。

これらの小さな要求コストは、インデックスがすでに各キーを最新の値にマッピングしているため GET で可能になり、複数の PUT 要求がデバイスフラッシュを共有でき、DELETE レコードは古いバイトをすぐに削除せずに値が無効であることを示します。PUT は、その作業がどこに移動するかを見るのに最も簡単な場所なので、そこから始めました。

クライアント PUT がローカルSSDに到達する方法

ここでは、データベースと同じホストに接続されている、リモートストレージサービスを経由しないホストローカルのNVMe SSDを意味します。書き込みが同期されると、プロセスまたはカーネルのクラッシュに耐えることができますが、SSDまたはホストの喪失は依然として書き込みを失う可能性があります。

NVMeはデバイスへのコマンド送信に使用されるインターフェースを命名しますが、ストレージがどこにあるか、またはデータがどの障害に耐えられるかは教えてくれません。リモートブロックボリュームもNVMeデバイスとして表示されることがありますが、各書き込みはネットワークを横断し、ストレージサービスがコピーを保持します。NVMeのレイテンシ数値は、その確認点なしでは不完全です。タイマーは、バイトをメモリにコピーした後、1つのローカルSSDを同期した後、またはリモートボリュームが書き込みを確認した後、停止しましたか?

ローカルWALは、レイテンシのギャップが大きい可能性があるため魅力的です。AWSはS3 Express One Zoneを、一貫したシングルミリ秒台の読み書きリクエストレイテンシを持ち、S3 Standardの最大10倍高速であると説明しています。一方、Tursoは4KBの PUT を平均6.4ms、p99で7msと測定しました。1msで測定されたローカル fdatasync() は、ローカルパスを約6倍高速にし、0.1msでは約64倍高速にします。50倍の違いは実際のベンチマーク結果になり得ますが、すべてのNVMeデバイスやオブジェクトストレージのプロパティではなく、そして2つのパスは依然として異なる障害に耐えます。

ローカル書き込みは、メモリへのバイトのコピーと、それらを永続化することとを分離します。書き込み先頭ログ(WAL)は、データベースがクラッシュ後に再生できる変更の順序付けられた記録です。バッファリングされた実装では、クライアント PUT はカーネルとデバイスを次のように通過します。

---
config:
  look: handDrawn
  handDrawnSeed: 17
  fontFamily: "SFMono-Regular, Consolas, monospace"
  flowchart:
    curve: linear
---
flowchart LR
    C["client PUT"] --> E

    subgraph H["DATABASE HOST"]
        E["storage engine"] -->|"write WAL"| K["kernel page cache"]
        K -->|"fdatasync writes pages<br/>and flushes device cache"| D["host-local SSD"]
    end

    K -.->|"write() can return here"| V["memory only<br/>not durable"]
    D --> S["success"]

write() はWALバイトがページキャッシュに到達するとすぐに返せますが、この設計では fdatasync() がローカルSSDに到達した後でのみ成功を返します。

Linuxでは、write() は通常バイトをページキャッシュにコピーし、その後カーネルはそれらのページをダーティとマークし、後でデバイスに書き込みます。プロセス終了はページキャッシュを破棄しませんが、カーネルクラッシュやマシン喪失は、ストレージに到達していないダーティページを消去する可能性があります。

fdatasync() は、ファイルデータとその取得に必要なメタデータの完了を待ちます。fsync() は、ファイルの他のメタデータもフラッシュします。ファイルの作成や名前の変更は、そのディレクトリを同期する必要がある場合があります。なぜなら、ファイルの内容とそれを名前付けるディレクトリエントリは別々の書き込みだからです。

O_DIRECT と io_uring はこの耐久性ポイントを変更しません。O_DIRECT はページキャッシュをバイパスでき、io_uring は効率的にI/Oをサブミットできますが、どちらも同期されていない書き込みを永続的なデータに変えるわけではありません。ファイルシステムとデバイスは、APIがデータがクラッシュから生き残ったと言える前に必要な書き込みとフラッシュを完了する必要があります。

fdatasync() は接続が切断される直前に完了する可能性があり、WALはコミットされたままクライアントは成功を受け取れないことがあります。クライアントは PUT に操作IDを提供し、同じIDとバイトを再試行して記録された結果を受け取ることができます。異なるバイトで同じIDを再利用すると失敗します。より高速なハードウェアはこのウィンドウを短縮しますが、曖昧さを取り除くことはできません。

1回のフラッシュで多数の書き込みをカバーできる

小さなクライアント PUT ごとに fdatasync() を呼び出すのが最も単純なバージョンですが、スループットはデバイスが完了できるフラッシュの数によって制限されます。シリアル化された1msのフラッシュは、デバイスがはるかに多くのバイトをストリーミングできる場合でも、毎秒約1,000回のフラッシュを許可します。

WALライターは、追記されたレコードを現在のバッチに入れ、固定バイト数、書き込み数、または時間後にバッチを閉じることで、高価なフラッシュを共有できます。バッチの最後のバイトを記憶し、WALファイルに対して fdatasync() を呼び出し、その後保存された位置でカバーされたすべてのライターに成功を返します。バッチが閉じられた後に追記された書き込みは、次のフラッシュを待ちます。

---
config:
  look: handDrawn
  handDrawnSeed: 17
  fontFamily: "SFMono-Regular, Consolas, monospace"
  flowchart:
    curve: linear
---
flowchart LR
    A["PUT A"] --> G
    B["PUT B"] --> G
    C["PUT C"] --> G
    D["PUT D"] --> G

    subgraph H["SAME DATABASE HOST"]
        G["open WAL batch"] --> O["close on bytes,<br/>writes, or time"]
        O --> F["1 fdatasync()"]
        F --> SSD["host-local SSD"]
        N["next WAL batch"]
    end

    SSD --> S["success<br/>A, B, C, D"]
    E["PUT E"] -.->|"arrives after close"| N

PUT A から PUT D は1回の fdatasync() を共有し、一緒に成功を受け取ります。PUT E はバッチが閉じた後に到着したため、次のSSDフラッシュを待ちます。

複数の要求が同じ実際のフラッシュを待つようになったため、成功した書き込みは依然として同じ障害に耐えられますが、スループットは向上します。最も早い要求が最も長く待ち、フラッシュエラーはバッチ全体を失敗させ、タイムアウトした要求は既にバッチ内にバイトを持っている可能性があり、後でディスクに到達します。

フラッシュの共有には、バイト、書き込み、時間の上限、および保留中の書き込みキューの上限も必要です。なぜなら、遅いデバイスは待機中の書き込みが利用可能なすべてのメモリを消費させる可能性があるからです。負荷がかかると、前のフラッシュが実行中にバッチが自然に満たされることが多いため、より多くの書き込みを収集するためにスリープしても、スループットを向上させずにレイテンシを追加する可能性があります。

デバイスのコストは、バッチ処理後の書き込みのサイズに依存します。1 GiB/sを256KiBのデバイス書き込みで処理するには約4,096 IOPSが必要ですが、同じバイトレートを16KiBのデバイス書き込みで処理するには約65,536 IOPSが必要です。クライアント要求の数は、デバイスに到達する書き込みのサイズが必要なIOPSを決定するため、それ自体ではそのコストを教えてくれません。

データベースホストを超えて書き込みを保持する

ローカル fdatasync() の後に返すことで、オブジェクト要求がクライアントの待機時間から除外されますが、成功の意味が変わります。最も新しい永続化されたWALレコードは、1つのデータベースホストの1つのSSD上に存在します。それらのレコードがアップロードされる前にそのホストが消失した場合、交換機は古いリモートコピーしか復旧できません。

データベースは、オブジェクトのみのライターではなかった方法で、ステートフルになりました。スケジューラはそれを任意のマシンに移動して、すべての成功した書き込みが存在すると仮定することはできません。システムはSSDを利用可能に保つか、データ損失のウィンドウを受け入れるか、または成功前に別の永続コピーを作成する必要があります。

永続的なネットワークボリュームは、コンピューティングホストの外にコピーを保持できます。オブジェクトストレージは、ライターとは独立してコピーを保持できます。レプリケートされたWALは、他のデータベースサーバーにコピーを保持できます。各オプションは、クライアントが待機する時間に異なる作業を戻します。

永続的なネットワークボリュームは、データベースにとって通常のブロックデバイスのように見えることがありますが、ストレージサービスはデータベースホストの外にコピーを保持します。その fdatasync() にはネットワーク要求と、サービスが確認する前に完了したコピーが含まれるため、前の図のローカルSSDの同期とは異なります。ボリュームはデータベースプロセスとそのホストよりも長生きする可能性がありますが、そのコピーは依然として1つの障害ドメイン内に存在する可能性があります。

各ストレージオプションには、成功が返される安全なポイントが異なります。これにより、ラベルのないレイテンシチャートの解釈が困難になります。

成功は〜を待つレイテンシには〜が含まれる確認された書き込みは〜に耐える
ページキャッシュへのコピーメモリコピープロセス終了には耐えるが、カーネルクラッシュやマシン喪失には耐えない
ローカルSSDへの fdatasync()SSD書き込みとキャッシュフラッシュプロセスおよびカーネルクラッシュには耐えるが、SSDまたはホスト喪失には耐えない
永続的なネットワークボリュームへの fdatasync()ストレージネットワークとボリュームサービスによって行われたコピーデータベースホスト喪失。それ以上のカバレッジはボリュームサービスに依存する
オブジェクト PUT の成功HTTP要求とオブジェクトサービスによって行われたコピーライターおよびデータベースホスト喪失。それ以上のカバレッジはオブジェクトサービスに依存する
3台中2台のサーバーでの永続WAL追記2台のサーバーでのネットワーク転送とディスク同期サーバー1台の喪失には耐えるが、修理前に2台のサーバーの永続的な喪失には耐えない

オブジェクトストレージでも同じ問題が発生します。サービスは、1つの障害ドメイン内の複数のマシンにコピーを保持したり、複数の障害ドメインに分散させたりする場合があります。どちらもリモートオブジェクト書き込みですが、同じ障害には耐えられないため、コピーの数だけでは耐久性を記述できません。ローカルWALを前に置くことは、もう1つの選択肢となります。なぜなら、データベースは成功前にオブジェクトアップロードを完了するか、後で実行するかを選択できるからです。

アップロードを後回しにするということは、ローカル fdatasync() の後に返すことを意味します。これにより書き込みパスが短くなり、データベースは書き込みを受け付けなくなったWALファイルをアップロードできます。この場合、ローカルSSDまたはそのホストを失うと、最後にアップロードされたバイト以降のすべての確認済みレコードが失われる可能性があります。したがって、アップロード待ちの最も古いレコードの経過時間が、リスクのある最新データの量を示します。

オブジェクト PUT を成功前に完了させると、そのウィンドウは閉じますが、すべての書き込みにリモート要求が含まれるようになります。バッチ処理は要求数を減らしますが、各バッチの最初の書き込みはバッチが満たされるまでより長く待ちます。

---
config:
  look: handDrawn
  handDrawnSeed: 17
  fontFamily: "SFMono-Regular, Consolas, monospace"
  flowchart:
    curve: linear
---
flowchart LR
    C["100 client writes"] --> W

    subgraph H["DATABASE HOST"]
        W["WAL buffer"] -->|"local path"| D["host-local SSD"]
    end

    D --> LS["local success"]
    D -.->|"later: seal 1 WAL object"| O["object storage"]
    W -->|"remote path before success:<br/>100 objects or 1 batch"| O
    O --> RS["remote success"]

ローカル成功は、点線で示されるアップロードが完了するまで、最新のWALレコードをデータベースホストに残します。成功前にオブジェクト PUT を要求すると、そのウィンドウが閉じ、リモート要求が書き込みレイテンシに追加されます。

毎秒1,000回の書き込みで、書き込みごとに1つのオブジェクトを生成すると、30日間の月で2,592,000,000件のオブジェクト PUT 要求が発生します。100回の書き込みを1つのオブジェクトにバッチ処理すると、それが25,920,000件に減少しますが、各バッチの最初の書き込みはより長く待ち、失敗した要求はより多くのバイトを再送信します。ストレージ料金、書き込みレイテンシ、および障害後に再送信されるバイト数はすべて一緒に変化します。

バッチ処理は要求数を変更しますが、2つのライターが同じオブジェクトを更新しようとした場合に何が起こるかを決定するわけではありません。S3では、条件付き書き込みがその狭い競合を処理します。If-None-Match: * は、キーが存在しない場合にのみオブジェクトを作成し、If-Match: <etag> は、現在のバージョンと一致する場合にのみオブジェクトを更新します。敗北した要求はその前提条件を満たせません。したがって、呼び出し元は、期待されるバージョンがまだ最新である場合にのみ、単一のオブジェクトを更新できます。これは、複数のオブジェクトを単一の変更として表示したり、古いライターの他のキーへのアクセスを取り消したりするものではありません。

オブジェクト PUT が書き込みレイテンシ予算に収まる場合、データベースはここで停止し、ストレージサービスに永続的なコピーを所有させ、どの条件付き更新が勝つかを決定させることができます。収まらないが、成功したすべての書き込みがデータベースホストの喪失に耐える必要がある場合、データベースはWALを複数のホストにレプリケートし、それらの十分な数が同期するのを待つことができます。

WALのレプリケーションは調整を追加する

レプリケートされたWALは、1つのステートフルなデータベースホストを3つに変えます。クライアントはリーダーに PUT を送信し、リーダーはローカルにWALエントリを追記し、同じエントリを2つのフォロワーに送信します。リーダーと少なくとも1つのフォロワーがそれを同期した後、成功を返すことができます。これにより、書き込みは1つのサーバーの喪失に耐えます。1つのローカルSSDと比較して、各コミットにはネットワーク往復と2回目のデバイス同期が含まれるようになりました。

近くに配置されたレプリカは、一般的なオブジェクト要求よりも速く永続的な多数を生成できます。一方、障害ドメインをまたいで配置されたレプリカは、より大きな障害から回復し、書き込みにさらに多くのネットワーク時間を追加します。バイトのコピーは問題の一部にすぎません。なぜなら、サーバーは誰が書き込めるか、どの書き込みがコミットされたかを決定する必要もあるからです。

データが重要であるため、ストレージエンジンは自動的に独自のリーダー選出を実行する必要はありません。別のサービスがライターを割り当て、より高いライター番号を付与できます。その後、ストレージは古い番号を持つ書き込みを拒否できます。その設計には依然として調整が存在しますが、それはストレージエンジンの外にあります。レプリカは、コミットされた書き込みがどれだけあればコミットとみなされるかについてもルールが必要です。それらのサーバーが互いに通信できない場合でも、それらがライターを選択し、1つのコミット済みログ自体を維持する必要がある場合、コンセンサスがストレージエンジンに入ります。

Raftでは、リーダーは現在のターム(選挙後に増加する数値)とログ内の書き込みの位置を記録します。それは書き込みをフォロワーと呼ばれる他のサーバーに送信し、過半数がディスク上でその位置までログを保存した後、それをコミットします。

---
config:
  look: handDrawn
  handDrawnSeed: 17
  fontFamily: "SFMono-Regular, Consolas, monospace"
  flowchart:
    curve: linear
---
flowchart TB
    C["client PUT"] --> L

    subgraph R["3-NODE REPLICATED WAL"]
        L["leader<br/>WAL + local SSD"]
        F1["first follower to finish<br/>WAL + local SSD"]
        F2["other follower<br/>WAL + local SSD"]
        L -->|"replicate"| F1
        L -->|"replicate"| F2
    end

    L --> Q["first 2 durable copies"]
    F1 --> Q
    F2 -.->|"may finish later"| Q
    Q --> S["success"]

リーダーと最初に完了したフォロワーが、成功前に2つの永続的なWALコピーを作成します。もう一方のフォロワーは後で完了する可能性があります。

ディスクとネットワークの操作は重複する可能性があるため、健全なレイテンシは、すべてのディスク書き込みの合計ではなく、完了する必要がある2つの操作のうち遅い方に近くなります。遅い書き込みには、ネットワーク遅延と、多数決に必要な遅いサーバーにかかる時間が含まれます。サーバーが通信できないグループに分割された場合、多数決を持たないグループは、他のグループがより新しい履歴を持っているかどうかわからないため、書き込みの受け入れを停止します。

よく出てくるショートカットは、フォロワーにRAMから確認させることです。Raft論文では、代わりに現在のターム、投票、およびログをディスクに書き込んでから、関連する確認を返すように推奨しています。RAMでの確認は高速ですが、耐えられる障害は少なくなります。なぜなら、クライアントが既に成功を見ていても、それらのコピーはマシンが同時に再起動したり、電源を失ったりすると消える可能性があるからです。

書き込みのレプリケーションはまた、システムにリーダー選出、障害後の異なるログの修復、遅れたサーバーへの欠落書き込みのコピー、高速な再起動のための完全なコピーの保存、サーバーの安全な追加と削除、およびレプリケーション遅延の監視の責任を残します。これらの作業のどれも、単一の健全な書き込みのレイテンシには現れません。

高速な読み取りにはインデックスとクリーンアップが必要

クラッシュ後にWALを再生できることだけでは、GET が安価になるわけではありません。読み取りごとにWALをスキャンすると、履歴とともにコストが増加するため、エンジンは各キーから最新の値またはディスク上の場所への別のルックアップを保持します。

O(キーのバイト数 + 返されるバイト数) は、エンジンが現在の値の場所を既に知っていることを前提としています。ハッシュインデックスは、キーをソートせずにそのルックアップを提供できます。Bツリーは、順序付けられた読み取りと範囲スキャンをサポートしますが、ツリーの高さとともに増加する作業と、ページの更新および時折の分割が必要になります。LSMは、最近のキーをメモリとソート済みファイルに書き込み、後でそれらのファイルをマージおよび書き直します。

LSMとマルチバージョン同時実行制御(MVCC)は、データベースの異なる部分を説明しており、共存できます。LSMはキーがメモリとソート済みファイルをどのように移動するかを制御し、MVCCはリーダーとライターがどのバージョンを見ることができるかを制御します。LSMは後でソート済みファイルをマージし、追記専用ブロブストアは無効なバイトを含むファイルからアクティブな値をコピーし、ページベースのMVCCエンジンはもはや表示されない行バージョンをクリーンアップします。各アルゴリズムは、論理的な削除または置換後に古いバイトを残します。

O(キーのバイト数) の削除は、削除レコードを追記し、ルックアップを更新します。古い値を解放するには、後でファイルインデックスを読み取り、まだ現在の値をコピーし、リーダーを置換ファイルに切り替え、どのリーダーもまだ使用していないファイルを削除する必要がある場合があります。

Big Oは成長を示すが、耐久性レイテンシは示さない

元のコストに戻ると、同じクライアント PUT は、ローカルSSD、オブジェクトサービス、または多数のデータベースサーバーで停止するかどうかにかかわらず、O(キーのバイト数 + ペイロードのバイト数) のままです。Big Oは、キーまたは値が大きくなるにつれて作業がどのように増加するかを示しますが、デバイスフラッシュ、リモートHTTP要求、およびネットワークラウンドトリップと2回のデバイスフラッシュの間の違いは示しません。

これらの3つのパス全体で成長項は同じままですが、成功前の作業は変化します。

要求パス要求とともに増加する作業Big Oが隠す成功前の作業
ローカルWALへの PUTO(キーのバイト数 + ペイロードのバイト数)1回のWAL追記と1回のローカル fdatasync() の共有
オブジェクトストレージへの PUTO(キーのバイト数 + ペイロードのバイト数)ネットワーク往復とオブジェクトサービス確認。バッチ処理時に書き込み間で共有
レプリケートされたWALへの PUTO(キーのバイト数 + ペイロードのバイト数)ネットワーク転送と多数のサーバーでの永続WAL追記

GET と DELETE については、境界により、通常の読み取り中にすべてのオブジェクトをリストしたり、キーを見つけるために完全なWALを再生したり、1つの値を削除するためにすべての保存済みデータをスキャンしたりすることが除外されます。それらは依然として、固定作業がマイクロ秒かかるかミリ秒かかるかを示さないため、レイテンシ結果には成功ポイントとパーセンタイルが必要です。

後回しにされた作業にも制限が必要です。したがって、WALファイルには最大サイズがありますが、それをアップロードすることは O(ファイルバイト数) です。クリーンアップは最終的にデータセット全体を検査または書き直す可能性がありますが、各実行は再開できるようにバイト制限と保存された位置を必要とします。書き込みがクリーンアップが削除するよりも速く古いバイトを作成する可能性があるため、保留中のキューにも制限が必要です。そうしないと、安価な要求パスは、増え続けるキューを隠すだけになります。

LLMは、システムがどの程度の未完了の作業を保持できるか、またはいつ書き込みを遅くする必要があるかを決定せずに、アップローダー、クリーンアップループ、またはレプリケートされたログを記述するのを大幅に高速化します。また、いつ成功が返されるのが安全か、タイムアウトが何を意味するか、またはどのクラッシュがデータを失う可能性があるかを選択することもできません。これらの決定は依然として書き留められ、fdatasync()、オブジェクトを最新にする、ライターを置き換える、および多数のサーバーに書き込みをコピーするなどの操作の周りでテストされる必要があります。

メモリからローカルSSD、リモートストレージ、レプリカへの書き込みを追跡することで、トレードオフをより簡単に理解できるようになりました。より高速なパスは通常、より少ない作業で停止し、より少ない障害に耐えます。一方、成功を遅らせることは、より多くの耐久性を購入でき、データベースに調整、修復、およびクリーンアップの責任を負わせる可能性があります。GET、PUT、および DELETE の数値は、これらの選択肢がそれらに並記されて初めて有用になります。