ZeroFS vs. Amazon S3 Files
ZeroFS vs. Amazon S3 Files (zerofs.net)
要約
ZeroFSとAmazon S3 Filesは、どちらもオブジェクトストレージを基盤としたPOSIXファイルシステムを提供しますが、その内部構造とアプローチは大きく異なります。S3 FilesはファイルとS3オブジェクトの1対1のマッピングを維持するのに対し、ZeroFSはパフォーマンスとセキュリティのためにデータを圧縮・暗号化してセグメントオブジェクトにパックし、直接的なS3アクセスを犠牲にします。
全文翻訳
ZeroFS vs. Amazon S3 Files
Amazon S3 FilesとZeroFSは、オブジェクトストレージを基盤としたPOSIXファイルシステムを提供しますが、共有インターフェースの下で反対のバケットレイアウトを隠しています。選択はバケットの役割にかかっています。ファイルが通常のS3オブジェクトのままでなければならない場合、S3 Filesはそのアイデンティティを維持します。バケットが内部的な永続化レイヤーになることができる場合、ZeroFSは直接的なS3アクセスと引き換えに、パッキング、圧縮、およびクライアントサイド暗号化を提供します。
ストレージレイアウト
Amazon EFSを使用して構築されたS3 Filesの決定的なプロパティは、マウント上のimages/cat.jpgがバケット内の同じキーに対応し、変更が双方向に流れることです。アクティブなデータとメタデータは、AWSが「高性能ストレージ」と呼ぶ低レイテンシ層に reside します。
この1ファイル、1オブジェクトのアイデンティティは、ZeroFSストレージフォーマットでは意図的に欠如しています。メタデータはLSMツリーに reside し、ファイルコンテンツはエクステントに分割され、圧縮および暗号化され、イミュータブルなセグメントオブジェクトにパックされます。S3クライアントは、マウントされたファイルではなく、不透明な内部レイアウトを見ます。
subgraph CLIENTS["Client Layer"]
NFS["NFS Client"]
P9["9P Client"]
NBD["NBD Client"]
WEB["Web Browser"]
end
subgraph CORE["ZeroFS Core"]
NFSD["NFS Server"]
P9D["9P Server"]
NBDD["NBD Server"]
WEBUI["Web UI"]
VFS["Virtual Filesystem"]
SEG["Segment store: compressed, encrypted file-data frames"]
SLATE["LSM tree: metadata and 32-byte extent pointers"]
CACHE["Local Cache"]
NFSD --> VFS
P9D --> VFS
NBDD --> VFS
WEBUI --> VFS
VFS --> SEG
VFS --> SLATE
SEG --> CACHE
SLATE --> CACHE
end
subgraph BACKEND["Storage Backend"]
SEGOBJ["Immutable segment objects"]
SSTS["Metadata SSTs and manifest"]
S3["S3 Object Store"]
CACHE --> SEGOBJ
CACHE --> SSTS
SEGOBJ --> S3
SSTS --> S3
end
NFS --> NFSD
P9 --> P9D
NBD --> NBDD
WEB --> WEBUI
ZeroFSは、ファイルデータとファイルシステムメタデータを、両方がオブジェクトストアに到達するまで別々のパスに保持します。
両方のマウントはクライアントページキャッシュを使用します。以下の書き込みパスの行は、クライアントがサーバーに書き込みを送信した後に始まります。
| Amazon S3 Files | ZeroFS | |
|---|---|---|
| Storage model | AWS管理の高性能ストレージで、バケットと同期されます。内部レイアウトは文書化されていません | オブジェクトストレージ上のLSMツリーとイミュータブルなデータセグメント |
| Object layout | 1つのファイルが1つのS3オブジェクトにマッピングされます | メタデータはLSMツリーに、ファイルデータフレームはセグメントにパックされます |
| Write path after client cache | 高性能ストレージへのNFS書き込み。即座に耐久性があります。書き込み非アクティブ後に非同期S3エクスポート | 9P経由。fsyncはデータセグメントをアップロードし、成功を返す前にLSMメタデータをオブジェクトストレージにフラッシュします |
| Cold read and read-ahead | Linux NFSリードヘアド、ディレクトリメタデータインポート、オプションの小ファイルインポート、または直接S3読み取り | LSMルックアップ、その後適応型オブジェクトおよびクロスセグメントフレームプリフェッチ |
| S3 API access to files | はい。ファイルシステムへの変更は非同期エクスポート後に表示されます | いいえ。ファイルの読み取りにはZeroFSと暗号化パスワードが必要です |
| Client interface | NFS 4.1/4.2 | ファイルには9PまたはNFS。ブロックにはNBD |
| Object-store choice | Amazon S3 | Amazon S3、S3互換ストア、Azure Blob、またはGoogle Cloud Storage |
| Cost model | S3に加えて、高性能ストレージ、ファイルアクセス、同期料金 | オブジェクトストレージとリクエスト、およびZeroFSを実行するコンピューティングとキャッシュ |
オブジェクト相互運用性
その1対1のマッピングを維持することは、マウントを通じて書き込まれたファイルが最終的に通常のS3オブジェクトになることを意味します。エクスポートは書き込みがない状態が60秒続いた後に開始されるため、継続的な書き込みはS3の可視性を遅延させます。エクスポートが完了すると、既存のツールはGetObjectでオブジェクトを読み取ることができ、S3側の変更はファイルシステムに逆流します。同期前に両方の側が同じファイルを変更した場合、S3が勝ち、ファイル側のバージョンはlost+foundに移動します。
ZeroFSのパス名はS3 APIで取得できず、セグメントをParquetとしてスキャンすることもできません。その交換として、小ファイルはそれぞれ1つのデータオブジェクトやPUTを必要としません。そのエクステントは圧縮、暗号化され、一緒にパックされます。バケットと生のローカルキャッシュには暗号文が含まれているため、マウントまたはリカバリにはZeroFSとその暗号化パスワードが必要です。暗号化のドキュメントには、表示されたままの構造メタデータがリストされています。
他のアプリケーションがファイルシステム書き込み後に即座にS3の可視性を必要とする場合、どちらのモデルもそれを実現しません。S3 Filesは非同期にエクスポートし、ZeroFSはマウントされたファイルをS3 API経由で公開しません。
コールドアクセス
最初のS3 Filesアクセスはインポートをトリガーする可能性があります。ディレクトリをリストすると、すべてのオブジェクトのメタデータがロードされ、デフォルトで128 KiBのインポート閾値以下のファイルが非同期に高性能ストレージにコピーされます。AWSによると、1,000オブジェクトの最初のリスト表示には数秒かかる場合があります。より大きなファイルはS3に残ります。少なくとも1 MiBの読み取りは直接S3に行われます。
ZeroFSは代わりに、読み取りとアップロードからローカルRAMおよびディスクキャッシュを生成します。新しくシールされたセグメントは、既に手元にあるバイトからキャッシュに入力されるため、書き込み後の読み取りにはGETは必要ありません。キャッシュはライトバックではなく、セグメントがシールされメタデータがフラッシュされるときに書き込みはオブジェクトストレージに到達します。コールドミスは、LSMツリーを通じて要求されたエクステントを解決し、隣接するフレームをレンジGETに結合します。ファイル全体やディレクトリ内のすべての小ファイルをインポートせずに、最初のオブジェクトストア往復を支払います。ローカルで作業セットが収まると、データ読み取りはS3リクエストをほとんど生成しません。
両方のパスは、シーケンシャルトラフィックのためにリードヘアドを追加します。ZeroFSはセグメントオブジェクト内およびセグメント間でプリフェッチし、S3 FilesはLinux NFSリードヘアドと直接S3ルーティングに依存します。
コスト
どちらの場合も、S3ストレージとリクエスト料金が適用されます。S3 Filesは、高性能ストレージ層にも料金がかかります。GBあたりの reside ストレージとGBあたりの読み書きです。AWSの価格例(公開時点)では、これらのレートが使用されています。
| S3 Files charge | Rate used in AWS's example | When it applies |
|---|---|---|
| High-performance storage | $0.30 per GB-month | ファイルには10 KiBの最小請求サイズがあります |
| File reads | $0.03 per GB | 高性能ストレージからの読み取り、S3へのエクスポートを含む |
| File writes | $0.06 per GB | 高性能ストレージへの書き込み、S3からのインポートを含む |
高性能ストレージに reside する量は、設定されたインポート閾値と有効期限ウィンドウによって異なります。リスト表示はメタデータと対象となる小ファイルをインポートし、読み取りはより多くのデータをロードする可能性があり、ファイルメタデータは期限切れになりません。インポートはファイルシステム書き込みとして計測され、エクスポートは読み取りとして計測されます。最小操作サイズは、ファイルデータの場合は32 KiB、メタデータの場合は4 KiBです。AWSは、CloudWatchで reside バイトとinodeを報告しますが、バケットサイズだけでは請求額を予測できません。
例示モデル:10,000 GiBを保存し、1回読み取る
これは例示的なシナリオであり、一般的なコスト比較ではありません。 10,000 AWS請求可能GB(GiB)の論理データをS3 Standard(us-east-1)に格納し、$0.023/GB-monthのレートを使用します。直接ケースは、S3内のデータからの1 MiB読み取りを想定しています。reside ケースは、1 MiB未満の読み取りで、すべてのデータも高性能ストレージにあると想定しています。インターネットエグレスは除外されます。
| Case | Storage/month | Read once | Illustrative subtotal |
|---|---|---|---|
| ZeroFS (2:1) | ~$115 + overhead | S3 GETs | ~$115 + infrastructure |
| ZeroFS (1:1) | ~$230 + overhead | S3 GETs | ~$230 + infrastructure |
| S3 Files (1 MiB direct reads) | ~$230 + metadata | ~$1.17 + S3 GETs | ~$231 + metadata and requests |
| S3 Files (small resident reads) | $3,230 | $300 | $3,530 +$600 if imported |
ZeroFSの数値は推定値です。圧縮はペイロードバイトを削減しますが、メタデータ、一時的なコンパクションデータ、およびリクエストがコストを追加します。理想的な8 MiB GETサイズでは、ファイルデータの読み取りコストは約$0.26(2:1圧縮)または$0.51(1:1圧縮)ですが、メタデータや短い/ランダムな読み取りは含まれません。ZeroFSはまた、サーバー1台(高可用性の場合は2台)とローカルディスクキャッシュを必要とします。各ノードは、設定されたメモリキャッシュ以外に約2 GBのRAMが必要です。したがって、S3 Filesは大規模ファイルのストリーミングではコストが低くなる可能性があります。データが高性能ストレージにインポートされたり、そこを通じて書き込まれたりすると、差は大きくなります。S3 Filesで10,000 GiBを書き込むと、$600のファイルシステム書き込みと$300のエクスポートが追加されますが、1か月のresidencyは$3,000を追加します。
実際のコストは、ファイル数、圧縮率、I/Oサイズ、residency、fsync頻度、およびインフラストラクチャに依存します。S3 Filesはバケットバージョニングも必要とするため、非現行バージョンには適切なライフサイクルルールが必要です。
fsyncとS3の可視性
耐久性とS3の可視性は、S3 Filesでは別々のイベントです。高性能ストレージへの書き込みは即座に耐久性がありますが、エクスポートは書き込みがない状態が約60秒続いた後にのみ開始されます。fsyncを呼び出しても、オブジェクトはS3 API経由で即座に表示されません。ZeroFSには、エクスポートステップがないため、第2の可視性イベントはありません。9P経由では、成功したfsyncは、オブジェクトストレージがデータセグメントとそのLSMメタデータを承認した後に返され、ファイルはコールド再起動後もリカバリ可能になります。
リネーム
S3には、汎用バケット用のディレクトリやアトミックなリネームがありません。S3 Filesはマウント時にリネームし、影響を受ける各オブジェクトを新しいキーにコピーして古いものを削除します。ディレクトリのリネーム中、両方のプレフィックスが表示される可能性があります。AWSによると、100,000個のリネームされたファイルの同期には数分かかります。ZeroFSはLSMディレクトリエントリのみを変更し、子孫ごとのコピーやオブジェクトクライアントに公開されるS3プレフィックスはありません。
マウントポイントは似ているように見えるかもしれませんが、バケットは異なる約束をしています。S3 Filesは、周囲のS3エコシステムのために通常のオブジェクトを維持します。ZeroFSは、オブジェクトストレージをファイルシステムのプライベート基盤として扱います。