HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Show HN: ZeroFS – S3向けのログ構造ファイルシステム

Show HN: ZeroFS – A log-structured filesystem for S3 (zerofs.net)

107 pointsby Eikon50 コメント

要約

ZeroFSは、S3互換バケットをNFSや9P経由でPOSIXファイルシステムとして、またはNBD経由で生のブロックデバイスとして提供するログ構造ファイルシステムです。データはアップロード前に圧縮・暗号化され、ホットリードはローカルキャッシュからマイクロ秒単位で返されます。堅牢なテストスイートと高可用性機能を備え、クラウドストレージをローカルファイルシステムのように扱えるようにします。

全文翻訳

ZeroFSはS3向けのログ構造ファイルシステムです。

ZeroFSはS3互換バケットをNFSおよび9P経由でPOSIXファイルシステムとして、NBD経由で生のブロックデバイスとして提供します。これら3つのサーバーは1つのユーザー空間プロセスで動作します。書き込みは、アップロード前に圧縮・暗号化された不変のセグメントとして行われます。ウォームな読み込みはローカルキャッシュから行われます。

Docker · GitHub Action · その他のプラットフォーム

01 プロトコル

NFSと9P経由のファイル、NBD経由のブロックデバイス。

3つのサーバーは1つのプロセスと1つのバケットを共有します。クライアントは、カーネルに既に搭載されているNFSおよび9Pサポート、ZeroFS独自のクライアント、またはnbd-clientで接続します。

NFS

macOS、Linux、Windows、BSDsは、それらにバンドルされているNFSクライアントでマウントできます。NFSのCOMMITセマンティクスにより、fsyncはデータがS3に到達する前に返ることができます。fsyncの永続性が重要な場合は9Pマウントを使用してください。

# どの主要OSからでもマウント可能
mount -t nfs 127.0.0.1:/ /mnt/zerofs
9P

これは推奨されるLinuxマウント方法です。

# バンドルされたFUSEクライアント
zerofs mount 127.0.0.1:5564 /mnt/zerofs
            # ネイティブカーネルクライアント
mount -t zerofs 127.0.0.1:5564 /mnt/zerofs

          
NBD

.nbdディレクトリ内のデバイスファイルは、生のブロックデバイスとしてアタッチされます。

# ブロックデバイスをアタッチ
nbd-client 127.0.0.1 10809 /dev/nbd0 -N vol1

動作環境: Amazon S3, Google Cloud Storage, Azure Blob, 任意のS3互換ストア, ローカルディスク

02 テスト

ZeroFSのテスト方法。

### POSIXセマンティクス

8,662件のpjdfstestケース: パーミッション、所有権、リンク、リネーム動作。NFSまたは9Pがセマンティクスを表現できない場合(またはトレードオフを行った場合)は、プロトコルごとにいくつかのケースを除外しています。

pjdfstestワークフロー →

### xfstests

標準的なファイルシステムテストスイートです。

xfstestsワークフロー →

### カーネルビルド

LinuxカーネルをNFS、9P、FUSEマウントでmake -j$(nproc)を使用してコンパイルします。並列ビルドにより、多数のプロセスが同時に同じツリーに書き込みを行います。

kernel-compileワークフロー →

### stress-ng

ファイル操作のストレステストを、ライブのNFS、9P、FUSEマウントに対して同時に実行します: dentryの乱雑化、深い・広いディレクトリ、リネーム、メタミックス、utimeなど。

stress-ngワークフロー →

### ZFSプールとスクラブ

CIはZeroFSブロックデバイス上にZFSプールを作成し、その上にLinuxカーネルソースを抽出し、スクラブを実行します。

zfs-testワークフロー →

### JepsenローカルFSとHA

local-fsスイートは、ランダムな操作履歴をリファレンスモデルと比較してチェックする9Pマウントを駆動し、クラッシュモードも備えています。HAスイートは、ローカルS3サーバー上でリーダー/スタンバイペアをキルしたり一時停止したりします。

jepsenワークフロー →

### 決定論的シミュレーション

ストレージエンジンはシミュレートされた世界で動作します: 仮想時間、シード付きのフォールトインジェクション、操作途中のクラッシュ、そしてバイト単位で正確なモデルに対するリカバリチェックを行います。失敗したシードは、同一の実行をリプレイします。新しいシードは、CIで毎時50分間実行されます。

dst-soakワークフロー →

03 geo-distribution

3つのS3リージョンにまたがるZFSミラー。

各インスタンスは、1つのリージョンのバケットをブロックデバイスとして公開します。ZFSからはプレーンディスクとして見えます。

global-pool — zsh

$ nbd-client 10.0.1.5 10809 /dev/nbd0 -N storage -persist # us-east

$ nbd-client 10.0.2.5 10809 /dev/nbd1 -N storage -persist # eu-west

$ nbd-client 10.0.3.5 10809 /dev/nbd2 -N storage -persist # ap-southeast

$ zpool create global-pool mirror /dev/nbd0 /dev/nbd1 /dev/nbd2

$ zpool status global-pool | grep state
 state: ONLINE

リージョンが到達不能になった場合でも、プールはデグレード状態になり、オンラインを維持します。ZFSは、メンバーが復帰した際にリシルバリングを行います。

04 エンジン

ストレージエンジン。
不変セグメント

ファイルデータは32KiBのエクステントに分割され、最大256MiBの不変セグメントオブジェクトにパックされます。

暗号化

アップロード前に各エクステントに対してXChaCha20-Poly1305を使用します。データキーは、Argon2idで派生したパスワードからラップされます。

圧縮

zstdまたはlz4を使用し、暗号化の前に適用されます。コーデックはマイグレーションなしでいつでも変更可能で、既存データのコーデックは読み込み時に検出されます。

キャッシュ

メモリとディスクの階層で、最近読み書きされたデータを保持します。

TRIM

TRIMをサポートしており、最終的には物理S3オブジェクトの再利用につながります。

チェックポイント

名前付きのポイントインタイムチェックポイント。どのチェックポイントも読み取り専用で開くことができます。

読み取りレプリカ

1つのライターと、同じバケットに対する任意の数の読み取り専用インスタンス。レプリカはライターの変更を追跡し、書き込み時にはEROFSを返します。

fsyncとフェイルオーバー

9PおよびNBD経由では、fsyncの成功はデータがオブジェクトストアにコミットされたことを意味します。オプションのスタンバイは、確認済みだがフラッシュされていない書き込みを保持し、数秒で引き継ぎます。

05 録画

ターミナルセッションの録画。

kernel-build — asciinema

Linuxカーネルは、ZeroFS NBDボリューム上のZFSで16秒でコンパイルされます。

06 Web UI

設定セクション1つでWebコンソールが追加されます。

127.0.0.1:8080

[画像: ZeroFS WebファイルマネージャーがLinux 6.17ソースツリーをファイルインラインプレビュー付きでブラウジングしている様子] [画像: スループット、IOPS、操作カウンター、tombstone-cleanup統計がリアルタイムで表示されるZeroFSダッシュボード] [画像: ZeroFSからマウントされたルートファイルシステムを持つLinux VMがブラウザで起動している様子]

ファイルマネージャーはWebSocket経由で9Pを話します。フォルダ全体を含むドラッグアンドドロップアップロードも可能です。