S3は未来であり、S3は過去でもある

Amazon S3、および他のクラウドのアナログは、現代のクラウドソフトウェアアーキテクチャの基盤となっています。今日、ほぼすべてのデータ集約型システムがS3を中心に構築されています。しかし、S3の設計に組み込まれたハードウェアの仮定、そしてその周りに登場したすべてのソフトウェアアーキテクチャに組み込まれた仮定は、急速に時代遅れになりつつあります。 S3の優位性は、その多くの利点、すなわち事実上無限の容量、高い耐久性、そして1ギガバイトあたりの低い容量コストによるものです。大規模オブジェクトと並列アクセスでは、高い集約帯域幅を提供します。S3は、コンピュートをステートレスに保つことを可能にする、共有された耐久性のある名前空間を提供します。例えば、オープンデータレイクスタック（Iceberg + Parquet + S3）は、クラウドにおける分析の基盤となっています。WarpstreamはS3上のKafkaです。TurbopufferはS3上にベクトルストレージを構築しています。S3は、記録システム、長期保存、バックアップターゲット、そして一般的に真実の源となっています。新しいデータシステムのデフォルトアーキテクチャは、データをS3に入れ、その上でステートレスなコンピュートを実行することです。 S3は、意味のある意味で、HTTP APIの背後にある百万個のハードディスクです。個々のリクエストは100 MB/s未満を生成し、レイテンシは数十ミリ秒で測定されます[1]。これらの特性は偶然のものではなく、ディスクの物理的特性に起因しており、S3上に構築されたすべてのシステムにアーキテクチャ上のコストを課しています。レイテンシを隠すためにキャッシングレイヤーが必要です。リクエストごとのオーバーヘッドを償却するために、小さな書き込みを大きなオブジェクトにバッチ処理する必要があります。S3自体が小さなランダムルックアップを効率的に処理できないため、別のメタデータストア（例: DynamoDB、FoundationDB）が必要です。レコードをインプレースで更新することはできず、オブジェクト全体を書き直す必要があります。結果として、あらゆる真剣なS3ベースのソフトウェア設計は、部分的にS3の制限を回避するためのシステムとなっています。 S3は20年前にリリースされました。それ以来、SSDの価格は着実に下落しており[2]、SSDとディスクの差は3倍程度に縮小しました[3]。これは重要です。なぜなら、SSDは根本的に異なるパフォーマンスを持っているからです。アクセスレイテンシは約100マイクロ秒（S3より2桁高速）、デバイスあたり毎秒数百万回のI/O操作、そして4KBまでの小さなランダム読み書きの粒度です。最新のデータセンターネットワークもそれに追随しています。100 Gbit以上のリンクは、データセンター内では100マイクロ秒未満、同じリージョン内の異なるデータセンター間では1ミリ秒未満のレイテンシを提供します。SSDベースの、ディスアグリゲートされたストレージとデータセンタークラスのネットワーキングを組み合わせることで、今日のS3中心の設計を定義する多くの制約や回避策を取り除くことができます。 ストレージがマイクロ秒単位で応答する場合、キャッシングはオプションになります。小さなランダムアクセスが安価であれば、バッチ処理はもはや必須ではなくなります。インプレースでの更新が可能であれば、コンパクションや再編成は不要になります。ストレージが両方のアクセスパターンを効率的に処理できるため、メタデータとデータストレージを単一のシステムに統合できます。 AmazonのSSDベースの製品であるS3 Express One Zoneは、2023年に発売されました。これは単一のアベイラビリティゾーンに限定されており、S3を本番データにデフォルトで選択させる耐久性と可用性の保証を犠牲にしています。この大幅な譲歩にもかかわらず、レイテンシは依然として数ミリ秒であり、最新のSSDとネットワークが可能なことからは程遠いです。1ギガバイトあたりの容量コストは標準S3よりも大幅に高く、帯域幅の価格設定は、低レイテンシストレージを最も価値あるものにする高スループットアクセスパターンを思いとどまらせるほど急峻です。その結果、ニッチな製品であり、用途が限定的であり、次世代データシステムの基盤とはなり得ません。 しかし、耐久性、容量、および価格設定プロファイルにおいて、S3の汎用的な代替品として機能するために必要な、真のSSDベースのディスアグリゲートされたストレージサービスを構築する上で、根本的な技術的障壁はありません。高速SSDは存在します。高速ネットワークも存在します。欠けているのはイニシアチブです。クラウドプロバイダーは膨大な数のハードディスク、現在の価格モデルで構築された莫大な収益の流れを持っており、それらを共食いさせるインセンティブはほとんどありません。障害は技術ではなく、慣性です。 皮肉なことに、S3ベースのアーキテクチャは、それを動機付けたハードウェアの制約が薄れつつあるまさにその時に、業界標準になりつつあります。私たちは、SSDベースのストレージには全くない制限を回避するために存在するアーキテクチャパターンをコード化しています。クラウドプロバイダーは、自分たちに都合の良いモデルを破壊するインセンティブを持っていないため、彼らがこの移行を主導するのを待つべきではありません。私たちは、インフラストラクチャのプリミティブ自体を構築すべきです。 https://www.vldb.org/pvldb/vol16/p2769-durner.pdf ↩︎ AIブームにより、2026年初頭にSSD、DRAM、ディスクの価格が4倍になりましたが、これはほぼ同時に起こりました。↩︎ https://www.vldb.org/pvldb/vol17/p4536-leis.pdf ↩︎