S3は未来であり、S3は過去でもある
S3 Is the Future, S3 Is the Past (btrblocks.com)
要約
Amazon S3は現代のクラウドソフトウェアアーキテクチャの基盤となっていますが、その設計思想はディスクの物理的特性に根差しており、SSDの進化によりその限界が露呈し始めています。SSDベースのストレージは、低レイテンシ、高IOPS、小容量アクセスといった点でS3を凌駕する可能性を秘めていますが、クラウドプロバイダーは既存のビジネスモデルを維持するため、この移行を主導するインセンティブを持っていません。そのため、次世代のデータシステム基盤を構築するには、自らインフラストラクチャのプリミティブを開発する必要があります。
全文翻訳
S3は未来であり、S3は過去でもある
Amazon S3および他のクラウドのアナログは、現代のクラウドソフトウェアアーキテクチャの基盤となっています。今日、ほぼすべてのデータ集約型システムがS3を中心に構築されています。しかし、S3の設計に組み込まれたハードウェアの前提条件、そしてそれを取り巻くすべてのソフトウェアアーキテクチャが急速に時代遅れになりつつあります。
S3の優位性は、その多くの利点、すなわち事実上無限の容量、高い耐久性、そしてギガバイトあたりの低コストに起因します。大規模オブジェクトと並列アクセスに対しては、高い集約帯域幅を提供します。S3は、コンピューティングをステートレスに保つことを可能にする、共有された永続的な名前空間を提供します。例えば、オープンデータレイクスタック(Iceberg + Parquet + S3)は、クラウドにおける分析の基盤となっています。WarpstreamはS3上のKafkaです。TurbopufferはS3上にベクトルストレージを構築しています。S3は記録システム、長期保存、バックアップターゲット、そして一般的には真実の源泉となりました。新しいデータシステムのデフォルトアーキテクチャは、「データをS3に入れ、その上でステートレスなコンピューティングを実行する」というものです。
S3は、意味のある意味で、HTTP APIの背後にある百万個のハードディスクです。個々のリクエストは100 MB/s未満しか得られず、レイテンシは数十ミリ秒で測定されます[1]。これらの特性は偶然ではなく、ディスクの物理的特性に起因しており、S3上に構築されたすべてのシステムにアーキテクチャ上のコストを課しています。レイテンシを隠蔽するためにキャッシュ層が必要です。リクエストごとのオーバーヘッドを償却するために、小さな書き込みを大きなオブジェクトにバッチ処理する必要があります。S3自体が小さなランダムルックアップを効率的に処理できないため、別のメタデータストア(例: DynamoDB、FoundationDB)が必要です。レコードをインプレースで更新することはできず、オブジェクト全体を書き直す必要があります。結果として、あらゆる真剣なS3ベースのソフトウェア設計は、部分的にはS3の制限を回避するためのシステムとなっています。
S3は20年前にリリースされました。それ以来、SSDの価格は着実に下落しており[2]、SSDとディスクのギャップは3倍程度に縮まっています[3]:
[画像: SSD価格の下落]
これは重要です。なぜなら、SSDは根本的に異なるパフォーマンス特性を持っているからです。アクセスレイテンシは約100マイクロ秒(S3の2桁以上高速)、デバイスあたり毎秒数百万回のI/O操作、そして4KBまでの小さなランダム読み書きの粒度です。最新のデータセンターネットワークも追随しており、100 Gbit以上のリンクはデータセンター内では100マイクロ秒未満、同じリージョン内の異なるデータセンター間では1ミリ秒未満のレイテンシを提供します。
SSDベースの、分離されたストレージとデータセンタークラスのネットワーキングを組み合わせることで、今日のS3中心の設計を定義する多くの制約や回避策を取り除くことができます。ストレージがマイクロ秒単位で応答する場合、キャッシングはオプションになります。小さなランダムアクセスが安価であれば、バッチ処理はもはや必須ではありません。インプレースでの更新が可能であれば、コンパクションや再編成は不要になります。メタデータとデータストレージは、ストレージが両方のアクセスパターンを効率的に処理できるため、単一のシステムに統合できます。
AmazonのSSDベースの製品であるS3 Express One Zoneは2023年に発売されました。これは単一のアベイラビリティゾーンに制限されており、S3を本番データ用のデフォルトの選択肢にしている耐久性と可用性の保証を犠牲にしています。この重大な譲歩にもかかわらず、レイテンシは依然としてマルチミリ秒であり、最新のSSDとネットワークが可能なことからは程遠いです。ギガバイトあたりの容量コストは標準S3よりも大幅に高く、帯域幅の価格設定は、低遅延ストレージを最も価値あるものにする高スループットのアクセスパターンを思いとどまらせるほど高価です。その結果、次世代データシステムの基盤ではなく、狭いユースケースのニッチな製品となっています。
しかし、耐久性、容量、そしてS3の汎用的な代替として機能するために必要な価格設定プロファイルを持つ、真のSSDベースの分離型ストレージサービスを構築する上で、根本的な技術的障壁はありません。高速SSDは存在します。高速ネットワークも存在します。欠けているのはイニシアチブです。クラウドプロバイダーは膨大な数のハードディスク、現在の価格モデルで構築された莫大な収益の流れを持っており、それらを共食いさせるインセンティブはほとんどありません。障害は技術ではなく、慣性です。
皮肉なことに、S3ベースのアーキテクチャは、それを動機付けたハードウェアの制約が薄れつつあるまさにその時期に、業界標準になりつつあります。私たちは、SSDベースのストレージには存在しない制限に対処するために存在するアーキテクチャパターンをコード化しています。クラウドプロバイダーは、彼らにとってうまく機能するモデルを破壊するインセンティブを持っていないため、彼らがこの移行を主導するのを待つべきではありません。私たちは、インフラストラクチャのプリミティブを自ら構築すべきです。
-
AIブームにより、2026年初頭にSSD、DRAM、ディスクの価格は4倍になりましたが、これはほぼ同時に起こりました。↩︎