HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Shopify、在庫予約にRedisからMySQLへ移行し、スケーリングに成功

Shopify replaced Redis with MySQL for inventory reservations–and it scaled (shopify.engineering)

310 pointsby adletbalzhanov207 コメント

要約

Shopifyは、在庫予約システムで長年使用していたRedisをMySQLに置き換え、スケーリング目標を達成しました。この移行では、SKIP LOCKED機能、複合主キー、接続可視性を活用し、特にピーク時の高スループット要件を満たしました。以前のRedisモデルではアトミックなトランザクション処理が困難でしたが、MySQLへの移行によりACIDトランザクションが可能になり、在庫の二重販売や販売機会損失のリスクを排除しました。

全文翻訳

RedisをMySQLに置き換えて在庫予約をスケーリングした話

チェックアウト時、バイヤーが「購入を完了する」をクリックしたとき、購入しようとしている商品がまだ利用可能であることを保証する必要があります。この判断を誤ると、2人のバイヤーが同じ最後の1点を購入してしまう可能性があります。その場合、マーチャントは注文をキャンセルし、謝罪メールを送り、サポートコストを負担しなければなりません。逆に誤ると、実際には在庫があるのに売り切れだとバイヤーに伝えてしまい、マーチャントは本来得られたはずの売上を失うことになります。

Shopifyの規模では、どちらの失敗も急速に増幅します。2025年のブラックフライデーには、当社のプラットフォーム上のマーチャントは、ピーク時に1分あたり510万ドルの記録的な売上を達成しました。それらの取引はすべて在庫に影響します。

当社のオーバーセリング保護システムは、支払い処理中に在庫を予約することでこれを処理します。これは、2つの同時チェックアウトが同じ商品を確保しようとするのを防ぐための短い保留です。長年、これはRedis上で稼働していました。統合データベース戦略へと移行するにあたり、私たちは難しい問いに答えなければなりませんでした。MySQLは同じ規模に対応できるのか?

以前の試みは失敗していました。数量カラムを持つ単一の行では、競合に対応できませんでした。MySQL 8のSKIP LOCKED機能は、異なる設計をもたらしました。それは、アイテムごとに1行ではなく、在庫ユニットごとに1行というものです。37signalsのアプローチ(データベースベースのロード分散に関するもの)に触発され、私たちは予約システムをMySQL上に再構築し、2025年のピークトラフィック中の高スループット目標を達成しました。

しかし、最も難しい教訓はデータベース設計に関するものではありませんでした。それは、私たちが観測・測定していたものが実際のボトルネックではなかったという発見でした。この記事では、その解決策と、その過程で発見したことについて説明します。

チャレンジ

オーバーセリング保護とは?

オーバーセリング保護には、主に2つの操作があります。

  • 予約(Reserve): 支払いが開始されたときに、商品を予約済みとしてマークします(数分程度の短い保留)。
  • 確定(Claim): 支払いが成功したときに、在庫台帳(真実の源)から数量を永久に差し引きます。

チェックアウト完了は、これが高速かつ正確であるかに依存します。予約が遅いとスロットリングが発生し、バイヤーエクスペリエンスが悪化します。間違いは、オーバーセリング(顧客の不満)またはアンダーセリング(収益損失)につながります。

スケールと正確性の要件

ここでのスケールは抽象的なものではありません。Shopifyは米国のeコマースの14%以上を支えており、2025年のブラックフライデーには、ピーク時の売上/分が前年比11%増加しました。予約は在庫に触れるすべてのチェックアウトで実行されるため、システムはリクエストをドロップしたり一貫性を壊したりすることなく、その急増に対応する必要があります。

私たちは以下のことを達成する必要がありました。

  • ピークトラフィック中のプラットフォームの高パフォーマンススループット目標をサポートする
  • マルチロケーション在庫を尊重する(履行可能なロケーションからのみ予約する)
  • 予約と在庫台帳の間でACID保証を維持する
  • 正確性を最優先する:オーバーセリングも予約損失も発生させない
Redisモデルとその限界

以前のシステムでは、予約はRedisに保存されていました。各アイテムには数量キーがあり、予約はDECR、解放はINCRでした。Redisは競合をうまく処理しましたが、予約と在庫台帳は2つの異なるシステムに存在していました。

確定ステップ(支払いが処理され、在庫が永久に差し引かれる)では、MySQLを更新しRedisをクリーンアップする必要がありましたが、これらの2つの操作を単一の原子的なステップにまとめることはできませんでした。順序によっては、オーバーセリング(商品が販売されたのに台帳から差し引かれなかった)やアンダーセリング(商品が差し引かれたのに予約済みとマークされたままだった)が発生する可能性がありました。

さらに、Redisモデルにはマルチロケーションの認識がなく、維持するための別のクラスターという運用コストが追加されていました。予約を台帳と同じMySQLデータベースに移動することで、すべてをACIDトランザクションでラップし、これらの障害モードを完全に排除することができました。

ソリューション:SKIP LOCKED

コアアイデア:設計による制限、ユニットごとの1行

数量カラムを持つアイテムごとの1行ではなく、販売可能なユニットごとに1行を使用します。10ユニットを持つアイテムは10行になります。3ユニットを予約するということは、単一のトランザクションで3行を選択して移動させることを意味します。予約と在庫台帳を同じデータベースに保つことで、予約と確定の間でACIDを取得し、Redisでは可能だったバグ(例:支払いは成功したが在庫が確定されなかった、またはその逆)を修正できます。

簡略化された予約フローは次のようになります。

-- 予約したい商品/ロケーションの在庫ユニットを取得
SELECT * FROM inventory_units
WHERE inventory_item_id = ?
  AND location_id = ?
  AND reserved_at IS NULL
  AND quantity_remaining > 0
FOR UPDATE SKIP LOCKED
LIMIT ?;

SKIP LOCKEDがこれをスケーラブルにしています。別のトランザクションが一部の行をロックしている場合、MySQLはそれらをスキップし、利用可能な他の行を返します。同じ行で待機せず、競合が少なくなります。

しかし、すべての在庫に対してユニットごとの1行では、スケールすると破綻します。10ロケーションにわたる50,000ユニットのアイテムは500,000行になり、予約クエリはそれらをスキャンするにつれて遅くなります。代わりに、アイテム/ロケーションの組み合わせごとに最大1,000行に制限された利用可能な行のプールを維持します。予約はこのプールから行を消費し、補充プロセスが在庫台帳からそれを補充します。

なぜ1,000なのか? キャップは、枯渇せずにバーストを吸収するのに十分な大きさでありながら、テーブルをコンパクトに保ち、SKIP LOCKEDのスキャンを高速に保つのに十分小さい必要があります。フラッシュセール中にアイテム/ロケーションごとに観測されたピーク予約率に基づいてサイズを決定しました。1,000という値は、持続的な負荷の下で補充が追いつくのに十分なヘッドルームを提供し、テーブルがクエリパフォーマンスが低下するほど大きくなるのを防ぎます。

プールが空になったらどうなるか? 極端なフラッシュセール中、ホットなアイテムのプールは一時的に枯渇する可能性があります。その場合、予約パスはインラインで補充をトリガーします。ロックにより、一度に補充できるトランザクションは1つだけになります。同じアイテムに対する他の同時予約は、すべてが挿入行に競合するのを避けるために、それが完了するのを待ちます。補充が完了すると、待機中のトランザクションは満杯のプールで続行されます。バイヤーは、実際に在庫がない場合を除き、アイテムが利用できないとは決して見なしません。これは特定の予約に遅延を追加しますが、正確性は維持されます。利用可能な在庫を持つバイヤーが拒否されることはありません。

主要な技術的決定

1. 複合主キー:行あたりのロック数を削減

最初のプロトタイプでは、自動インクリメントIDを主キーとして使用しました。ロック動作(例:SHOW ENGINE INNODB STATUSを使用)を観測したところ、1つではなく、予約ごとに2つの行ロックが発生していることがわかりました。

自動インクリメント主キーでは、InnoDBはWHERE句で使用されるセカンダリインデックスとクラスタ化インデックス(主キー)の両方をロックしていました。フィルタリングするカラムが主キーの一部となるように、複合主キー(shop_id, inventory_item_id, inventory_group_id, id)に切り替えました。これにより、行あたりのロックが1つに減り、毎秒多数の予約を実行する際には重要でした。

教訓:この規模では、インデックスと主キーの設計がロック数とスループットに直接影響します。

2. READ COMMITTED:ギャップ(Supremum)ロックの回避

補充が必要な空のテーブルでSELECT ... FOR UPDATE SKIP LOCKEDを実行した際、ギャップロック(「Supremum」疑似レコード上のものを含む)が発生しました。これらのロックは、補充トランザクションが新しい行を挿入するのをブロックし、デッドロックにつながる可能性がありました。

これらのトランザクションのトランザクション分離レベルを、MySQLのデフォルトであるREPEATABLE READからREAD COMMITTEDに変更しました。READ COMMITTEDの下では、InnoDBは同じ方法でギャップロックを取得しないため、補充を進めることができました。Jahfer HusainのInnoDBロックに関するガイドは、これを理解するのに非常に役立ちました。これは、このコードベースで非デフォルトの分離レベルを初めて使用した例でした。トランザクションごとに分離を設定するための小さなフレームワークサポートが必要でした。

3. 一貫したロック順序:デッドロックの回避

予約と確定が異なる順序で2つのテーブルに触れる際にデッドロックが発生しました。予約はreserved_quantitiesへのINSERT、次にreservation_unitsからのDELETEを行っていましたが、確定はreserved_quantitiesからのDELETEのみを行っていました。異なるトランザクションが異なる順序で2つのテーブルをロックし、サイクルを形成する可能性がありました。

修正は順序を標準化することでした。予約は常にunitsテーブルから先にDELETEし、次にreserved_quantitiesにINSERTします。確定はreserved_quantitiesのみに触れます。両方のパスが同じ順序でロックを取得するようになったため、どちらも相手が待機しているロックを保持できなくなり、循環待機がなくなりました。

4. UNION ALLによるバッチ処理

データベースへの各ラウンドトリップにはコストがかかります。複数のラインアイテムを持つカートの場合、UNION ALLを使用して予約クエリをバッチ処理し、1回のラウンドトリップですべての必要なユニットを取得します。

SELECT * FROM inventory_units WHERE id IN (
  SELECT id FROM inventory_units
  WHERE inventory_item_id = ? AND location_id = ? AND reserved_at IS NULL
  ORDER BY RAND() -- or some other deterministic order
  LIMIT ?
) FOR UPDATE SKIP LOCKED;

-- If multiple items in the cart, use UNION ALL
SELECT * FROM inventory_units WHERE id IN (
  SELECT id FROM inventory_units WHERE inventory_item_id = ? AND location_id = ? AND reserved_at IS NULL LIMIT ?
  UNION ALL
  SELECT id FROM inventory_units WHERE inventory_item_id = ? AND location_id = ? AND reserved_at IS NULL LIMIT ?
) FOR UPDATE SKIP LOCKED;

これにより、総ラウンドトリップ数が削減され、負荷下でのレイテンシが改善されました。

真のボトルネック:CPUではなく接続数

本番環境では、目標を大幅に下回るスループットの天井に達しました。予約レイテンシ(例:P90)は許容範囲内であり、CPUは最大化されておらず、クエリはすでに最適化されていました。そこで、私たちは他の要因を探しました。

より少ない接続を使用するために、複数のチェックアウトの予約を単一のSKIP LOCKEDクエリにバッチ処理することを試みました。これはロードテストでは役立ちましたが、複雑さが増しました。また、一部の読み込み負荷をレプリカに移行しました。それでも、何かが合わないように感じました。

症状を追跡する

ロードテスト中に、以下の症状が見られました。

  • MySQLでのスレッドキューイング
  • キューイングされた作業が実行される際のCPUスパイク
  • ProxySQLレイヤーでのMySQLバックエンドへの接続枯渇

そこで、どのビジネスプロセスがデータベース接続を保持しているか、そしてどれくらいの時間保持しているかについての可視性を追加しました。接続が枯渇していることを知っていても、誰がそれらを保持しているかはわかりません。呼び出し元ごとの属性が必要でした。

アプリケーション側では、/* conn_tag:checkout_completion */のようなビジネスプロセスを識別するコメントタグをすべてのSQLステートメントに付与しました。ProxySQLレイヤーでは、タグを解析し、各呼び出し元が接続を保持している時間を測定するトラッキングを追加しました。結果:ビジネスプロセスごとに内訳された、総接続保持時間。

これにより、どの呼び出し元が最も多くの接続時間を消費しているかがすぐにわかりました。どのクエリが遅いかではなく、どのプロセスが長いトランザクション全体で接続を保持しているかです。接続制限に達していて理由がわからない場合は、このパターン(アプリレイヤーでのタグ付け、プロキシでの集計)は実装が容易で、すぐに実行可能です。

発見したもの

接続使用量を確認できるようになると、予約だけがヘビーユーザーではないことがわかりました。チェックアウトパスの他の部分も、必要以上に長く接続を保持していました。それらは、最初に制限に達していなかったため、最適化されていませんでした。接続は有限です。高スループットでは、毎秒多くの短いトランザクションが必要です。他のコードが接続をより長く保持している場合、予約は最後の藁となりました。予約が遅かったからではなく、プールがすでに枯渇寸前だったからです。

チェックアウトパスのクリーンアップにより、プライマリデータベースでの読み込みが50%、トランザクションが33%削減されました。MySQLの設定も見直しました。InnoDBのスレッド同時実行数は、数年前に控えめに設定され、再評価されていませんでした。私たちのワークロードは変化していました。ヘッドルームがある場所でスレッド同時実行数を増やした後、接続とCPUのメトリクスを並べて見ないと見えなかったボトルネックを解消しました。

これらのクリーンアップと設定変更を組み合わせることで、天井が取り払われました。以前の制限を超えてスケールし、目標を達成することができました。高ボリュームのフラッシュセール中、ライターのCPUは50%未満、リーダーのCPUは16%未満に保たれ、十分なヘッドルームがありました。

カットオーバー

RedisからMySQLへの切り替えを一度に行いませんでした。「シャドウモード」と呼ぶべき、両方のシステムを並行して実行しました。すべての予約はRedisとMySQLの両方に書き込まれ、Redisが真実の源であり続けました。これにより、2つのシステムを並べて比較し、MySQLが正しいビジネス成果を生み出し、実際のプロダクショントラフィックでパフォーマンス要件を満たしていることを検証できました。両方のシステムが稼働していたため、移行すべきインフライト予約はありませんでした。Redisの予約は、MySQLが独自のステートを構築している間も引き続き尊重されました。

正確性とパフォーマンスに満足した後、真実の源をMySQLに切り替えました。何か問題が発生した場合は、キルスイッチでRedisにロールバックできました。デュアルライトパスはまだアクティブだったので、Redisは常に予約の完全なビューを持っていました。ロールアウトは段階的で、ポッドごとに行われ、低トラフィックのポッドから始まり、最も高ボリュームのマーチャントへと進みました。

学んだこと

このプロジェクトから多くのことを学びましたが、主なテイクアウェイは2つです。

1. 古い決定を再検討する

5年前には不可能だったこと(例:このワークロードでのMySQLの使用)が、SKIP LOCKEDのような新機能により、今日では可能になっています。設定も同様です。ワークロードとハードウェアが進化するにつれて、スレッド制限やその他の「経験則」の設定は再確認する価値があります。数字が合わない場合(例:CPUは低いがキューイングが多い)は、深く掘り下げてください。

2. 小さく始めて観察する

最小限のプロトタイプから多くの価値を得ました。それは、Railsのような完全なフレームワークではなく、小さなRubyスクリプトとMySQLでした。データベースを観察すること(例:別のターミナルでのロック動作)は、理論だけよりも多くのことを教えてくれました。シンプルでタイトなフィードバックループを持つツールは、探求する際には、大きくて不透明なシステムよりも優れています。

MySQLは現在、かつては特殊なインフラストラクチャを必要とすると想定されていたワークロードを処理できます。Redis、Kafka、またはカスタムコーディネーションレイヤーを高スループットの相互排他に使用している場合、既存のデータベースで十分かもしれません。

ボトルネックは予想していた場所にはありませんでした。数週間クエリとロックを最適化しましたが、実際の制限は、見ていなかったコードでの接続使用量でした。数字が合わない場合(CPUは低いがキューイングが多い)は、パス全体を計装してください。答えは、エンジンではなく、配管にあることが多いです。

特に重要なのは、これは予約を速くすることではありませんでした。それらを安全な隣人として扱うことでした。予約は、カート更新、支払い処理、注文作成と同じデータベースを共有します。接続を飽和させたり、ロックを長時間保持したりするシステムは、それらすべてを危険にさらします。本当の基準は、他のすべてに対してデータベースの健全性を低下させることなく、スループットを維持することでした。

私たちにとって、その成果は具体的です。より信頼性の高い予約は、オーバーセリングがなくなり、マーチャントの購入成功率が向上することを意味します。

[画像: Water line vs race meme: inventory]