HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

スクラブが遅いなら、ZFS 設計に問題がある

If Scrubs Hurt, Your ZFS Design Is Broken (klarasystems.com)

19 pointsby assimpleaspossi8 コメント

要約

ZFS のスクラブ処理のパフォーマンスは、ストレージプールの健全性を反映します。スクラブが本番ワークロードに顕著な影響を与える場合、それはストレージ設計が日常的なメンテナンスに必要な IOPS とヘッドルームを欠いている兆候です。この記事では、スクラブパフォーマンスが低下する理由、プールの設計が問題にどのように寄与するか、そして特別な VDEV によるメタデータオフロードがスクラブとリシルバーのパフォーマンスをどのように向上させるかを解説します。

全文翻訳

scrub(チェックサム検証)がストレージに負荷をかけるなら、ZFSの設計に問題がある

すべてのZFS運用担当者は、この会話をしたことがあるでしょう。定期的にスケジュールされた月次のZFS scrubが実行され、その後の2日間、アプリケーションのレイテンシが倍増します。ワークロードは遅くなり、監視アラートが鳴り、ユーザーは不満を言います。scrubのスケジュールを四半期に一度にし、次に「監査の前」にし、最終的には実行しないようにします。12ヶ月後、ディスクが故障し、resilver(データ再構築)に1週間かかり、2台目のディスクにある潜在的なチェックサムエラーが、通常の交換作業をバックアップからのリストアが必要なインシデントに変えてしまいます。

メンテナンスがアウトエージ(停止)になる時

scrubを遅延させることは、運用担当者の立場からは合理的な判断です。scrubは本番環境に明らかな悪影響を与え、その価値は救ってくれる日まで目に見えません。見落とされているのは、その痛み(パフォーマンス低下)が何を伝えているかということです。scrubはZFSが持つ最低のI/O優先度で実行される読み取り専用のワークロードです。スケジューラの最低優先度クラスでさえアプリケーションを許容できないレイテンシに追い込むことができるなら、そのプールにはパフォーマンスのヘッドルームが全くないということです。scrubがその状況を作り出したわけではありません。それはそれを測定しただけです。

ストレージシステム内のすべてのデータを読み取るという単純な行為が、保護性能を低下させるほどのパフォーマンスインパクトを引き起こすのであれば、それは次に起こること(データ損失)からあなたを救おうとしている、炭鉱のカナリア(危険信号)なのです。

scrubが実際に行うこと

scrubは、プール内のすべての割り当て済みブロックをウォークし、そのチェックサムをそれを参照するブロックポインタと比較して検証します。正常なプールでは何も見つけません。異常なプールでは、ビットロト(データの劣化)、セクタの故障、誤った書き込みを、まだ冗長性があって修復できる間に発見します。それがscrubの目的そのものです。

OpenZFS 0.8以降、scrubは2つのフェーズで実行されます。最初のフェーズは、プール内のメタデータ、つまりどこにデータがディスク上に存在するかを記述する間接ブロックとdnodeのツリーをトラバースし、メモリ内にブロック範囲のソート済みリストを構築します。2番目のフェーズは、それらの範囲を大きなシーケンシャルリードとして発行します。これは、古いブロックポインタ順のscrubと比較して大幅な改善でした。古いscrubは、多数の小さなランダムリードでスピニングディスクに負荷をかけていました。しかし、最初のフェーズは依然としてメタデータトラバーサルに依存しており、断片化された小さなブロックが多いプールでは、そのトラバーサルはソートしても修正できないランダムリードワークロードとなります。

scrubのI/Oは意図的に優先度が下げられています。ZIOスケジューラは、インフライトのscrubリード(zfs_vdev_scrub_max_active)をキャップし、VDEVあたりの読み取るべきバイト数(zfs_scan_vdev_limit)をスロットリングします。scrubの負荷を感じる運用担当者は、通常、まずこれらのノブ(パラメータ)に手を伸ばし、ビジネスアワー中は実行を一時停止するために zpool scrub -p を使用します。

# zpool status tank  scan: scrub in progress since Sat Jul 11 02:00:14 2026       18.4T / 214T scanned at 312M/s, 9.1T / 214T issued at 154M/s       0B repaired, 4.25% done, 16 days 02:11:32 to go 

214TBのプールで16日という推定時間は、「今月はスキップできるか」という会話のきっかけとなる数字です。チューナブル値を下げると推定時間が悪化し、上げると本番環境のパフォーマンスが悪化します。ノブ(パラメータ)が問題なのではありません。プールは、このワークロードのための余地なしに設計されたのです。

サイジング(容量設計)が間違った場所

scrub中にパフォーマンスが低下するプールは、ほぼ常に2つの数値、つまり「利用可能テラバイト」と「価格」でサイジングされています。プールを健全に保つワークロードは、スプレッドシートに決して組み込まれませんでした。

最初の失敗は容量です。プールは初日にデータセットに合わせてサイジングされ、85%から95%まで満杯の状態での定常運用が普通になります。空き容量が減ると、ZFSの割り当て動作は低下します。アロケータは連続した領域を見つけるのに苦労し、空き容量は断片化し、最終的にZFSはギャングブロック(gang blocks)に頼るようになり、単一の論理書き込みを散在する断片に分割します。それらの断片のそれぞれが、次のscrubが追跡しなければならないブロックポインタとなります。満杯のプールは断片化されたプールであり、断片化されたプールはscrubのメタデータフェーズを数百万の小さなランダムリードに変えてしまいます。

2番目の失敗はIOPSです。RAIDZは1ドルあたりの容量を提供し、VDEVあたりのランダムリードIOPSは、各ディスクが論理ブロックリードに参加するため、単一ディスクの約2倍になります。5つの12台構成のRAIDZ2 VDEVで構築された60ドライブシャーシの12TBドライブは、約500TBの利用可能容量と約750のランダムリードIOPSを提供します。チームはその500TBをデータセットと比較して購入注文にサインします。しかし、750 IOPSを本番ワークロードと同時実行されるメタデータトラバーサル(scrub、resilver、または大規模なスナップショット削除が要求するもの)と比較する人はいません。

それが3番目の失敗です:メンテナンスには決して予算が割り当てられないことです。サイジングはアプリケーションのワークロードをモデル化し、そこで止まります。しかし、scrub、resilver、スナップショットのクリーンアップ、send/receiveレプリケーションは、本番プールにおけるオプションの追加機能ではありません。それらはシステムの寿命にわたって、定期的なスケジュールで実行される本番ワークロードなのです。アプリケーションをかろうじて満たすようにサイジングされたプールは、自身の維持費を払う余裕のないプールであり、月次のscrubはその赤字が回収される場所なのです。

修正のための経済学

正直な修正策は、より多くのVDEV、より狭いVDEV、またはミラーリング、そしてより低いフィル率(使用率)です。それらすべてにお金がかかります。顧客に、追加の容量なしでスピンドル数を倍増させるように言うことは、ほとんどの場合、うまくいかない会話です。ハードウェア予算は現実的な制約であり、それらを無視した設計アドバイスは役に立ちません。

代わりに、活用できる非対称性があります。scrubとresilverの痛みはメタデータに集中します:小さなブロックがプール全体に散らばり、依存順序で読み取られます。スピニングディスクはまさにこの点で劣っており、scrubの第2フェーズを支配する大きなシーケンシャルリードには依然として優れています。痛みを引き起こすワークロードは、容量のごく一部です。その一部を、その種のワークロードのために作られたメディアに移動させます。

特別なVDEVによるメタデータオフロード

OpenZFSの割り当てクラス(allocation classes)により、プールは特別なVDEV、通常はエンタープライズSSDまたはNVMeデバイスのワイドミラーを保持できます。これは、すべてのプールメタデータ(間接ブロック、dnode、spacemap、dedupを使用している場合はDDTも)を受け取ります。データブロックはスピニングディスク上に残ります。

# zpool add tank special mirror nvme0n1 nvme1n1 nvme2n1 

scrubの動作への影響は直接的です。HDD上でランダムリードの嵐を引き起こしていたメタデータトラバーサルフェーズは、SSD上で5桁または6桁のIOPSで実行されるようになり、スピニングディスクは得意なシーケンシャルデータリードのみを処理します。resilverスキャンも同様に恩恵を受け、メタデータに触れるすべての本番操作(ディレクトリリスト、stat負荷の高いワークロード、スナップショット操作、スペースアカウンティング)も同様です。

special_small_blocks プロパティは、これを小さなファイルデータにも拡張します。しきい値以下のブロックは、メタデータと一緒に特別なVDEVに配置されます。

# zfs set special_small_blocks=32K tank/vms 

サイジングは推測ではなく測定可能になります。zdb -bb tank はブロックタイプごとに割り当てられたスペースを分解します。データ以外のカテゴリを合計すると、現在のメタデータのフットプリントが得られます。128Kレコードサイズの典型的なプールでは、メタデータは割り当てられたスペースの1%未満で動作します。成長と小さなブロックのオーバーフローを考慮すると、2TB NVMeデバイスのミラーセットは、数百テラバイトのプールを快適に処理できます。ラックに既に搭載されているシャーシとドライブのコストに対して、これはハードウェア予算の数パーセントに過ぎず、メンテナンスを現実的なものにするために特別に購入されたものです。

2つの注意点が重要です。特別なVDEVはトップレベルVDEVであるため、それを失うとプール全体を失います。したがって、ミラー化し、プール全体の耐障害性に合わせるために3つまたは4つのミラーを使用してください。また、割り当てクラスは新しい書き込みにのみ適用されます。既存のメタデータは、書き直されるまでスピニングディスク上に残ります。そのため、古いプールに追加された特別なVDEVは徐々に効果を発揮するか、OpenZFS 2.4で導入された新しいzfs rewrite機能を使用すると即座に効果を発揮します。特別なVDEVがいっぱいになると、割り当ては失敗するのではなくメインプールにスピルバックするため、アンダーサイジングはアウトエージを作成せずにメリットを低下させます。

scrubは火災訓練である

月次のscrubは、最終的に実行しなければならないresilverのリハーサルです。同じI/Oパターンで実行されますが、resilverはプールが劣化している間に行われ、実行時間の1時間ごとに2回目の障害にさらされるリスクが増加します。scrubが本番環境に悪影響を与えることなく実行できないプールは、安全にresilverを実行することさえできません。それが設計で考慮すべき基準です。

したがって、scrubの痛みを診断ツールとして扱ってください。プールをアプリケーションとその維持費のためにサイジングしてください。アロケータが呼吸できるようなフィル率を維持してください。ワークロードが実際に必要とする場所にIOPSを購入し、scrubとresilverに関しては、それらを必要とするワークロードはメタデータであることを認識してください。小さなメタデータオフロードへの投資は、購入できる最も安価なヘッドルームであり、scrubを月次のインシデントから、本来設計されていたもの、つまり時折データを救うバックグラウンドノイズへと転換させます。

軌道修正に戻る

システムで定期的なscrubが実行されていない場合、またはプールにメタデータオフロードVDEVを追加するために何が必要か調査したい場合は、Klaraがお手持ちの既存プールを安全に調整し、必要なIOPSを得るお手伝いができます。既存および将来のメタデータニーズに対応するための新しいメタデータVDEVのサイジング、およびspecial_small_blocksがどの程度のメリットをもたらすかを判断するためのコンサルテーションは、データを保護するための小さな投資です。

KlaraのZFSインフラストラクチャサポートは、ストレージのボトルネックの根本原因を特定し、プールの設計を最適化し、パフォーマンスを向上させ、scrubやresilverのようなメンテナンスタスクが本番環境を中断することなく確実に実行されるようにするための実践的な推奨事項を提供します。