P[ドライブ障害]: NASはどれくらい信頼できるか?
P[drive failure]: how reliable is your NAS? (khz.ac)
要約
この記事は、個人のNAS(ネットワーク接続ストレージ)システムにおけるデータ永続性の課題について論じています。著者は、長期的なデータ保存の信頼性を確保するために、Btrfsファイルシステムと地理的に分散したRAID1構成(ローカルとリモートのコピー)を採用する計画を説明しています。ドライブの物理的な故障とセクターエラーという2つの主要なデータ損失モードを分析し、最新のハードドライブの信頼性に関する傾向と、監視システム(SMART)の限界について考察しています。
全文翻訳
(P[\text{ドライブ障害}])
こちらはより興味深い問題です。なぜなら、LSEはドライブ障害とは異なり、互いに独立ではないからです! LSEは、時間的にも空間的にも近くで、グループとして発生する可能性が最も高いです(おおよその分布については上記を参照)。したがって、特定のドライブで1つのLSEに遭遇した場合、その近くにさらに多くのLSEが存在する可能性が高いと考えられます。そのため、LSEによるデータ破損の深刻さを判断する際には、PMF(確率質量関数)を考慮する必要があります。
\begin{equation} \label{1411fb31d54e13e11aea72b812891307} \begin{split} & P[k\ \text{ドライブが}\ t\ \text{の間に同じLSEを発生させる確率}] \ [0.7em] & = P[\text{1つのドライブが}\ t\ \text{の間にLSEを発生させる確率}] \ & \qquad \cdot \sum_ {m = 1}^\infty P[m\ \text{LSEs}, |, 1\ \text{LSE}] \cdot P[\text{残りのドライブが}\ m\ \text{のうち少なくとも1つを共有する確率}] \ \end{split} \end{equation}
ここで、LSEイベントもポアソン分布に似ていると仮定すると、
\begin{equation} P[\text{1つのドライブが}\ t\ \text{の間にLSEを発生させる確率}] = 1 - \exp\left(-\text{LSEレート} \cdot t\right). \ \end{equation}
\eqref{1411fb31d54e13e11aea72b812891307}の最後の確率、(P[\text{残りのドライブが}\ m\ \text{のうち少なくとも1つを共有する確率}]) が難しい部分です。なぜなら、それらの(m)個のLSEはクラスター化されているため、配列内の他のドライブのいずれかが、その(m)個のLSEの範囲内またはその近くでLSEを発生させた場合、さらに多くのLSEが発生する可能性が高まります。したがって、不良セクタごとに、最初のドライブ上の不良セクタの特定の構成を考慮して確率を掛け合わせる必要があるかもしれません。おそらく、ここに(E[\text{何か}])のようなくだらないものが含まれるかもしれません…
これは考えるのが難しいと私は主張します。
この分析でしばらく私を悩ませていたのは、特定のLSE構成の確率の推定値を得たかったのですが、それによってすべてのドライブが特定のLSEを共有する確率を推定できると考えたのですが、その確率を持っていなかったことです。つまり、論文や私のデータから得られたのは、近くに別のLSEがある場合にLSEが発生しやすいという推定値でした。言い換えれば、あるディスクセクタ(s_1, s
itro)に対して(P[\text{LSE at}\ s
itro\ |\ \text{LSE at}\ s
itro\ \text{}])の推定値は持っていましたが、本当に欲しかったのは、すべての可能なディスクセクタ(D)の部分集合(S)に対する(P[\text{LSEs at}\ S])でした。
したがって、(P[s])と(P[s
itro\ |\ s
itro\ \text{}])(すべての(s, s
itro, s
itro\ \in D)に対して)から、(P[S])((S \subset D))をどのようにして得るのでしょうか?
…できません。私はこれを試すのにしばらく時間を費やしましたが、それがランダムベクトルの要素ごとの期待値と自己相関から完全なPDFを再構築する問題と実質的な類似性を持っていることに気づき、解決策を見つけられず、不可能だと疑っています。また、モーメントのみから確率分布を再構築する問題、つまりモーメント問題…なので、Claudeにこれが実現可能かどうか尋ねたところ、(N = 3)に対する反例を提示され、私の戦略の希望は打ち砕かれました。要するに、(P[s])と(P[s
itro\ |\ s
itro\ \text{}])からは、(P[S])を得ることはできません。なぜなら、それは絶望的に制約が不足しているからです。
その問題の「与えられた」と見なす量についてさえ、巨大な不確実性があるため、私にとって最善の策は、全体に対する正当化可能なアプローチを考え出し、それを実行することだと考えました。
私は、特定のセクタにおけるLSEの経験的な事前確率が、高次の相関を十分に考慮して推定値を提供すると判断し、他のドライブ上の追加の不良セクタの確率を互いに独立であるとみなすことにしました。これにより、検討中の範囲内のドライブが複数のLSEを持つ多くのケースを効果的に二重にカウントするため、保守的な推定値が得られるはずですが、これについては完全には確信が持てません!おそらく、これは「バイブチェック」はパスするでしょう。確率的な重労働の大部分は(P[m\ \text{LSEs}, |, 1\ \text{LSE}])に依存し、残りの式についてはもっともらしいものを構築するだけです。
以前の分析の非常に役立つ部分を利用します。ほとんどのLSEは「ディスク上の4KiBセクタを1つだけドロップする」という形式であり、btrfsブロックは16KiBサイズであるため、16KiBのセクタ粒度で分析を行うことができ、より正確に近づくことができます! 16KiBブロックは512Bセクタの32倍であり、(私のドライブのLSEのPMF推定値を考慮すると)ブロックに基づいた新しいLSE PMFは次のようになります。
| 16 KiBセクタ数 | 確率 |
|---|---|
| 1 | 81% |
| 2–3 | 15% |
| 4+ | 4% |
これで数学です。障害が発生したドライブ上の各不良セクタについて、それらのセクタのうち少なくとも1つについて、残りのすべてのドライブもそのセクタで障害を起こした確率を知りたいのです。
\begin{equation} \begin{split} & P[\text{残りのドライブが}\ m\ \text{のうち少なくとも1つを共有する確率}] \ & = P[k - 1\ \text{ドライブが}\ m\ \text{個のLSEのうち1つを共有する確率}] \ \end{split} \end{equation}
つまり、言い換えれば、すべての他のドライブがそれらのセクタのうち少なくとも1つを破損から救った確率の二重否定です。
\begin{equation} \begin{split} & P[\text{残りのドライブが}\ m\ \text{のうち少なくとも1つを共有する確率}] \ & = P[k - 1\ \text{ドライブが}\ m\ \text{個のLSEのうち1つを共有する確率}] \ & = 1 - P[k - 1\ \text{ドライブが}\ m\ \text{個のLSEのうちどれも共有しない確率}] \ & \approx 1 - P[k - 1\ \text{ドライブが特定のLSEを共有しない確率}]^m \ \end{split} \end{equation}
最後の推論は近似的です。なぜなら、特定のドライブ上のLSEは互いに独立ではないからです。しかし、セクタの定義をより大きなサイズに増やし、この点を考慮すると分析が非常に困難になるため、それらは独立であると仮定します。
少なくとも1つのドライブが特定のLSEを救済できるという最後の確率は、正確に計算できます。
\begin{equation} \begin{split} & P[k - 1\ \text{ドライブが特定のLSEを共有しない確率}] \ & = 1 - P[k - 1\ \text{ドライブが特定のLSEを共有する確率}] \ & = 1 - P[\text{特定のドライブが特定のLSEを持つ確率}]^{k - 1} \ \end{split} \end{equation}
特定のセクタにおけるLSEの事前オッズ、(P[\text{特定のドライブが特定のLSEを持つ確率}])は、ビットローテーションや定期的なスクラブなどが関係してくるため、検討する価値があります。直感的には、定期的なスクラブを増やすほどこの確率は低下するはずです。なぜなら、NASで最後のスクラブ以降にドライブが蓄積できたLSEは限られるからです。しかし、LSEレートは経験的に時間に対してほぼ一定であり、ワークロードとはあまり相関しないため、最初の近似として、次のように言えます。
\begin{equation} \begin{split} & \text{最悪ケースの期待LSE数/セクタ} \ & \qquad = \text{経験的LSEレート} \times \text{リビルド時間} \times \frac{\text{セクタサイズ}}{\text{ドライブサイズ}}. \ \end{split} \end{equation}
LSEの発生方法については、エラーバーストサイズの分布はおおよそパレート分布ですが、バーストが発生するレートは厄介な分布です…ただし、私たちの目的のためには、「読み取り時にこのセクタにLSEがあるか」は、リビルド時に測定されるベルヌーイ確率変数のようなものです。
\begin{equation} \begin{split} & P[\text{特定のドライブが特定のLSEを持つ確率}] \ & \approx \text{最悪ケースの期待LSE数/セクタ} \ \end{split} \end{equation}