ホームサーバーの死と再生
The death and rebirth of my home server (sgt.hootr.club)
要約
筆者のホームサーバーのmicroSDカードが予期せず故障したことをきっかけに、システム構成を見直しました。SDカードへの書き込みを最小限に抑え、zramをスワップに使用し、外部HDDを冗長化されたBtrfs RAID1プールに移行することで、信頼性とデータ安全性の向上を目指しました。
全文翻訳
ホームサーバーの死と再生
数日前の夕方、パートナーと私は特定のLinux ISOをインストールすることにしました。Red Letter Systemsの連中がそれを良く話していて、boundingboxdで良いレビューがあり、パートナーもインストール予告編を気に入っていました。
Piに既にインストールされているか確認するために、電話でTremotesfを開きましたが、トレントリストが読み込めませんでした。SMBマウントもマウントできませんでした。SSHで接続することもできませんでした。
その場でデバッグセッションを開始して夜を台無しにしたくなかったので、NixOSの設定に最近加えた変更による単純な問題だろうと片付け、翌日確認することにしました。
翌日
クローゼットにある専用のデバッグディスプレイにPiを接続し、指を鳴らして「デバッグの時間だ」とかそんなことを言って、ブリック(壊れたデバイス)を再起動しました。
現在のNixOS世代が起動し始め、カーネルをロードして…そこでハングしました。それ以上の出力はありませんでした。前の世代も同じでした。さらに調査するためにmicroSDカードを取り出しました。
最初の明白なステップはfsckを実行することでした。数日前に建物全体で謎の停電があり、ブートプロセスに重要なファイルを含むブロックの1つが書き込まれている最中に発生したのかもしれませんでしたか?いずれにせよ、チェックする価値はありました。fsck.ext4は多くのエラーを報告し、修正しました。もう一度実行すると、FSはクリーンだと報告されましたが、カードをイジェクトして再度挿入すると、さらにエラーが発生しました…
長話になりますが、カードはおそらく死んでおり、停電が単にとどめを刺しただけでした。Fキーを押して弔意を表してください。
在庫確認
このRaspberry Pi 4Bはほぼ24時間365日稼働して何年も経っていたので、これは驚きではありませんでした。私の理解では、SDカードは失敗する前に比較的少ない書き込みサイクルしか維持できません。驚くべきは、私がどれほどひどく扱っていたかを考えると、私のカードが問題なくそれほど長く動作したことです。microSDはルートFSとしてマウントされており、書き込みを最小限に抑えるための対策はほとんど講じていませんでした。
すべてを考慮すると、それほど多くは失いませんでした。重要なものはほとんど外部HDDに保存されており、設定はほぼすべて私のNixOS設定内にありました。microSDカード上にあり、バックアップがなかった唯一のものは、.torrentファイルとNavidrome、Jellyfin、slskdのキャッシュでしたが、これらはすべて簡単に再生成できました。Immichのデータは外部ドライブに安全にバックアップされており、定期的なバックアップを取っていたため、何も失われていません。
私はこれまで、このように「プライマリ」ドライブが壊れた経験はありませんでした。最悪だったのは、Linuxを初めてインストールしようとして、macbookのメインOS Xパーティションを誤って削除してしまった10代の頃以来、私の心にずっとあった、死んだフラッシュドライブがいくつかあったことですが、今ではこれまで以上に悪化しているので、強力な予防策を講じたいと思いました。
新しいセットアップの設定
いくつかの点を念頭に置いて、ホームサーバーを再構築することにしました。
- microSDへの書き込みを最小限に抑える。
- 外部ハードドライブに保存されているデータに何らかの冗長性を持たせる。
- 重要なものをすべてバックアップする。
スワップ、/tmp、その他の揮発性データ
Piの8GB RAMでもスワップは役立ちますが、長持ちさせたいのであればmicroSDへのスワップは良い考えだとは思いません。そのため、外部HDDにスワップするか、zramを使用するかのどちらかです。
zramは、以前はcompcacheと呼ばれていましたが、RAM内に圧縮ブロックデバイスを作成するためのLinuxカーネルモジュールです。つまり、オンザフライでディスク圧縮を行うRAMディスクです。
zramの一般的な用途はスワップまたは/tmpです。スワップのためにzramを有効にしましたが、/tmpについては有効にしませんでした。/tmpは通常のRAMディスクのままにしておきました。これらの2つの機能がどのように相互作用するかについては100%確信がありませんが、カーネルが/tmpのコールドページを圧縮スワップにスワップアウトする方法とタイミングを判断できるようにしておこうと思いました。
{
# メモリ内圧縮スワップデバイスを有効にする
zramSwap.enable = true;
# /tmp に RAM ディスクを使用する
boot.tmp.useTmpfs = true;
}
また、ジャーナルをディスクではなくメモリに記録するようにしました。メモリに記録し、時折ディスクにフラッシュすることは可能かどうか調査する必要があります(その場合、/var/logをHDD上のサブボリュームにマウントするでしょう)が、まだその部分は解明できていません。
{
# ジャーナルログをメモリに /run/log/journal に保存する
services.journald.storage = "volatile";
}
microSDカードは引き続き/にマウントされますが、atimeを無効にしました。これはファイルにアクセスするたびに書き込みが発生するため、あまり役に立たないと考えているからです。
{
fileSystems."/" = {
device = "/dev/disk/by-label/takodachi";
fsType = "ext4";
options = [ "noatime" ];
};
}
外部HDD
2026年現在、新しいドライブ(またはRAM、GPU、AIサイコシスに夢中な役員の懐を潤すデータセンター構築に使用できるあらゆるもの)を購入するのに良い時期ではなく、手持ちのものを工夫して創造的になる方が良い時期だと知っているでしょう。
私はあらゆる種類、サイズ、年代のドライブを大量に持っています。それらはほとんど、なんとなく保持しておきたい古いデータのコールドストレージとして扱っています。それらはデジタルな引き出しのガラクタのようなものです。常にそれらをより高次の目的のために燃やしたいと思っていましたが、これまで適切な機会を見つけられませんでした。私はこれらの古い2.5インチHDDを2台、山から取り出しました。
最初のドライブは500GBで、Windowsファイルシステムが含まれていました。これはパートナーのラップトップで使用されていました。これは、別の時代のビジネスマシンから来た3KGの巨大なもので、移動可能なデスクトップとして、または時折自宅に持ち帰るためのものであり、真にポータブルなマシンではありませんでした。まず、死にかけているラップトップへの慈悲としてHDDをSSDに交換しました。最終的に、パートナーにNixOSを実行するSurface Pro 5を設定し、彼らは古いラップトップとHDDを私に遊び道具として親切にくれました。
2つ目は320GBのドライブで、ホームアシスタントのインストールが含まれているようでした。それがそこにどのように収まったのかは全くわかりません。いずれにせよ、これはAppleロゴが付いたHitachiドライブだったので、私の2006年の白いプラスチック製MacBookか、同時代のMac miniのいずれかに搭載されていたものです。
これらの歴史の断片をドッキングステーションに接続し、raid1レプリケーションを備えたbtrfsプールを作成しました。ふさわしくも「ポンコツ」と名付けました。
sudo mkfs.btrfs --data raid1 --metadata raid1 --label ponkotsu /dev/sdX /dev/sdY
btrfsを選択したのは、私が知っているもの(デスクトップとラップトップで実行している)であり、サブボリューム(後述)が好きで、プールの柔軟性が気に入ったからです。事前にプールのトポロジーを計画する必要はなく、いつでもドライブをプールに追加でき、サイズが同じである必要もありません。
サブボリューム
私の計画は、サービスごとに1つのbtrfsサブボリュームを持つことでした。それを宣言的に行うために、autosubvolモジュールを作成しました。設定は次のようになります。
{
services.autosubvol = {
enable = true;
disks.ponkotsu = {
device = "/dev/disk/by-uuid/<pool uuid>";
subvolumes.immich = {
mountPoint = "/var/lib/immich";
mountOptions = [ "noatime" ];
requiredBy = [ "immich-server.service" ];
};
};
};
}
このモジュールはいくつかのsystemdユニットを作成します。
- 各ディスクに対して
/run/btrfs-roots/<name>に1つの.mountユニット。 - サブボリュームが存在するかどうかを確認し、存在しない場合は作成するスクリプトを持つ1つの
autosubvol-ensure-<disk>-<subvolume>.serviceoneshotユニット。これはRemainAfterExit=trueで設定されているため、サブボリュームの.mountユニットがそれに依存できます。 - 各サブボリュームに対して、指定された
mountPointにマウントされる1つの.mountユニット。これはautosubvol-ensure.serviceに依存し、Before=およびRequiredBy=をrequiredByされているユニットに設定します。
これにより、各サービスモジュールが非常にクリーンに見えると思います。
{
config,
...
}:
{
services.immich = {
enable = true;
# ...
};
services.autosubvol.disks.ponkotsu.subvolumes.immich = {
mountPoint = config.services.immich.mediaLocation;
mountOptions = [ "noatime" ];
requiredBy = [ "immich-server.service" ];
};
}
念のため/var/cacheにもサブボリュームを作成しました。
{
fileSystems."/var/cache" = {
device = "/dev/disk/by-uuid/...";
fsType = "btrfs";
options = [
"subvol=@cache"
"noatime"
"nofail"
];
};
}
バックアップ
Immichを設定した際に、sops-nixとrestic nixpkgsモジュールの間のブリッジとして機能するNixモジュールも作成しました。実装は数行のコードしかなく、私のNix設定では次のようになります。
{
internal.backups.restic.immich = {
paths = [ "/var/lib/immich" ];
exclude = [
"/var/lib/immich/encoded-video"
"/var/lib/immich/thumbs"
];
pruneOpts = [
"--keep-daily 7"
"--keep-weekly 4"
"--keep-monthly 3"
];
};
}
各サービスが独自のサブボリュームにあるため、スナップショットとbtrfs sendを使用して、ほとんどの時間電源を切っておくバックアップ専用のディスクでローカルバックアップシステムを設定できるかもしれませんが、現在それほど多くのディスクがなく、新しいディスクの入手がますます困難になっているため、それはより良い時に取っておくことにします。S3バケットとレプリケーションで十分でしょう。
グループと権限
いくつかのサービスにLinux ISOへのアクセスを許可したいと考えています。Transmission、Jellyfin、Navidrome、その他いくつかです。これを実現するためにmediaグループを作成し、それらのファイルへの読み取りまたは書き込みが必要なすべてのアプリケーションに、追加グループとして割り当てました。
{
users.groups.media = {};
users.users.steenuil.extraGroups = [ "media" ];
users.users.jellyfin.extraGroups = [ "media" ];
services.transmission = {
group = "media";
downloadDirPermissions = "2775";
settings.umask = "002";
};
}
これを機能させる部分は、TransmissionのdownloadDirPermissionsを2775に設定していることです。2はsetgidビットがオンになっていることを示します。これは、/srv/linux-isosがmediaグループによって所有されている場合、その中に作成されるすべてのファイルとディレクトリは、作成者のプライマリグループではなくmediaグループを継承することを意味します。
モニタリング
これはまだ完全に解決していない部分です。私が取った唯一の予防策は、プールで定期的にbtrfsスクラブを実行してエラーを接続し、各ドライブのエラー数に基づいてS.M.A.R.T.統計を詳しく調べるかどうかを判断することです。
smartdを設定し、おそらくScrutinyのような素敵なダッシュボードに接続したいと考えています。しかし、他の多くのサービスを実行しており、それらに関するより多くの統計情報があれば良いと考えているため、Prometheusを設定し、その後すべてを素敵なGrafanaダッシュボードに表示する方法を見つける方がより有用かもしれませんか?Grafanaについてはほとんど何も知らないので、すべてが少し dauntingで overkillに見えますが、良い学習経験になるかもしれません。
プールへの供給
回転する錆(HDD)に戻りましょう。プールには2台のディスクがありました。1TBのドライブをプールに追加すると同時に、その内容をコピーしたいと考えていました。ディスクは既に半分に分割されており、データの大部分は後半にありました。そのため、前半をbtrfsとしてフォーマットし、プールに追加し、後半をプールにコピーしてから、ディスク全体を埋めるようにbtrfsパーティションを拡張しました。速度の点ではどれほど効果的だったかはわかりませんが、btrfs balanceを節約できました。
Piの負担を軽減するため、Immichをデスクトップに設定し、バックアップから復元しました。前のステップでサムネイルを移動しなかったため、すべてをwebpで再生成しました。
これがプールの現在の状態です。1TBドライブ、500GBドライブ、320GBドライブ。データとメタデータの両方でraid1です。もう1台の古い500GBドライブを追加する予定で、ドライブ価格が下がるか、いずれかのドライブが故障するまで、おそらくこのままにしておくでしょう。
まだext4でフォーマットされており、Linux ISOで満杯の10TBディスクも持っていますが、これをプールに追加するのは現実的ではないため、重要なものだけをバックアップして、それが壊れるまで使い続けるつもりです。#yolo
新しいmicroSD
microSDカードへの圧力を大幅に減らしたので、以前使用していた128GBではなく64GBのものを選びました。「高耐久性」カードを探しました。なぜなら、それらは故障する前に書き込みサイクルが多いとされているからです。
最終的に何を手に入れたのかは完全にはわかりません。この一連の出来事は、私がこの投稿を書いている休暇のわずか数日前に起こりました。そのため、土曜日に到着するカードを注文しました。出発の前日です。土曜日の朝になっても荷物はまだ発送されていなかったので、キャンセルして、立ち上がって最寄りの家電量販店まで歩いて行かなければなりませんでした。
それほど悪くはありませんでした。素敵な散歩をし、南ヨーロッパを侵略し、半分の葉っぱの痕跡を残しているアジアの甲虫の写真を取りました。
[画像: 日本の甲虫数匹に食い荒らされている植物]
店にはエアコンがありました。最新のギミックフォンをいくつか見ました。64GBのmicroSDカード(高耐久性を謳っているもの)と、割引されたUPS(無停電電源装置)を持って店を出ました。
デプロイメント
NixOSは、始めたばかりの頃は intimidatingなプロジェクトです。インターネット上に情報が散乱しすぎていて、完全に理解することはできません。しかし、慣れてきます。脳が翻訳してくれます。
公式NixOSイメージをダウンロードして空のシステムから始めることで、PiにNixOSのインストールをブートストラップできます。あるいは、必要なのはこのモジュールだけだと心から知っているかもしれません。
{
modulesPath,
...
}:
{
imports = [
"${modulesPath}/installer/sd-card/sd-image-aarch64.nix"
];
sdImage.rootVolumeLabel = "takodachi";
}
この呪文を唱えることができるようにするには:
nix build .#nixosConfigurations.takodachi.config.system.build.sdImage
これにより、microSDカードにddしてシステムをすぐに起動できる.imgファイルがビルドされます。中間ステップはありません。
仕上げ
microSDカードにイメージを書き込んだ後、すべてを新しいUPSに接続して電源を入れるだけで済みました。数秒後にはPiにSSHで接続し、新しい設定に関するいくつかのマイナーな問題を解決し始めることができました。
休暇への出発は少し遅れましたが、Navidromeは稼働しており、ドライブ中に聞く音楽をサービスできるようになっていました。