HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

私のホームラボ、2年後の進化とコスト:すべてのアップグレードとその費用

My Homelab Two Years Later, Every Upgrade and What It Cost (joekarlsson.com)

12 pointsby joekarlsson8 コメント

要約

著者は2年前の200ドルのThinkServerから、2台のDell R730サーバー、GPU、10GbEネットワークを備えたサーバーラックへとホームラボを進化させました。総ハードウェア費用は約7,400ドルに達し、月々の電気代は約47ドルです。当初の計画よりもコストがかかり、一部のハードウェアは期待したほど活用されていないことが判明しました。

全文翻訳

私のホームラボ2年後:全てのアップグレードとその費用

2年前、私はFacebook Marketplaceで200ドルのThinkServerを購入し、Proxmoxをインストールして約15個のコンテナを実行し、ホームラボの始め方について最初の投稿を書きました。当時の私にとって、それがホームラボに必要な全てでした。

今日、私の屋根裏部屋にはラックに収められた2台のDell R730があり、73個のコンテナ、2基のNVIDIA GPU、そして10GbEネットワークが稼働しています。ラックは平均して約430W、つまり電気代で月に約47ドルを消費し、ハードウェアには約7,400ドルを費やしました。

これらは計画されたものではありませんでした。何かについて興味を持ったり、何かにイライラしたりするたびに、それに対処するためにラック用のハードウェアを購入し、電気代はまた上がっていきました。当初主張していたよりもゆっくりと自己投資が回収されており、購入したもののいくつかはほとんど使っていません。

2026年10月更新:この記事は3月に初公開されました。それ以来、Open WebUI、Nextcloud、Readarrを引退させ、全てのコンテナをOpenTofuに移行しました。また、この更新のためにPrometheusから30日分のデータを抽出し、3月に間違っていたいくつかの点を明らかにしました。以下の数値は現在のものです。

200ドルのThinkServerが限界を迎えた場所

最初のセットアップは素晴らしかったです。Xeon E3-1226 v3(4コア、32GB RAM、2TBストレージ)を搭載し、Proxmox上でLXCコンテナを使用してPlex、*arrスタック、Pi-Hole、ダウンロードクライアントなどを実行していました。6ヶ月間、それは文句なく全てを処理しました。

その後、私は野心的になりました。まずPlexのトランスコーディングです。2人が同時にストリーミングすると、クアッドコアXeonは苦しくなりました。次にFrigateを見つけました。これはセキュリティカメラフィードでのリアルタイムAIオブジェクト検出です。CPUで実行すると、Frigateの検出器だけでCPUの120%以上を消費し、4コアのうち1つ以上を使い果たしました。Coral USBアクセラレータがその部分を解決しました。推論あたり約10ms、CPU使用率4.5%です。しかし、CoralはFrigateの検出器しか実行できません。PlexのトランスコーディングやローカルLLMの実行はできませんし、ThinkServerには実際のGPUを搭載できるPCIeスロットがありませんでした。

Home Assistantもありました。長年、ホームラボとは別に独自のハードウェアで実行していましたが、それが最初の投稿で除外した理由です。Proxmox VMに移行したかったのですが、ThinkServerにはネットワークセグメンテーションが全くありませんでした。VLANもファイアウォールルールもなく、全てが1つのフラットネットワーク上にありました。ホームオートメーションが公開サービスと同じネットワークを共有するのは望ましくありませんでした。

中古のDell R730を購入する

コンシューマー向けハードウェアからエンタープライズ向けハードウェアに移行したのは、サーバーにGPUが必要になったためです。これは、実際のPCIeスロット、適切な電源供給、そしてワークステーショングラフィックスカードの熱を、ワークステーションを溶かすことなく排出できるシャーシを意味しました。

私が選んだR730は、2基のXeon E5-2698 v4プロセッサ(それぞれ20コア)を搭載しており、1つのボックスで40コア、80スレッドになります。これは私が必要とするCPU能力をはるかに超えています。両方のホストの平均CPU使用率は約13%です。

電力消費量もはるかに大きいです。ThinkServerの電力消費量を測定したことはありませんが、おそらく80W程度(月額約9ドル)でアイドル状態でした。ラックは現在、平均430Wを消費しており、これは24時間稼働している4〜7台のデスクトップPCに相当します。詳細な数値は下の電力セクションにあります。

R730を選んだ理由:ECC、iDRAC、デュアルPSU、PCIeスロット

数週間かけてr/homelabのスレッドを読み、ServeTheHomeのレビューを視聴し、スペックシートを比較しましたが、Dell PowerEdge R730にたどり着きました。

ECC RAM。 ECCはシングルビットメモリエラーを修正し、修正できないエラーをフラグ付けします。これにより、不安定なメモリはログに記録されるだけで、ファイル破損や理由不明のコンテナクラッシュにはなりません。これは再起動なしで数ヶ月稼働するボックスでは重要です。63日間の稼働時間で、カーネルはどちらのホストでも修正されたメモリエラーを1件も記録していません。

iDRAC。 これは他の全てを台無しにする機能です。OSとは独立した、マザーボードに内蔵された管理コントローラーです。サーバーに無料で付属していたIP KVMです。ベッドからBIOSのPOST画面を見たり、仮想ISOをマウントしてOSを再インストールしたり、屋根裏部屋まで歩かずにハングしたボックスの電源をサイクルしたりできます。仮想コンソールと仮想メディアにはiDRAC Enterpriseライセンスが必要なので、中古品を購入する前に確認してください。

自宅の外からはTailscale経由でアクセスしています。これはprxbox1上のコンテナとして実行されているサブネットルーターを経由します。そのため、prxbox1がダウンすると、リモートでどちらのiDRACにもアクセスできなくなります。iDRACポートも私のメインLAN上にあります。より厳格なセットアップでは、それらを独自の管理VLANに割り当てるべきです。

デュアルPSU。 一方の電源ユニットが故障しても、サーバーは稼働し続け、修理はAmazonでの注文で済みます。

PCIe拡張。 GPU、10GbEネットワークカード、そして半年後に必要になるかもしれないものを搭載するのに十分なスロットがあります。

中古エンタープライズサーバーの購入場所

中古のエンタープライズハードウェアは、高級車のように減価償却するため安価です。企業は数千台のR730をリースし、3〜5年間使用した後、リースが終了し新しいハードウェアが到着すると廃棄します。ベアボーンのR730シャーシはeBayで300〜500ドルで見つかることがありますが、特定のCPU、RAM、ドライブが搭載され、すぐにラックに設置できる状態のものを希望する場合は、それ以上の価格を覚悟する必要があります。私はServer Design Labからそれぞれ約1,850ドルで購入しました。これは新品の15,000ドル以上の定価のほんの一部であり、Redditの投稿で見かける「300ドルのeBayスペシャル」よりもかなり高価です。

私が発見した最良の場所は、eBay(新着順にソート、良い取引はすぐに売れるため)、Redditのr/homelabsales、Server Design Labのような専門の再生品業者、そして地元のIT余剰品販売業者です。テクノロジー企業が集まる都市の近くに住んでいるなら、おそらく車で移動できる範囲にラックサーバーをパレット単位で販売している倉庫があるでしょう。

デスクトップGPUは2Uサーバーには収まらない

何年もデスクトップPCを自作してきたので、どんなGPUでもどんなケースにも収まると思っていましたが、2Uラックサーバーが全く異なる世界であることに気づきませんでした。DellのGPUキットを使えば、R730はフルレングス、ダブルワイドカードを搭載できます。ほとんどのゲーミングGPUはどこかで問題が発生します。標準のPCIeブラケットよりも背が高く、電源コネクタがラック空間3.5インチに収まるシャーシの蓋を越えて突き出ており、オープンエアクーラーは前面から背面へのエアフローのために作られたボックスの側面に熱を放出します。スロットの75Wを超える電力を必要とするものは、ライザーからのDellのGPU電源ケーブルも必要です。フルサイズのRTX 4090は3スロット以上を占め、全く収まりません。

ブロワータイプのクーラーを備えたシングルスロットのワークステーションカードは、サイズ、コネクタの高さ、エアフローの問題を回避するため、私の両方のカードがNVIDIAのプロフェッショナルカードである理由です。どちらも75W以上を消費するため、ライザー電源ケーブルが必要です。購入前に週末をかけてこれを全て理解しました。

DDR4 ECCの価格が約5倍に高騰

これは予想外でした。エンタープライズDDR4 ECC RAMの価格は、このプロジェクトを開始した頃の数倍になっています。

AIブームが原因です。GPUクラスターや推論サーバーを構築する全ての企業は、大量のメモリを必要としており、その需要はホームラボ利用者が依存する中古市場と直接競合しています。数年前に40〜80ドルで見つけられた中古DDR4 ECCスティックは、現在32GB RDIMMで200〜400ドル、つまり約5倍になっています。これほどひどい状況なので、Wikipediaの記事まであります。中古エンタープライズRAMの供給が枯渇したのは、以前はそれを余剰品としていた同じ企業が、AIに必要なコンピューティング能力のために古いサーバーをより長く稼働させているためです。

各ホストは128GBを搭載しており、これは構成済みのサーバーに含まれていたため、スティックを単独で購入したことはありません。そして、そのことに感謝しています。今日256GBを埋めるには1,600〜3,200ドルかかり、これは構成済みサーバー1台全体の価格に近い金額です。

[画像: Y'all Got Any More Of That meme: Dave Chappelle as a homelabber asking every AI company 'Y'all got any more of that DDR4 ECC?']

これに対処する良い方法はありません。取引を見つけるためにr/homelabsalesを監視し、良い価格を見つけたらまとめて購入できます。新しいDDR5プラットフォームへの移行も救いにはなりません。DDR5も同様に不足しています。DDR4 ECCについては、来年使う分を前もって購入してください。DDR4の生産は終了に近づいており、価格は上がる一方です。ただし、買いすぎないように。現在、prxbox1は128GBのうち約45GBを使用しており、prxbox2は約27GBです。

[画像: ラックに収められた2台のDell R730サーバーの前面ビュー。ドライブベイとステータスLEDが見える]

2台目のサーバー、ラック、そして10GbEネットワーク

FrigateとPlexが1つのGPUを奪い合わないようにするための2台目のR730

2台目のサーバーはGPUのタイムシェアリングのためでした。ローカルLLM、Frigateのオブジェクト検出、Home Assistantの音声認識用音声合成、Plexのトランスコーディング、Tdarrのビデオエンコーディングを同時に実行したかったのです。約15GBのVRAMを必要とするモデルと8GBのカードは一緒に収まらず、Frigateがリスを検出するたびにPlexが途切れるのは避けたいと思いました。

2台のホストに2基のGPUを搭載して作業を分担しました。

  • prxbox1 には Quadro RTX 4000(8GB VRAM)を搭載し、常に稼働しているもの(4台のカメラに対するFrigateの検出器、セマンティック検索および顔認識モデル、カメラビデオデコード、Home Assistant音声用のWhisper音声認識(約2GB)、Tdarrワーカー)に使用しています。これは約4GBを使用しており、過去30日間でピークは4.7GBでした。
  • prxbox2 には RTX A4000(16GB VRAM)を搭載し、バースト的なもの(Plexトランスコーディング、Immichビデオトランスコーディング、Tdarrエンコーディング、Ollamaとllama.cppを使用したローカルLLM)に使用しています。

16GBカードがあるおかげで、大きなモデルが実行できます。私の最大のモデルは、13.8GBのファイルに量子化された30Bコーディングモデルで、VRAMは約15GBを消費しました。ほとんどの時間、カードは空に近い状態です。なぜなら、モデルは誰も使用していないときにアンロードされるからです。

Immichの顔認識および検索モデルは意図的にCPUで実行されるため、LLMとVRAMを奪い合うことはありません。詳細な内訳と両方のカードのベンチマークは、2つのGPUにワークロードを分割する方法にあります。

ラックは単に別々のボックスに分割されたデスクトップである

19インチが標準的なラック幅であることを知りませんでした。R730をメジャーで測り、どのようなエンクロージャーがそれらを収容できるか考えていました。この幅は1920年代(元々は電話産業)に遡り、今日では取り付け穴、ユニットの高さ、レール深度はすべて同じ仕様に従っています。

私にとって理解できたのは、サーバーラックを、全てのコンポーネントが独自のシャーシに収まるデスクトップコンピューターとして考えることでした。デスクトップでは、CPU、GPU、RAM、ストレージ、ネットワークカード、電源ユニットがすべて1つのボックスに詰め込まれています。ラックはそれらをすべて分離します。

  • コンピューティング = Dell R730サーバー(CPU + RAM + GPU)
  • ストレージ = 棚にあるSynology DS418play、48TB(34TB使用済み)
  • ネットワーキング = サーバー間の10GbE用のMikroTik CRS317 + 1GbEデバイス用のUniFi US-24
  • 電源 = PDU(電源分配)+ 2つのUPSユニット(停電で全てが停止しないようにバッテリーバックアップ)
  • 管理 = 各サーバーのiDRACポート

同じ部品、別々のボックス、そして他の部分に触れることなく、いずれか1つを交換できます。

[画像: 屋根裏部屋にあるフル25Uサーバーラック。2台のDell R730サーバー、MikroTikおよびUniFiネットワーキング、Synology NAS、デュアルUPSユニットが表示されている]

ラックのレイアウト:

StarTech 25U ラック
+----------------------------------+
|   StarTech PDU                   |
+----------------------------------+
|   MikroTik CRS317 (10G Switch)  |
+----------------------------------+
|   UniFi US24 (24ポート 1G)      |
+----------------------------------+
|   UniFi Cloud Gateway Ultra      |
|   Synology NAS (4ベイ)          |
+----------------------------------+
|          (空き - 将来のNAS)     |
+----------------------------------+
|   Dell R730 - prxbox1            |
|   (Quadro RTX 4000, 8GB)        |
+----------------------------------+
|   Dell R730 - prxbox2            |
|   (RTX A4000, 16GB)             |
+----------------------------------+
|          UPS                     |
+----------------------------------+
|          UPS                     |
+----------------------------------+

[画像: ラック上部のクローズアップ。PDU、パッチパネル、UniFiスイッチ、Synology NASとネットワークケーブルが表示されている]

各ホストへのデュアル10GbE LACPボンディング

各R730にはIntel X710搭載の10Gb SFP+ポートが2つあり、MikroTikとLACPでボンディングされています。理論上はホストあたり20Gbpsです。LACPはパケットごとではなくフローごとにリンクを選択するため、単一のTCP接続は常に2つのリンクのうち1つしか使用しません。

実際には、どちらのホストでも最もビジーだった分は約1.2Gbpsで、10Gbリンクの約12%でした。これはネットワークの構築方法によるものです。NASは2つの1Gbポートを持ち、UniFiスイッチに接続されており、UniFiスイッチは1GbでMikroTikに接続されています。したがって、NAS、インターネット、および家中の全てのクライアントが1つの1Gbアップリンクを共有しています。10Gbリンクを使用するのは、サーバー間トラフィックのみです。prxbox2上のProxmox Backup Serverコンテナに着地するprxbox1のバックアップ、別のホスト上のアプリが別のホストのLLMを呼び出す場合、そしてPrometheusのスクレイピングです。

10Gbリンクは、私が最も必要とした部分ではありませんでした。このようなビルドを計画しているなら、まずNASを10Gbに接続するか、10Gbを完全にスキップしてください。

それでも設定は楽しかったです。MikroTikのボンディング設定をプログラムで管理するためにPythonスクリプトを作成しました。これは、Web UIをクリックしてスイッチを設定するのが間違っていると感じたためです。それは、MikroTik独自のバイナリプロトコルをゼロから実装することについての独自のブログ記事になりました。

VLANを学ぶためにホームネットワークを再構築する

ネットワークを正しく理解したかった(VLAN、ファイアウォールルール、ルーティング、サブネットなど)ので、ホームネットワーク全体を解体し、ゼロから再構築しました。

UniFiゲートウェイ、MikroTikバックボーン、3つのアクセスポイント

ルーターはUniFi Cloud Gateway Ultraで、ファイアウォール、DHCPサーバー、WiFiコントローラーでもあります。VLAN間の全てのルーティングを行い、Suricata侵入防止システムをインラインで実行します。MikroTikは単なる10Gbスイッチです。802.11r高速ローミングを備えた3つのUniFiアクセスポイントがあります。 upstairsとmain floorにそれぞれ1つ、後でbasementにU7 Pro XGを追加しました。デバイスは家の中を歩き回るときに接続を切断せずにAP間をハンドオフし、ゲストはそれに気づきません。

4つのVLANがIoTジャンクをNASから隔離する

IoTデバイスは、あなたが聞いたことのない企業によって製造され、セキュリティパッチがほとんど適用されないファームウェアを実行し、地図上で特定できない国にあるサーバーに電話をかけます。私はそれらのいずれにも、家族の写真や財務書類が詰まったNASへのネットワークアクセスを許可したくありません。

VLANは、許可するファイアウォールルールを作成しない限り互いに通信できない独立した仮想ネットワークを作成します。各VLANが実際に到達できるものは次のとおりです。

ネットワーク到達可能遮断元
デフォルトLAN (192.168.0.x)全て-
ゲスト (192.168.20.x)インターネット、DNS、スピーカー(AirPlayおよびCast用)メインLAN、カメラ
IoT (192.168.30.x)Home Assistant、DNS、音楽サーバー、インターネットメインLAN、ゲスト
カメラ (192.168.40.x)Frigate、Home Assistant、DNSメインLAN、IoT

IoT VLAN上の侵害されたスマートプラグは私のNASに到達できず、ゲストはローカルネットワークをスキャンできません。IoT VLANはインターネットアクセスを維持しています。なぜなら、これらのデバイスの多くはクラウドなしでは動作しないからです。

これは完璧ではありません。VLAN間でのキャストにはmDNSが必要です。現在、ゲートウェイはAirPlayとCastのみではなく、全てのmDNSトラフィックをネットワーク間で反映しています。そして、現在IoT VLANには11台のデバイスしか接続されていません。私の古いスマートデバイスの多くは、VLANが存在する前に設定したMikroTikファイアウォールリストによって隔離されたメインLAN上にまだあります。まだ移動していません。

私のLEDピクセルアートフレーム、PixelPaneは現在そこにあります。Home Assistantとインターネットにはアクセスできますが、それ以外には何もできません。Home Assistantはトークンを渡すのではなく、それにプッシュします。

ネットワークの構造は次のとおりです。

インターネット
  |
  v
光ファイバーONT (ブリッジモード)
  |
  v
UniFi Cloud Gateway Ultra (ルーター/ファイアウォール/DHCP/WiFiコントローラー)
  |
  v
MikroTik CRS317 (10Gスイッチ)
  |
  +---> prxbox1 (2x 10G LACP = 20Gbps)
  +---> prxbox2 (2x 10G LACP = 20Gbps)
  |
  +---> UniFi US24 (1Gスイッチ、MikroTikへの1Gアップリンク)
          |
          +---> Synology NAS (2x 1G)
          +---> iDRAC1, iDRAC2, IoTデバイス、カメラ
          +---> UniFi U7 Pro AP ( upstairs)
          +---> UniFi U7 Pro AP (main floor)
          +---> UniFi U7 Pro XG AP (basement)

VLAN:
  デフォルトLAN (192.168.0.0/24)  - サーバー、ワークステーション、信頼できるデバイス
  ゲスト       (192.168.20.0/24) - インターネット、DNS、スピーカー
  IoT         (192.168.30.0/24) - HA + DNS + 音楽サーバー + インターネット
  カメラ     (192.168.40.0/24) - Frigate + HA + DNS

73個のコンテナが実行しているもの

73個のLXCコンテナとHome Assistant VMがあります。prxbox1に45個、prxbox2に28個です。これは網羅的ではありません(私の用途ページを参照してください)が、実行されているものは次のとおりです。

メディア: Plex - 過去30日間で最もビジーだったのは、同時に5ストリームと3トランスコードでした。Immich(セルフホスト型Google Photos)は、55,581枚の写真と12,296本の動画を保存しており、Googleから失った唯一のものは写真編集機能です。さらに、*arrスタック(Sonarr、Radarr、Prowlarr、Lidarrなど)、Readarrが引退したため書籍用のLazyLibrarian、自動ビデオヘルスチェックとトランスコーディング用のTdarr、Whisper AIで構築したGPUアクセラレーテッド字幕ジェネレーター、そしてAudiobookshelfです。

セキュリティ: Frigate NVR、Vaultwarden(セルフホスト型Bitwarden)、Authentik(全てのサービスへのSSO)、CrowdSec(コミュニティ脅威インテリジェンス)

ホームオートメーション: 完全なVMとしてのHome Assistant(コンテナではなく、アドオンとアップデートのためにスーパーバイザーが必要)、クラウド依存なしのローカルZigbee制御のためのZigbee2MQTT

AI/ML: Ollamaは日常的なモデル(Qwen3 8Bと14B)を実行し、llama.cppのllama-serverは大規模な30Bコーディングモデルを実行します。LiteLLMゲートウェイが前面にあり、全てのアプリにlocal-fastやlocal-smartのようなエイリアスを持つ単一のエンドポイントを提供し、ローカルモデルでは処理できないジョブのためにClaudeへのクラウドルートも提供します。以前はChatGPTスタイルのインターフェースのためにOpen WebUIを実行していましたが、6月に引退しました。llama-serverの組み込みWeb UIは、維持するサービスが1つ減った状態で必要なことを実行します。

監視: Prometheus、Grafana、Loki、Alertmanager、Uptime Kuma、Healthchecks、そして多数のカスタムヘルスチェックスクリプト(詳細は後述)

生産性: Paperless-NGXは私のドキュメントをスキャンしてOCR処理し、Paperless-AIはローカルQwen3 8Bモデルでタグ付けします。308件のドキュメントで、1,172個のタグを生成しました。Syncthingはファイル同期を処理します。Nextcloudをしばらく実行していましたが、9月に置き換えました。なぜならSyncthingは私が実際にNextcloudを使用していた唯一のジョブを実行してくれるからです。

Home Assistantを独自のボックスからProxmox VMに移行

Home Assistantは何年も独自のハードウェアで稼働していました。それはフラットネットワークのためでした。VLANが分離の問題を解決したので、prxbox1上のVMに移行しました。これでHome Assistantはサーバーと同じネットワーク上にあり、Proxmox、Prometheus、Alertmanagerと直接通信できます。これに依存する134個のオートメーションのうちいくつかは次のとおりです。

  • AI翻訳アラート。 AlertmanagerがHome AssistantにWebhookを送信し、ローカルLLMがアラートを平易な英語に書き換え、私の電話に「Open Grafana」と「Silence for 1 hour」ボタン付きの通知が届きます。
  • バックアップ失敗時の復旧。 Home Assistantのバックアップがアップロードに失敗した場合、NASマウントをリロードし、バックアップを再実行し、5分後に結果を確認します。
  • UPSモニター。 いずれかのUPSがバッテリーに切り替わると、Grafana UPSダッシュボードへのリンク付きのライブバッテリーレベル通知を受け取ります。

欠点は、もはや独立した存在ではなくなったことです。VM、Zigbeeコーディネーター(Zigbee2MQTTコンテナにパススルーされたConBee II USBスティック)、およびBluetoothアダプターはすべてprxbox1上にあります。フェイルオーバーがないため、prxbox1が再起動すると、VMが復旧するまで家はオートメーションを失います。壁スイッチは引き続き機能します。なぜなら、私は全てのオートメーションをそのように失敗するように構築しているからです。

Home Assistantが私にとってなぜそれほど重要なのかについては、Alexaをプライベートでローカルファーストなセットアップに置き換えたという投稿で詳しく書きました。

監視:3回のサイレント障害の後

私のホームラボは、何も知らされずにサービスが1週間以上停止していたことに気づいた3回目に、私が責任を負うべき本番インフラストラクチャのように感じ始めました。

Prometheus、Grafana、Loki、そしてAlertmanager

Prometheusは、CPU、メモリ、ディスク、ネットワークスループット、GPU使用率、VRAM使用量、吸気温度、排気温度、iDRAC電力読み取り、Home Assistantからのラック電力消費量など、全てのホストとコンテナから15秒ごとにメトリクスをスクレイピングします。30日間保持しており、この記事のほぼ全ての数値はこのデータに基づいています。

Grafanaはそれをダッシュボードに変換します。メインの概要では、電力消費量、CPU負荷、メモリプレッシャー、GPUステータス、ディスクI/Oなど、両方のサーバーを一目で確認できます。毎朝コーヒーを飲みながら見ています。

Lokiは全てのコンテナからのログを集約します。何かが壊れたとき、個々のコンテナにSSHしてログファイルをtailingするのではなく、1つのGrafanaパネルから検索します。まるで2003年のようです。

Alertmanagerはアラートが集まる唯一の場所です。私にメールを送り、クリティカルなアラートはHome Assistant経由で私の電話にも届きます。以前はntfyもプッシュ通知用に実行していましたが、9月にシャットダウンしました。なぜなら、2つのアラートパスは維持するには多すぎたからです。

185個のヘルスチェック、それぞれが1つのことをテストする

この記事を最初に書いたとき、41個のヘルスチェックスクリプトがありました。現在は、Proxmox側のシェルチェックが153個、Home Assistant用のPythonチェックが32個です。

これは狂っているように聞こえるかもしれませんが、それぞれが非常にシンプルです。1つのことをチェックし、正常なら0で終了し、異常ならメッセージ付きで1で終了します。バックアップ検証、SSL証明書の有効期限、ディスク空き容量の閾値、DNS解決、コンテナ再起動、字幕が実際に生成されているかなどをカバーしています。ほとんどは、共有ライブラリを呼び出す数行のコードです。Radarrチェックは、Radarr自身の/health APIに対する1つの関数呼び出しです。ラッパーが午前6時に全てを実行し、ラッパー自体が実行されたことを示すためにHealthchecksにpingを送り、クリティカルなものは全てAlertmanagerに送信します。

チェックの数は増え続けています。なぜなら、私がキャッチできなかった方法で何かが壊れるたびに、修正には新しいチェックが含まれるからです。この更新のために数値を収集している間に、スマートプラグのラック電源センサーが9月1日から9月23日まで一貫して541Wを報告しており、チェックのどれもそれを検出できなかったことがわかりました。

バックアップ:ローカルはPBS、オフサイトはBackblaze B2

Proxmox Backup Serverはprxbox2上のコンテナとして実行され、データストアはNAS上にあります。重複排除付きの増分バックアップを実行し、ほぼ全てのコンテナが同じDebianベースであるため、ほとんどのチャンクは共有されます。現在、10.9TBの論理バックアップはディスク上に1.31TBしか占めていません。約8.3倍です。

PBSはバックアップ対象と同じ屋根裏部屋にあるため、そこでの火災は両方を奪うでしょう。そのため、毎日小さなコンテナがPBSデータストア全体をBackblaze B2に同期します。これは1.3TBで月額約9ドルです。週に1回、別のジョブがチャンクのランダムな1/256をダウンロードし、ローカルコピーと比較します。毎週、違いは報告されていません。NASも独自のB2バックアップを60日間の保持期間で実行しているため、Backblazeには2回支払っています。

全てのコンテナはOpenTofuで定義されている

3月以降の最大の変更点は、全てのコンテナがOpenTofuとbpg/proxmoxプロバイダーで定義されていることです。各コンテナのディレクトリは、1つの共有モジュールを呼び出します。これは、Healthchecksコンテナのトリムされた実際の例です。

module "container" {
  source           = "../../modules/proxmox-lxc"
  template_file_id = "local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst"
  vmid             = var.vmid
  hostname         = var.hostname
  node_name        = var.node_name
  cores            = 2
  memory           = 1024
  disk_size        = 10
  unprivileged     = true
  tags             = ["immutable", "docker", "monitoring"]
  protection       = true
}

resource "null_resource" "provision" {
  triggers = {
    vmid           = module.container.vmid
    provision_hash = sha256(local.provision_script) # スクリプトが変更されたときに再実行される
  }
  # provision.sh.tpl をレンダリングし、コンテナ内で実行する
}

コンテナ内にインストールされている全ては、そのプロビジョニングスクリプト内にあります。そのため、スクリプトの1行を変更すると、コンテナが再プロビジョニングされます。もはや実行中のコンテナにSSHして修正することはありません。6時間ごとにドリフトチェックが各サービスディレクトリでtofu plan -detailed-exitcodeを実行し、コード外で変更されたものをフラグ付けします。1行の修正がSSHでの30秒よりも時間がかかるため、これは遅いです。私はこの移行全体をついにホームラボを手動管理するのをやめたという投稿で書きました。

ドリフトチェックはOpenTofuが管理するもの、つまりコンテナのみを認識します。Proxmoxホスト自体はまだ手動で設定されているため、CPU設定が検出されずにドリフトした可能性があります(電力セクションで詳しく説明)。

電力:約430W、月額47ドル

サーバーごとの数値は各R730のiDRACから取得し、ラック全体の合計はラック全体が接続されているHome Assistantのスマートプラグから取得しています。上記のセンサーフリーズの問題のため、直近7日間のプラグの読み取り値のみを使用しています。

メトリック値
prxbox1~215W
prxbox2~191W
ラック全体(プラグ)~430W
月額費用$0.15/kWhで~$47
年間予測~$565

プラグの読み取り値は、スイッチ、NAS、ゲートウェイ、UPSのオーバーヘッドをカバーするサーバーよりも約25W高くなっています。

電気代を削減するために試したこと

3台目のサーバーを停止。 最初のブログ投稿の元のThinkServerであるprxbox3が、まだ9個のコンテナを実行していました。それらを全て、十分な空き容量があった2台のR730に移行し、電源を切りました。測定していないため、どれだけ節約できたかは分かりません。現在はProxmoxクラスターから完全に外れており、代わりにクォーラムデバイスを実行するRaspberry Piが2ノードクラスターのタイブレーカー投票を提供しています。

CPUガバナーチューニング。 両方のホストは、performanceではなくpowersave周波数ガバナーを実行することになっています。平均CPU使用率13%では、performanceモードがスピードアップするものは何もありません。この更新のためにチェックしたとき、prxbox1は全てpowersaveでしたが、prxbox2の80スレッドのうち31がperformanceに戻っていました。ガバナーはホストレベルの設定であり、ホストはOpenTofuに含まれていないため、ドリフトチェックでは検出できませんでした。また、powersaveが実際にどれだけ節約できるかは測定していません。CPU使用率13%では、それほど多くないだろうと推測しています。

[画像: Anakin Padme 4 Panel meme: 'I put everything in OpenTofu' / 'So nothing can drift, right?' / Anakin's silent stare / '...nothing can drift, right?']

データセンターの電力価格向けに構築、私の屋根裏部屋向けではない

R730は購入が安いです。構成済みで約1,850ドル、新品では5桁の価格ですが、ECC RAM、冗長電源ユニット、iDRAC、そしてコンシューマーハードウェアにはない拡張スロットを備えています。

しかし、これらのマシンは、商用電力契約と産業用冷却を備えたデータセンター向けに設計されました。ミネソタの1月の私の屋根裏部屋では無料の暖房ですが、7月には問題となります。

[画像: Change My Mind meme: 'Enterprise servers are cheap to buy and expensive to run']

はい、最新のミニPCをいくつか使えば、これらの73個のコンテナのほとんどを、電力消費量を大幅に削減して実行できるでしょう。私のCPUは平均13%ビジーで、256GBのRAMのうち72GBを使用し、FrigateはCoralで問題なく動作します。Coralはどんなものにも接続できます。しかし、ミニPCではローカルLLMやビデオトランスコーディング用の16GBワークステーションGPUを搭載したり、iDRACやECCを提供したりすることはできません。ローカルAIやGPUビデオ作業を望まないなら、ミニPCを購入してラックはスキップしてください。

2023年 vs. 2026年

2023年 (ThinkServer時代)          2026年 (サーバーラック時代)
========================        ========================
1x Lenovo ThinkServer           2x Dell R730 (ThinkServer引退)
Xeon E3 クアッドコア             80コア / 160スレッド、~13%ビジー
32GB RAM                        256GB RAM、~72GB使用
GPUなし                         2x NVIDIA GPU (24GB VRAM)
~15コンテナ                     73コンテナ + 1 VM
フラットネットワーク (VLANなし)     4つのVLAN、ホスト間10GbE
監視なし                        Prometheus, Loki, 185個のヘルスチェック
手動設定                        全てのコンテナをOpenTofuで管理
~80W 電力消費 (推定)             ~430W 平均 (実測)
$200 ハードウェアコスト           ~$7,400 総ハードウェアコスト
~$105/年 電力コスト              ~$565/年 電力コスト

[動画: That Escalated Quickly meme: Ron Burgundy saying 'that escalated quickly']

費用と、自己投資回収について

ハードウェアに7,400ドル

皆さんはいつもこれがいくらかかったか尋ねます。

アイテム費用
R730 #1 (Server Design Lab, 設定済み)$1,857
R730 #2 (Server Design Lab, 設定済み)$1,839
ThinkServer (初回投稿時、現在引退)$200
Quadro RTX 4000 8GB (eBay)$230
RTX A4000 16GB (eBay)$895
UniFi Cloud Gateway Ultra$129
UniFi U7 Pro AP (x2)$378
UniFi US-24 (再生品)$225
StarTech ラック + 棚$375
MikroTik CRS317$433
CyberPower UPS (x2)$778
ケーブル、アダプター、その他~$100
総ハードウェアコスト~$7,400
電気代 (~$47/月 x 24ヶ月)~$1,130
2年間の総所有コスト~$8,500

この表にはNASとドライブは含まれていません。これらは数年前から所有しており、サーバー到着後に追加していません。また、後で追加した地下のAP、カメラ、CoralやZigbeeスティックのような小さなものも含まれていません。

損益分岐点は4.6年、目を細めれば

以前は、これらのそれぞれに月額サブスクリプションを支払っていました。

置換されたサブスクリプションセルフホストで代替月額節約額
iCloud 2TB + Dropbox PlusImmich + Syncthing~$22
NordVPNTailscale~$13
1PasswordVaultwarden~$4
ChatGPT PlusOllama + llama.cpp$20
Ring Protect PlusFrigate$12
セキュリティ監視プランFrigate + Home Assistant~$80
AudibleAudiobookshelf$15
Bluehostホスティング (WordPress + 専用IP)Astro + Caddy on homelab~$21
殺されたサブスクリプション合計~$187/月 ($2,244/年)

ストリーミングは意図的にこの表から除外しました。ビデオも音楽もです。Apple Musicはまだ支払っています。「Netflixを解約した」というのは、損益分岐点の数値に依存させたくない別の議論です。

これらの行のうち2つは寛大です。TailscaleはNordVPNのようなプライバシーVPNではありません。自分のネットワークにどこからでもアクセスできるようになったら、必要なくなりました。また、ローカルの8Bまたは14BモデルはGPTレベルではありません。タグ付け、要約、アラート書き換えを処理し、それ以上のものは同じゲートウェイを介してClaudeに送信されます。

月額約47ドルの電気代と、ProxmoxバックアップのBackblaze B2コピーの月額9ドルを差し引くと、純利益は約月額131ドルです。これはNAS自身のB2バックアップと、前述のClaudeの使用料は含まれていませんので、最良のケースとして扱ってください。

損益分岐点:約4.6年 (ハードウェア7,200ドル、既に所有していたThinkServerを除く、月額131ドルで割ったもの)。

この数値は、1行に大きく依存します。セキュリティ監視プランの80ドルは、総節約額の40%以上を占めており、これがないと損益分岐点は11年以上になります。これらは私の時間を全く考慮していません。

最終的には元が取れるかもしれません。サブスクリプション価格は上がり続けています。1Passwordは3月から2.99ドルから3.99ドルになり、Ring Protectは2月に10ドルから12ドルになりました。そして私は自分のデータとそれを実行するハードウェアを所有しています。

これは趣味であり、趣味にはお金がかかります。ゴルファーにクラブ会員費用の損益分岐点分析を求める人はいません。

本当の収益は私の本業だった

「ホームラボエンジニア」というタイトルの仕事を得ることはないでしょうが、ネットワーク、ホスト、デプロイ、監視、電気代など、この全てを自分で実行することは、仕事で常に役立っています。

localhostで止まるのではなく、私が書いたものを実際にデプロイできます。デモアプリが必要なときは、データベース、バックエンド、ホスティング、そしてそれがいつ落ちるかを教えてくれる監視まで、全て自分で立ち上げます。また、ネットワーク担当者、プラットフォームチーム、データエンジニア、アプリ開発者と、それぞれの専門用語で話すことができます。なぜなら、私はそれらの各レイヤーを私の屋根裏部屋で分解したからです。

もしやり直すなら

もし明日、今の知識で最初からやり直すなら:

  • 最初からインフラストラクチャ・アズ・コード、ホストも含む。 手動でコンテナを1つ設定する方が常に速いと感じていたため、OpenTofuを1年以上先延ばしにしていました。最終的に実行したとき、コンテナで止まってしまったため、CPUガバナーがドリフトしました。
  • 最初からVLAN。 稼働中のホームラボにネットワークセグメンテーションを後付けすることは、IPアドレスをハードコードしている全てのサービスを更新することを意味します。それは悲惨な週末のプロジェクトであり、10分で決断すべきでした。
  • ボトルネックのために購入する。 私は2台のサーバー間に10GbEを設置し、NASを1GbEのままにしていました。高速リンクを購入する前に、実際にデータを移動させるものが何かを特定してください。
  • 最初の障害の前に監視。 最初の日から185個のチェックは必要ありませんが、稼働時間チェックと基本的なバックアップ検証は最初から行うべきです。
  • 必要になる前にオフサイトコピーを用意する。 ローカルバックアップは自分のミスをカバーしますが、私のバックアップは他の全てと同じ屋根裏部屋にあります。
  • GPUフォームファクタのリサーチ。 どんなデスクトップケースにも収まるカードでも、2Uサーバーでは高さ、電源コネクタ、またはエアフローで問題が発生する可能性があります。
  • RAMは最初から予算を組むが、使う分だけ購入する。 AIブームはDDR4 ECC市場を壊滅させ、私は購入した量の約4分の1しか使用していません。

次のステップ

  • 40コアを必要としないサービスのために、より低消費電力のハードウェア(軽量コンテナ用の小型NUCまたはミニPCなど)
  • 変化しなくなったセンサーをチェックする機能、およびガバナーが再びドリフトしないようにProxmoxホスト自体をコードで管理する
  • prxbox1が稼働していることに依存しない、iDRACへの2番目のアクセス方法
  • リモートでの修正 - 私は既にClaude Codeを使ってホームラボをスマホから操作することを始めています。

私の最初のホームラボ投稿を読んで、次に何が来るのか疑問に思っているなら、これはその一例です。