HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Jamesobによる最先端LLMをローカルで実行するためのガイド

Jamesob's guide to running SOTA LLMs locally (github.com)

387 pointsby livestyle174 コメント

要約

この記事は、高価なハードウェア(約2,000ドルから40,000ドル)を使用して、最先端の大規模言語モデル(LLM)や音声認識モデルをローカル環境で実行するための詳細なガイドです。ハードウェアの選定、特にGPUの選択とPCIeスイッチングによるGPU間通信の最適化、BIOSやカーネルの設定、モデルのホスティング方法について解説しています。ローカル環境でのLLM実行に関心のある開発者や愛好家向けの内容です。

全文翻訳

jamesob's guide to running SOTA LLMs locally

注意: このREADMEでAIによって書かれた部分はありません。


ポケットに2,000ドルがあり、ローカルで最先端の人工知能を手に入れたいですか?

あるいは40,000ドルではどうでしょう?

Dario氏やAltman氏の発言に胸を痛めているなら(そうであるべきです)、この新しいコンピューティングをローカルで実行する方法を見つけるために読み進めてください。


このリポジトリには以下が含まれます

  • 私がSOTAをローカルで実行するために使用するハードウェア、
    • なぜそれを選び、設定に関するあまり知られていない秘密は何なのか、
  • 私がローカルで音声認識(STT)を実行する方法、
  • Dockerコンテナ内で私が良いと思うモデルを実行するための、すぐに使える設定。

目次

セクションTL;DR
いくら使いたいですか?2,000ドルでQwenと良好なSTT(かなり進んでいます!)、40,000ドルでOpusに近いものが手に入ります
ベースシステム前世代EPYC + eBay DDR4で5,600ドル
GPU4× RTX PRO 6000、384GB VRAM(ここにお金がかかりました)
c-payneスイッチサブBOMGPUがピアツーピアで通信できるようにする、c-payne.com製のインディーズPCIeスイッチ
GPUマウント一日の木工
スイッチの動作を安定させるBIOSのバイファケーション、リンク速度、ASPM
カーネル/GRUBパラメータiommu=off またはNCCLハング
ACS無効化P2Pトラフィックをスイッチファブリック内に維持する
GPU電力制限46,000ドルのシリコンを110V回路で実行する
結果Gen4ラインレート: 27.5/50.4 GB/s、サブµsレイテンシ
runners/すぐに使えるサービング設定: GLM-5.2-594B: vLLM docker-compose、DCP4+MTP5、約80 t/s @ 460k ctx
runners/sttcohere-transcribe を使用した、すぐに使える音声認識設定
tools/measure-gpu-speed.sh: P2P帯域幅/レイテンシベンチマーク
リソースrtx6kproリポジトリ、c-payne

私の設定

私は幸運にも(あるいは愚かにも)RTX Pro 6000を4枚、価格がまだ安かった頃に購入しました。RAMが現在非常に高価なので、これらのカードを搭載する前世代のDDR4システムを構築することを選択し、部品はeBayで調達しました。これにより、ベースシステムのコストを抑えつつ、多くのVRAMを確保することができました。

[画像: 私のリグ]

もう一つ、やや珍しいことをしたのがPCIe4スイッチ(c-payne.com製)を使用したことです。これにより、GPUはテンソル並列処理のallreduceステップ中に、PCIルートコンプレックスを経由するのではなく、「直接」ワイヤースピードで互いに通信できます。その結果、高価なPCIe5ハードウェアの必要性を減らしつつ、カード間のレイテンシが短縮されます。

[画像: スイッチ]

したがって、PCIe5/DDR5ベースシステムではなく、VRAM(重要な部分)にお金をかけています。これは2026年7月現在、非常に高価です。

Gen5ではなく古いホストGen4セットアップを使用することで、ホストコストを約10,000ドル節約しながら、LLMのパフォーマンスがエージェントワークロードでは使用できないほど遅くなるVRAMで非常に良いパフォーマンスを得ることができます。

私の具体的なBOM(Bill of Materials)を以下に示します。

いくら使いたいですか?
約2,000ドル

素晴らしい選択肢は、2枚のRTX 3090で、合計48GBのVRAMです。これにより、素晴らしいモデルであるQwen3.6-27Bを実行できます。

また、SOTA音声認識(STT)をcohere-transcribe(以前はwhisper-large-v3を使用していました)で実行することもできます。これは非常に便利だと感じています。それがモデルです。その後、私のクロスプラットフォームsttハーネスでアクセスできます。

ローカルSTTは驚くほど便利だとわかりました。ホストされた同等品とは異なり、安心して使用できます。約11GBのNvidia GPU VRAMを想定するだけで実行できる、すぐに使える設定が./runners/sttにあります。

約20,000ドル

(TODO)

  • 2x RTX 6000 Pro
  • 4x DGX Sparkをネットワーク接続
  • Appleハードウェア

この領域には経験がないため、あまり助けになりません。

約40,000ドル

このレベルでは、モデルの知能が一段階上がります。Claude Opusにかなり近いものです。

RTX 6000 Proを4枚購入し、合計384GBのVRAMを得ることになります。

4x RTX6kPRO向けの現在のベストモデル
日付ベストモデル私の設定
2026-07-01GLM-5.2-Int8Mix-NVFP4-REAP-594Bランナー設定
その他のアプローチ

注意: これらは私の推奨ですが、他にも完全に有効な使い道があります。例えば、4枚のRTX6kproを購入する代わりに、ほとんどのお金をリンクされた4x DGX Sparkクラスターの構築に費やし、合計512GBのVRAMを持つ「遅いが強力な脳」としてQwen3.7-27bを駆動して定型タスクを迅速に実行するという方法もあるでしょう。

ハードウェア

4x RTX 6000 Proマシン用に購入したハードウェアは以下の通りです。

[画像: エンクロージャー]

ベースシステム

eBayでほぼすべて部品を調達した、控えめな前世代EPYCシステムです。

コンポーネントスペック価格
マザーボードASRock Rack ROMED8-2T (SP3, 7× PCIe 4.0 x16, デュアル10GbE)715ドル
CPUAMD EPYC Milan 7313P (16コア 3.0GHz)504ドル
RAM8× 16GB Crucial CT16G4RFD4213 DDR4 ECC RDIMM (合計128GB、eBay)642ドル
CPUクーラーNoctua NH-U14s140ドル
ケースAAAWave Sluice V2オープンフレーム100ドル
PSU2× Super Flower 1700W750ドル
PCIeスイッチc-payne Microchip Switchtec PM40100 Gen4 (下記サブBOM参照)約1,330ドル
ブートNVMe4TB M.2291ドル
ストレージNVMe(2x) 8TB M.2 (モデルウェイト)1,200ドル
ファン3× 120mm PWM15ドル
合計5,687ドル
GPU
コンポーネントスペック価格
GPU4× NVIDIA RTX PRO 6000 Blackwellワークステーション (各96GB、合計384GB VRAM)約46,000ドル
c-payne PCIe Gen4スイッチ サブBOM (c-payne.com)
部品数量単価(€)備考
PCIe gen4スイッチ 5× x16 — Microchip Switchtec PM4010011,0502× SlimSAS 8i アップストリーム、5× x16 クワッド幅スペーシングダウンストリーム、補助x4 SlimSAS、3× 8ピンEPS電源
SlimSAS PCIe gen4 ホストアダプター x16 — REDRIVER AIC (DS160PR810)1140ROMED8-2T x16スロットに接続、スイッチアップストリームに供給
SlimSAS SFF-8654 8iケーブル — PCIe gen42約30各x8を伝送;ペアでx16アップストリーム
合計~~€1,220 (~~1,330 USD)
GPUマウント

PCIスイッチとGPUのために木製のカスタムエンクロージャーを製作する必要があり、約一日かかりました。

[画像: 木工]

PCIスイッチの内蔵ファンは非常にうるさく、役に立たないように思えたので、ボードから外しました。

モデルウェイトの保存

すべてのモデルウェイトは、2つの8TBドライブにレプリケートされたZFSファイルシステムにローカルで保存し、~/storageにマウントしています。

実行したいモデルごとに、まず以下のコマンドでモデルをダウンロードします。

hf download <model-name> --local-dir ~/storage/<model-name>
モデルの実行

モデルウェイトがローカルにキャッシュされたら、各モデル専用のディレクトリがあり、その中にdocker-compose.ymlファイルが含まれています。これにより、各モデルの実行が独自のDockerコンテナに隔離されます。

これらの設定は./runners/で見つけることができます。

各コンテナは、キャッシュしたウェイトを取得するために、~/storage/modelsを読み取り専用モードでマウントします。

その後、別のマシン上のVMでホストされているopencodeを使用して、モデルがhttp://clank.j.co:5000でサービングされた後にアクセスします。

LLMマシンを指すように、内部DNSサーバーを使用していますが、単にhttp://<llm-machine-ip>:5000とすることもできます。

ハーネス自体

VMを作成し、VMの~/srcツリー内の各ディレクトリのtmuxセッションを作成するアプリケーションを構築しました。これにより、推論マシンのHTTP API(http://clank.j.co:5000)にバックアップするopencodeインスタンスが実行されます。

[画像: クランクハウス]

オープンソースモデルを良くするための鍵の一つは、適切にツール化することです。私のskills/の概要は以下の通りです。

  • camofox、kagi.com APIキー、searXNGによるウェブブラウジングと検索、
  • コミュニケーションとアラートのためのTelegramボット、
  • ソースコードの共同作業のためのローカルプライベートGiteaインスタンス。

クランカーは、セッションで私とインタラクティブに作業するか、Giteaの課題に取り組んでPRを提出するためにオフロードすることができます。

これらすべてはサンドボックス化されたVMで実行され、ホストシステムへの唯一の通信は共有ファイルシステムのマウントを介して行われるため、システムは何でもインストールして自由に動作させることができます。

PCIスイッチの動作を安定させる

マザーボードがPCIスイッチの速度を低下させないように、BIOSで多くの調整を行いました。

BIOS設定 (ROMED8-2T)
設定値理由
Chipset Configuration → AMD PCIE Link Width (スイッチスロット)x16 (元はx8/x8)バイファケーションがスロットを分割しており、アップストリームリンクはGen4 x8でトレーニングされていました。両方のSlimSAS 8iケーブル(各x8を伝送)の接続が必要です。
PCIe Link Speed (スイッチスロット)Gen4 (Autoではない)Blackwell Gen5デバイスがGen4スイッチ経由で自動ネゴシエートすると、トレーニングに失敗しGen1に低下する可能性がありました。Gen4を強制することで安定します。
ASPM無効ASPM L1はアイドルリンクを2.5GT/sに低下させます。これが「Gen1ダウングレード」のlspci読み取りの理由であることが判明しました — リンクは実際には負荷下でGen4で動作していましたが(p2pBandwidthLatencyTestで確認)、ASPMを無効にすることで、見た目の警告と再トレーニングの遅延がなくなります。
Re-Size BAR有効96GB VRAMのBAR露出とGPU P2Pを完全に有効にするために必要です。
SR-IOV無効ベアメタル推論。IOMMUオーバーヘッドとP2P干渉を回避します。
Preferred IOAutoオプションでManual → bus 81 (c-payneスイッチ) に設定するとわずかなレイテンシ改善が見られますが、Autoのままにしました。これは最適化であり修正ではなく、BIOS変更後にバス番号がシフトします。
レッドライバーのゲインを下げる

c-payneのアドバイスに従い、彼のツールを使用してゲインを「lvl 3」に下げました。これはおそらくプロセスの中で最も手間のかかる部分でした。

ゲインレベルはSASコネクタケーブルの長さに依存します。

正しいSASケーブルの選択

私は間違いを犯し、c-payneから直接ケーブルを十分に注文しなかったため、Amazonで同じものだと思ったSASケーブルを購入しました。実際にはわずかな違いがあり、問題を引き起こしたため、ケーブルを再注文する必要がありました。したがって、正しいものを入手しているか確認してください!

カーネル / GRUBパラメータ

# /etc/default/grub
GRUB_CMDLINE_LINUX="iommu=off amd_iommu=off nomodeset"
sudo update-grub

# nvidia_uvm P2P修正
echo 'options nvidia_uvm uvm_disable_hmm=1' | sudo tee /etc/modprobe.d/uvm.conf
sudo update-initramfs -u

iommu=offなしでは、NCCLはマルチGPU P2Pでハングします。

ACS無効化 (スイッチP2Pに不可欠)

ACSが有効(デフォルト)の場合、P2PトラフィックはCPUルートポートを経由してCPUに戻され、スイッチファブリック内に留まらないため、スイッチが無効になります。pcie_acs_overrideはパッチ適用済みのカーネルが必要なため、実行時にsetpciで無効にします。

# /usr/local/bin/disable-acs.sh
#!/bin/bash
if [ "$EUID" -ne 0 ]; then
  echo "ERROR: must be run as root"
  exit 1
fi

for BDF in $(lspci -d "* *: *" | awk '{print $1}'); do
  setpci -v -s ${BDF} ECAP_ACS+0x6.w > /dev/null 2>&1
  if [ $? -ne 0 ]; then
    continue
  fi
  echo "Disabling ACS on $(lspci -s ${BDF})"
  setpci -v -s ${BDF} ECAP_ACS+0x6.w=0000
done

systemd oneshotで起動ごとに実行します。

# /etc/systemd/system/disable-acs.service
[Unit]
Description=Disable PCIe ACS for GPU P2P
After=multi-user.target

[Service]
Type=oneshot
ExecStart=/usr/local/bin/disable-acs.sh

[Install]
WantedBy=multi-user.target

確認: lspci -vvv | grep ACSCtl はすべてマイナス記号を表示し、nvidia-smi topo -m は4つのGPUすべて間でPIX(PHB/NODEではない)を表示する必要があります。

./tools/measure-gpu-speed.shを使用して簡単に測定できます。

GPU電力制限

220V回路を設置しないために、私は(おそらく賢明ではないが)このリグを単一の110V回路で実行していますが、カードの電力を調整しています。

永続モード + 電力キャップを起動時にsystemd経由で適用します (install-gpu-power-limit.sh):

sudo nvidia-smi -pm 1
sudo nvidia-smi -pl 350    # GPUあたり350W (デフォルト600W)

350W/GPU = 1,400W GPU負荷、PSU予算に合わせてサイズ調整。一時的なシングル1700W-PSUフェーズ中(240V回路前)は、カードは約260W(4×260 = 1,040W GPU + 約280Wシステム ≈ 合計1,320W)で動作していました。

確認: nvidia-smi --query-gpu=index,power.limit,power.draw --format=csv

結果

アップストリーム: Gen4 x16 (~30 GB/s to CPU)。スイッチ経由のP2P: 双方向27.5 GB/s / 双方向50.4 GB/s、0.37–0.45 µsレイテンシ、つまりGen4ラインレートです。注意: ASPMがアクティブな場合、lspciはアイドル時に下流GPUリンクを「2.5GT/s (ダウングレード)」と表示することがありますが、これは見た目上のものです。リンクは負荷下でGen4に再トレーニングされます。

[画像: コントロールパネル]

リソース