Jamesobによる最先端LLMをローカルで実行するためのガイド
Jamesob's guide to running SOTA LLMs locally (github.com)
要約
この記事は、高価なハードウェア(約2,000ドルから40,000ドル)を使用して、最先端の大規模言語モデル(LLM)や音声認識モデルをローカル環境で実行するための詳細なガイドです。ハードウェアの選定、特にGPUの選択とPCIeスイッチングによるGPU間通信の最適化、BIOSやカーネルの設定、モデルのホスティング方法について解説しています。ローカル環境でのLLM実行に関心のある開発者や愛好家向けの内容です。
全文翻訳
jamesob's guide to running SOTA LLMs locally
注意: このREADMEでAIによって書かれた部分はありません。
ポケットに2,000ドルがあり、ローカルで最先端の人工知能を手に入れたいですか?
あるいは40,000ドルではどうでしょう?
Dario氏やAltman氏の発言に胸を痛めているなら(そうであるべきです)、この新しいコンピューティングをローカルで実行する方法を見つけるために読み進めてください。
このリポジトリには以下が含まれます
- 私がSOTAをローカルで実行するために使用するハードウェア、
- なぜそれを選び、設定に関するあまり知られていない秘密は何なのか、
- 私がローカルで音声認識(STT)を実行する方法、
- Dockerコンテナ内で私が良いと思うモデルを実行するための、すぐに使える設定。
目次
| セクション | TL;DR |
|---|---|
| いくら使いたいですか? | 2,000ドルでQwenと良好なSTT(かなり進んでいます!)、40,000ドルでOpusに近いものが手に入ります |
| ベースシステム | 前世代EPYC + eBay DDR4で5,600ドル |
| GPU | 4× RTX PRO 6000、384GB VRAM(ここにお金がかかりました) |
| c-payneスイッチサブBOM | GPUがピアツーピアで通信できるようにする、c-payne.com製のインディーズPCIeスイッチ |
| GPUマウント | 一日の木工 |
| スイッチの動作を安定させる | BIOSのバイファケーション、リンク速度、ASPM |
| カーネル/GRUBパラメータ | iommu=off またはNCCLハング |
| ACS無効化 | P2Pトラフィックをスイッチファブリック内に維持する |
| GPU電力制限 | 46,000ドルのシリコンを110V回路で実行する |
| 結果 | Gen4ラインレート: 27.5/50.4 GB/s、サブµsレイテンシ |
runners/ | すぐに使えるサービング設定: GLM-5.2-594B: vLLM docker-compose、DCP4+MTP5、約80 t/s @ 460k ctx |
runners/stt | cohere-transcribe を使用した、すぐに使える音声認識設定 |
tools/ | measure-gpu-speed.sh: P2P帯域幅/レイテンシベンチマーク |
| リソース | rtx6kproリポジトリ、c-payne |
私の設定
私は幸運にも(あるいは愚かにも)RTX Pro 6000を4枚、価格がまだ安かった頃に購入しました。RAMが現在非常に高価なので、これらのカードを搭載する前世代のDDR4システムを構築することを選択し、部品はeBayで調達しました。これにより、ベースシステムのコストを抑えつつ、多くのVRAMを確保することができました。
もう一つ、やや珍しいことをしたのがPCIe4スイッチ(c-payne.com製)を使用したことです。これにより、GPUはテンソル並列処理のallreduceステップ中に、PCIルートコンプレックスを経由するのではなく、「直接」ワイヤースピードで互いに通信できます。その結果、高価なPCIe5ハードウェアの必要性を減らしつつ、カード間のレイテンシが短縮されます。
したがって、PCIe5/DDR5ベースシステムではなく、VRAM(重要な部分)にお金をかけています。これは2026年7月現在、非常に高価です。
Gen5ではなく古いホストGen4セットアップを使用することで、ホストコストを約10,000ドル節約しながら、LLMのパフォーマンスがエージェントワークロードでは使用できないほど遅くなるVRAMで非常に良いパフォーマンスを得ることができます。
私の具体的なBOM(Bill of Materials)を以下に示します。
いくら使いたいですか?
約2,000ドル
素晴らしい選択肢は、2枚のRTX 3090で、合計48GBのVRAMです。これにより、素晴らしいモデルであるQwen3.6-27Bを実行できます。
また、SOTA音声認識(STT)をcohere-transcribe(以前はwhisper-large-v3を使用していました)で実行することもできます。これは非常に便利だと感じています。それがモデルです。その後、私のクロスプラットフォームsttハーネスでアクセスできます。
ローカルSTTは驚くほど便利だとわかりました。ホストされた同等品とは異なり、安心して使用できます。約11GBのNvidia GPU VRAMを想定するだけで実行できる、すぐに使える設定が./runners/sttにあります。
約20,000ドル
(TODO)
- 2x RTX 6000 Pro
- 4x DGX Sparkをネットワーク接続
- Appleハードウェア
この領域には経験がないため、あまり助けになりません。
約40,000ドル
このレベルでは、モデルの知能が一段階上がります。Claude Opusにかなり近いものです。
RTX 6000 Proを4枚購入し、合計384GBのVRAMを得ることになります。
4x RTX6kPRO向けの現在のベストモデル
| 日付 | ベストモデル | 私の設定 |
|---|---|---|
| 2026-07-01 | GLM-5.2-Int8Mix-NVFP4-REAP-594B | ランナー設定 |
その他のアプローチ
注意: これらは私の推奨ですが、他にも完全に有効な使い道があります。例えば、4枚のRTX6kproを購入する代わりに、ほとんどのお金をリンクされた4x DGX Sparkクラスターの構築に費やし、合計512GBのVRAMを持つ「遅いが強力な脳」としてQwen3.7-27bを駆動して定型タスクを迅速に実行するという方法もあるでしょう。
ハードウェア
4x RTX 6000 Proマシン用に購入したハードウェアは以下の通りです。
ベースシステム
eBayでほぼすべて部品を調達した、控えめな前世代EPYCシステムです。
| コンポーネント | スペック | 価格 |
|---|---|---|
| マザーボード | ASRock Rack ROMED8-2T (SP3, 7× PCIe 4.0 x16, デュアル10GbE) | 715ドル |
| CPU | AMD EPYC Milan 7313P (16コア 3.0GHz) | 504ドル |
| RAM | 8× 16GB Crucial CT16G4RFD4213 DDR4 ECC RDIMM (合計128GB、eBay) | 642ドル |
| CPUクーラー | Noctua NH-U14s | 140ドル |
| ケース | AAAWave Sluice V2オープンフレーム | 100ドル |
| PSU | 2× Super Flower 1700W | 750ドル |
| PCIeスイッチ | c-payne Microchip Switchtec PM40100 Gen4 (下記サブBOM参照) | 約1,330ドル |
| ブートNVMe | 4TB M.2 | 291ドル |
| ストレージNVMe | (2x) 8TB M.2 (モデルウェイト) | 1,200ドル |
| ファン | 3× 120mm PWM | 15ドル |
| 合計 | 5,687ドル |
GPU
| コンポーネント | スペック | 価格 |
|---|---|---|
| GPU | 4× NVIDIA RTX PRO 6000 Blackwellワークステーション (各96GB、合計384GB VRAM) | 約46,000ドル |
c-payne PCIe Gen4スイッチ サブBOM (c-payne.com)
| 部品 | 数量 | 単価(€) | 備考 |
|---|---|---|---|
| PCIe gen4スイッチ 5× x16 — Microchip Switchtec PM40100 | 1 | 1,050 | 2× SlimSAS 8i アップストリーム、5× x16 クワッド幅スペーシングダウンストリーム、補助x4 SlimSAS、3× 8ピンEPS電源 |
| SlimSAS PCIe gen4 ホストアダプター x16 — REDRIVER AIC (DS160PR810) | 1 | 140 | ROMED8-2T x16スロットに接続、スイッチアップストリームに供給 |
| SlimSAS SFF-8654 8iケーブル — PCIe gen4 | 2 | 約30 | 各x8を伝送;ペアでx16アップストリーム |
| 合計 | ~~€1,220 (~~1,330 USD) |
GPUマウント
PCIスイッチとGPUのために木製のカスタムエンクロージャーを製作する必要があり、約一日かかりました。
PCIスイッチの内蔵ファンは非常にうるさく、役に立たないように思えたので、ボードから外しました。
モデルウェイトの保存
すべてのモデルウェイトは、2つの8TBドライブにレプリケートされたZFSファイルシステムにローカルで保存し、~/storageにマウントしています。
実行したいモデルごとに、まず以下のコマンドでモデルをダウンロードします。
hf download <model-name> --local-dir ~/storage/<model-name>
モデルの実行
モデルウェイトがローカルにキャッシュされたら、各モデル専用のディレクトリがあり、その中にdocker-compose.ymlファイルが含まれています。これにより、各モデルの実行が独自のDockerコンテナに隔離されます。
これらの設定は./runners/で見つけることができます。
各コンテナは、キャッシュしたウェイトを取得するために、~/storage/modelsを読み取り専用モードでマウントします。
その後、別のマシン上のVMでホストされているopencodeを使用して、モデルがhttp://clank.j.co:5000でサービングされた後にアクセスします。
LLMマシンを指すように、内部DNSサーバーを使用していますが、単にhttp://<llm-machine-ip>:5000とすることもできます。
ハーネス自体
VMを作成し、VMの~/srcツリー内の各ディレクトリのtmuxセッションを作成するアプリケーションを構築しました。これにより、推論マシンのHTTP API(http://clank.j.co:5000)にバックアップするopencodeインスタンスが実行されます。
オープンソースモデルを良くするための鍵の一つは、適切にツール化することです。私のskills/の概要は以下の通りです。
- camofox、kagi.com APIキー、searXNGによるウェブブラウジングと検索、
- コミュニケーションとアラートのためのTelegramボット、
- ソースコードの共同作業のためのローカルプライベートGiteaインスタンス。
クランカーは、セッションで私とインタラクティブに作業するか、Giteaの課題に取り組んでPRを提出するためにオフロードすることができます。
これらすべてはサンドボックス化されたVMで実行され、ホストシステムへの唯一の通信は共有ファイルシステムのマウントを介して行われるため、システムは何でもインストールして自由に動作させることができます。
PCIスイッチの動作を安定させる
マザーボードがPCIスイッチの速度を低下させないように、BIOSで多くの調整を行いました。
BIOS設定 (ROMED8-2T)
| 設定 | 値 | 理由 |
|---|---|---|
Chipset Configuration → AMD PCIE Link Width (スイッチスロット) | x16 (元はx8/x8) | バイファケーションがスロットを分割しており、アップストリームリンクはGen4 x8でトレーニングされていました。両方のSlimSAS 8iケーブル(各x8を伝送)の接続が必要です。 |
| PCIe Link Speed (スイッチスロット) | Gen4 (Autoではない) | Blackwell Gen5デバイスがGen4スイッチ経由で自動ネゴシエートすると、トレーニングに失敗しGen1に低下する可能性がありました。Gen4を強制することで安定します。 |
| ASPM | 無効 | ASPM L1はアイドルリンクを2.5GT/sに低下させます。これが「Gen1ダウングレード」のlspci読み取りの理由であることが判明しました — リンクは実際には負荷下でGen4で動作していましたが(p2pBandwidthLatencyTestで確認)、ASPMを無効にすることで、見た目の警告と再トレーニングの遅延がなくなります。 |
| Re-Size BAR | 有効 | 96GB VRAMのBAR露出とGPU P2Pを完全に有効にするために必要です。 |
| SR-IOV | 無効 | ベアメタル推論。IOMMUオーバーヘッドとP2P干渉を回避します。 |
| Preferred IO | Auto | オプションでManual → bus 81 (c-payneスイッチ) に設定するとわずかなレイテンシ改善が見られますが、Autoのままにしました。これは最適化であり修正ではなく、BIOS変更後にバス番号がシフトします。 |
レッドライバーのゲインを下げる
c-payneのアドバイスに従い、彼のツールを使用してゲインを「lvl 3」に下げました。これはおそらくプロセスの中で最も手間のかかる部分でした。
ゲインレベルはSASコネクタケーブルの長さに依存します。
正しいSASケーブルの選択
私は間違いを犯し、c-payneから直接ケーブルを十分に注文しなかったため、Amazonで同じものだと思ったSASケーブルを購入しました。実際にはわずかな違いがあり、問題を引き起こしたため、ケーブルを再注文する必要がありました。したがって、正しいものを入手しているか確認してください!
カーネル / GRUBパラメータ
# /etc/default/grub
GRUB_CMDLINE_LINUX="iommu=off amd_iommu=off nomodeset"
sudo update-grub
# nvidia_uvm P2P修正
echo 'options nvidia_uvm uvm_disable_hmm=1' | sudo tee /etc/modprobe.d/uvm.conf
sudo update-initramfs -u
iommu=offなしでは、NCCLはマルチGPU P2Pでハングします。
ACS無効化 (スイッチP2Pに不可欠)
ACSが有効(デフォルト)の場合、P2PトラフィックはCPUルートポートを経由してCPUに戻され、スイッチファブリック内に留まらないため、スイッチが無効になります。pcie_acs_overrideはパッチ適用済みのカーネルが必要なため、実行時にsetpciで無効にします。
# /usr/local/bin/disable-acs.sh
#!/bin/bash
if [ "$EUID" -ne 0 ]; then
echo "ERROR: must be run as root"
exit 1
fi
for BDF in $(lspci -d "* *: *" | awk '{print $1}'); do
setpci -v -s ${BDF} ECAP_ACS+0x6.w > /dev/null 2>&1
if [ $? -ne 0 ]; then
continue
fi
echo "Disabling ACS on $(lspci -s ${BDF})"
setpci -v -s ${BDF} ECAP_ACS+0x6.w=0000
done
systemd oneshotで起動ごとに実行します。
# /etc/systemd/system/disable-acs.service
[Unit]
Description=Disable PCIe ACS for GPU P2P
After=multi-user.target
[Service]
Type=oneshot
ExecStart=/usr/local/bin/disable-acs.sh
[Install]
WantedBy=multi-user.target
確認: lspci -vvv | grep ACSCtl はすべてマイナス記号を表示し、nvidia-smi topo -m は4つのGPUすべて間でPIX(PHB/NODEではない)を表示する必要があります。
./tools/measure-gpu-speed.shを使用して簡単に測定できます。
GPU電力制限
220V回路を設置しないために、私は(おそらく賢明ではないが)このリグを単一の110V回路で実行していますが、カードの電力を調整しています。
永続モード + 電力キャップを起動時にsystemd経由で適用します (install-gpu-power-limit.sh):
sudo nvidia-smi -pm 1
sudo nvidia-smi -pl 350 # GPUあたり350W (デフォルト600W)
350W/GPU = 1,400W GPU負荷、PSU予算に合わせてサイズ調整。一時的なシングル1700W-PSUフェーズ中(240V回路前)は、カードは約260W(4×260 = 1,040W GPU + 約280Wシステム ≈ 合計1,320W)で動作していました。
確認: nvidia-smi --query-gpu=index,power.limit,power.draw --format=csv
結果
アップストリーム: Gen4 x16 (~30 GB/s to CPU)。スイッチ経由のP2P: 双方向27.5 GB/s / 双方向50.4 GB/s、0.37–0.45 µsレイテンシ、つまりGen4ラインレートです。注意: ASPMがアクティブな場合、lspciはアイドル時に下流GPUリンクを「2.5GT/s (ダウングレード)」と表示することがありますが、これは見た目上のものです。リンクは負荷下でGen4に再トレーニングされます。
リソース
- 4枚、6枚、または8枚のRTX 6000 Proカードを最大限に活用するための、頻繁に更新されるリポジトリ: https://github.com/local-inference-lab/rtx6kpro
- 私が使用しているインディーズPCIスイッチ: https://c-payne.com
- RTX6kPRO Discordサーバー; 新しいモデルをベンチマークおよびテストしている人がたくさんいます: https://discord.gg/QMNvFkuDN