HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

NVLinkはいつ価値があるのか?

When Is NVLink Worth It? (platform-fools.com)

17 pointsby ak_t2 コメント

要約

この記事は、NvidiaのNVLink技術がAIワークロードにおいてどの程度有効かを、RTX 3090 GPUを用いたテストを通じて検証しています。NVLinkは、特にPCIe帯域幅が制限されるコンシューマー向けプラットフォームでのFSDPトレーニングやテンソル並列プロンプト処理において、顕著なパフォーマンス向上をもたらすことが示されました。しかし、Linux環境でサードパーティのドライバパッチを適用できる場合や、サーバーグレードのハードウェアを使用している場合は、その価値が限定的になる可能性も指摘されています。

全文翻訳

NVLinkはいつ価値があるのか?

Nvidiaはもはやコンシューマー向けGPUでNVLinkをサポートしていません。最後にNVLinkが利用可能だったのはRTX 3090でした。

現在(2026年4月)、NVLinkブリッジはかなり高価で、正確なサイズや小売価格で入手できるかどうかによって、200ドルから400ドルします。私は2つの3090を所有しているので、NVLinkがAIワークロードに実際にどれだけのメリットをもたらすかをテストしたいと思いました。

テスト

AI関連のワークロードにNVLinkを追加した場合の効果を測定するために、いくつかのテストを実行しました。

  • モデル推論: レイヤ分割とテンソル並列を使用。llama-benchでLlama 3.3 70BとGemma 4 31Bを使用しました。レイヤ分割はGPU間の通信がほとんどありませんが、テンソル並列推論はレイヤごとに同期する必要があります。
  • モデルトレーニング: TinyLlama 1.1BにはDDPを、Qwen2.5 3BにはFSDPを使用してトレーニングしました。DDPは各ステップで勾配を計算するために一度だけ同期しますが、FSDPは継続的なデータ転送が必要です。

これらのテストにより、GPU間帯域幅の影響を異なる程度で受ける、良い組み合わせのテストができたと感じています。

ハードウェア

CPUAMD Epyc 7532 (32コア、128 PCIeレーン)
マザーボードSupermicro H12SSL-i、5つのPCIe 4.0 x16スロット
RAM8チャンネル、32GB DDR4-3200、合計256GB
GPU2x EVGA RTX 3090、スロット3と6に直接装着、両方ともフルx16帯域幅で動作
OSUbuntu 24.04、Nvidiaドライバー 595

初期結果

[画像] [画像]

すべてのレイヤ分割テストでのパフォーマンスは影響を受けませんでした。テンソル並列を使用したモデル推論では、NVLinkはプロンプト処理を約30%向上させましたが、トークン生成速度は全く同じでした。

テンソル並列実行でトークン生成速度が同じだったことは予期せぬことでした。アクティベーションを頻繁に同期する必要があるため、大きな違いがあると思っていました。トークン生成速度は通常ヘッドラインとなる数値ですが、コーディングエージェントのような私のほとんどの使用パターンでは非常に長いコンテキストウィンドウを使用するため、プロンプト処理速度も依然として非常に重要です。

[画像]

FSDPトレーニングの向上は非常に大きく、ほぼ3倍の改善が見られました。DDPトレーニングは全く影響を受けませんでした。

しかし、NVLink無しのテストは当初考えていたほどGPUデータ転送をPCIe経由で測定していなかったため、このデータはやや誤解を招く可能性があると考えています。

その後のすべてのテスト構成において、レイヤ分割による推論、テンソル並列トークン生成、DDPトレーニングは(3%以内のノイズの範囲で)全く影響を受けませんでした。これらのテストに関するそれ以上のチャート/データは省略し、テンソル並列プロンプト処理とFSDPトレーニングのみを表示します。すべてのデータはこちらで入手可能です。

テストのためにNVLinkを無効化する際の落とし穴

最初のテストでは、NVLink無しのテストにNCCL_P2P_DISABLE=1を使用しました。また、GPUが期待通りのチャネルを使用していることを確認するためにNCCL_DEBUG=INFOも設定しました。テスト開始時に以下のような行が見られました。

gpu:11419:11419 [0] NCCL INFO Channel 03 : 0[0] -> 1[1] via SHM/direct/direct

これは、PCIe経由のP2P(Peer-to-Peer)を使用する代わりに、GPUがSHM(Shared Host Memory)にフォールバックし、メインメモリへの完全な往復が発生してパフォーマンスのペナルティが大きくなることを意味します。

NVLinkがインストールされていて、GPUがP2Pを使用するように明示的に無効化することは実際には不可能です。NCCL_P2P_DISABLE=1はPCIe経由のP2Pも無効にし、転送はSHM経由で行われます。

NVLinkブリッジを物理的に取り外してテストを再実行しました。

SHM vs P2P、Nvidiaの制限

NVLinkブリッジを取り外した後も、NCCLはSHMを使用しているとログに記録していました。Nvidiaは、おそらく製品セグメンテーションのために、コンシューマー向けGPUでP2Pを完全に無効にしています。これはNvidiaによるドライバーレベルでの人工的な制限であり、RTX 3090やその他のコンシューマー向けGPUはP2Pを実行する能力があります。一部の賢い人々は、ドライバーをパッチすることでこの制限を回避する方法を見つけており、そのソリューションは比較的簡単にインストールできます:open-gpu-kernel-modules。

パッチをインストールして再度テストしました。今回はP2Pを使用していることを示すNCCLログメッセージを確認できました。

gpu:11090:11152 [1] NCCL INFO Channel 00/0 : 1[1] -> 0[0] via P2P/direct pointer

実際のP2P通信を使用した結果

[画像] [画像]

P2Pを有効にすると、SHMとNVLinkの差がほぼ完全に埋められます。プロンプト処理速度は基本的に同じで、FSDPトレーニングはNVLinkのパフォーマンスの90%以上に達します。

では、なぜ誰かがNVLinkブリッジに300ドルも費やすのでしょうか?

コンシューマー向けプラットフォーム

NVLinkは私の特定のセットアップではあまりメリットがありません。私はすでにサーバーCPUとマザーボード(Epyc 7532 + Supermicro H12SSL-i)を持っており、複数のフルPCIe Gen4 x16スロットが付属しています。複数のGPUをインストールでき、それぞれがフルx16帯域幅を得られます。しかし、平均的なコンシューマーは自宅でサーバープラットフォームを使用していないでしょう。

コンシューマー向けCPUは、多くのPCIeレーンをサポートしていません。その結果、これらのCPUのマザーボードにはx16スロットが多くありません。一部のマザーボードは2つのx16スロットを広告していますが、実際には2つのx16サイズの(物理的な)スロットがあるだけで、そのうちの1つだけがフルx16帯域幅を持っています。さらに、2番目のx16サイズの Слотにカードを挿入すると、メインのx16スロットの帯域幅が分割され、両方がx8/x8で動作するという注意点があります。

私が発見した最も高価なコンシューマー向けマザーボード2つは、仕様によると、実際には1つのフルx16帯域幅スロットしかなく、2番目のスロットを使用するとx8/x8構成になることを示しています。

MSI MEG X870E GODLIKE X EDITIONGigabyte Z890 AORUS XTREME AI TOP
[画像][画像]
$1300$1000 ($1500-1800小売価格)

これらの製品は、名前(EXTREME AIやGODLIKE EDITION)やマーケティングが滑稽ですが、残念ながら、コンシューマー向けCPUの制限により、複数のGPUを最大限に活用できません。これはAIワークフローをアップグレードする主な方法であることが多いです。それらは、はるかに安価なマザーボードと全く同じPCIe機能を持っています。例えば、Asus ProArt B650 Creatorは小売価格約230ドルで、2つのPCIe x16スロットでx16モードとx8/x8モードをサポートしています。

これらのすべてのケースにおいて、NVLinkブリッジはPCIeスロットの制限を完全に回避し、GPUが最大帯域幅で通信できるようにします。

BIOSに入り、PCIeスロットをx4、次にx8にスロットルして、より一般的なコンシューマー設定で何が起こるかをシミュレートしました。

[画像]

PCIe x8およびx4でのパフォーマンス

[画像]

テンソル並列推論では、P2Pはx8で約5%、x4で約15%の低下が見られます。NVLinkベースの実行はすべての構成で同じパフォーマンスを示し、SHMテストはどちらのテストよりもはるかに遅くなります。

[画像]

PCIeレーンを減らすことは、FSDPトレーニングにさらに劇的な影響を与えます。P2Pドライバーパッチでさえ、PCIe帯域幅によって制限されるため、その有効性を失い始めます。P2Pドライバーを使用している場合、x8/x8で実行していると、NVLinkは約50%高速になり、GPUがx4帯域幅の場合、トレーニング速度は2倍になります。

SHMのボトルネック

興味深い観察結果は、SHMの結果がP2Pの結果ほど急激に低下しないことです。x8とx16の結果はすべてのテストで同一であり、x4ではプロンプト処理とトレーニングの両方で約5%のペナルティがあるだけでした。これは、SHMのボトルネックがPCIeレーンではなく、メインメモリへのパス上の他の何かであることを示唆しています。

GPU ↔︎ GPU帯域幅の直接測定

テスト中に各構成を確認するために、p2pBandwidthLatencyTestを実行しました。

[画像]

ここで見た結果の理由は、ここで明確に示されています。NVLinkは、基盤となるPCIe構成に関係なく、同じ100GB/sの帯域幅を提供します。PCIe経由のP2PはPCIeレーンと線形にスケールし、SHMは利用可能なPCIe帯域幅をはるかに下回る帯域幅でボトルネックになるようです。

結論

NVLinkは、自宅でデュアルGPUを実行している人々にとって、特定のケースで価値があります。私のセットアップは、偶然にも、それがそうでない数少ない例外の1つです。

NVLinkは、以下のすべてが真である場合に意味があります

  • Linuxを実行していない、またはサードパーティのP2Pドライバーパッチを適用する意思がない(Windows版は見つかりませんでした)
  • 複数のGPUがPCIeをx8/x8以下に低下させるコンシューマー向けプラットフォームを使用している
  • ワークロードがFSDPトレーニング、またはそれほどではないがテンソル並列プロンプト処理である

GPU間の帯域幅は、すべてのワークロードに均等に影響を与えるわけではありません。FSDPトレーニングは私のテストで最大のパフォーマンス向上を達成しました。特に低いPCIeレーン幅では、テンソル並列プロンプト処理は適度な改善が見られました。

ドライバーレベルでP2Pを無効にした私の初期結果は、ほとんどの購入者がそのままの体験となることに注意する価値があります。パッチは非公式でLinux専用であるため、それを適用できない、または適用したくない場合、NVLinkブリッジは複数のGPUのメリットを最大限に引き出す唯一の方法となります。

NVLinkブリッジは安くはありません。計算してみてください:NVLinkブリッジを購入する代わりに、ネイティブにフルx16レーンを提供するワークステーション(Threadripperなど)またはサーバー(Epyc/Xeonなど)プラットフォームに投資できるかもしれません。