8基のRTX PRO 6000を実用的に稼働させるためのガイド

8基のRTX PRO 6000 GPUを実用的に運用するためのガイド

8基のRTX PRO 6000 GPUで並列処理を最大化：高並列推論、モデルフリート、70Bモデルのファインチューニング。

8基のNVIDIA RTX PRO 6000 BlackwellシステムとAMD EPYC 9555（64コア、128スレッド、Zen 5）を搭載したシステムを入手した際、最初に浮かんだ疑問は「これで何ができるか？」でした。

合計768 GBのGDDR7 VRAMを利用できるため、Llama-3.1 405BやDeepSeek-R1 671Bのような巨大モデルを8枚のカード全体にシャーディングできるかテストするのが自然な発想でした。しかし、それはこの構成のNVIDIAのデータセンターラインナップにおける、はるかに高価な上位機種に適したジョブのように思えます。

その気づきから、アーキテクチャの考え方を改めました。

PCIeを介した深いモデル並列処理を無理に適用するのではなく、HGX B200/B300のようなシステムと比較して大幅に安価な価格で、パフォーマンスをそれほど犠牲にせずに処理できるワークロードを探求する方が理にかなっています。

TLDR：

巨大な400B+モデルを8枚のPCIe GPUに分割すると、レイテンシが大きくなるため、そのようなワークロードはこのプラットフォームには向きません。それはNVIDIAの強力なサーバーラインナップの最高峰に任せましょう。このプラットフォームの強みは、より強力な対抗機種に匹敵する高密度並列実行にあります。

• 分離されたサービング（TP=1）がコンピューティングを最大化： 独立したシングルGPUインスタンスを実行することで、カード間のバス通信が排除され、より効率的なコンピューティング利用と最小限のトークン間レイテンシが実現されます。
• 前例のないKVキャッシュ密度： 密な中規模モデル（例：FP8のQwen3.8-27B）は、カードあたり約60 GBの利用可能なVRAMをKVキャッシュに割り当て、カードあたり最大115万トークン（4kコンテキストでノードあたり約920万トークン）を維持できます。
• マルチテナントモデルフリート： 1つのノードで、24〜32の専門化された8Bマイクロサービスエンドポイント（または最大8つの専用32Bエンドポイント）、あるいは8つの並列1080pビデオ拡散クリップを同時に処理できます。
• オンプレミスでの70B+ファインチューニング： 768 GBのVRAM全体にモデルの状態をシャーディングし、AdamWオプティマイザのモーメントをEPYC 9555のホストDDR5メモリにオフロードすることで、マルチノードのクラウドクラスターなしでネイティブな70Bファインチューニングが可能になります。

1. インターコネクトの制約：PCIe Gen 5 vs. NVLink

インターコネクトの帯域幅と集合レイテンシは、ワークロードがモデル並列処理または独立した並列処理で効率的にスケールするかどうかを決定します。

PCIe 5.0には明らかに限界がありますが、上記のNVLinkの利点と機能は、異常に高い価格タグとセットになっています。

これは、数百ギガバイト、あるいはテラバイトに及ぶ最先端モデルのトレーニングやサービングを行う際には避けられません。しかし、Blackwell GPUを古いPCIeスロットに接続することで、より安価な価格で、同時エージェントワークロードやその他多くの処理を扱えます。

［画像: テンソル並列処理のNVIDIAによるアニメーション図：ニューラルネットワークが2つのGPUに分割され、ユーザーリクエストがシャード間の高帯域幅ネットワークを介してファンアウトしていく様子。］

テンソル並列処理の動作：1つのモデルがGPUにシャーディングされ、インターコネクトを介して再結合される様子。アニメーション：NVIDIA

2. 推奨される並列処理戦略

では、このサーバーで巨大な400B+モノリシックモデルをシャーディングしない場合、他に何ができるのでしょうか？もちろん、非常に高い並列処理のニーズに対応すること、そしてそれ以上のことができます。

A. 分離されたシングルGPUサービング（TP=1, DP=8）

各RTX PRO 6000の96 GB GDDR7容量は、新しいQwen3.8-27Bのような密な中規模アーキテクチャをマルチGPUシャーディングなしで単一カードに完全に収容できます。これは、モデルと使用する精度によって結果が変わることを意味します。

B. マルチモデルマイクロサービスフリート（8B-32B）

エンタープライズの推論ルーティングでは、各96 GBカードは、複数の小規模モデル（例：Llama-3.1 8B、Mistral Small、Qwen3 32B）やディープコンティニュアスバッチングワーカーをホストできます。この戦略では、数値は以下のようになります。

C. 通信オーバーラップを伴うシャーディングファインチューニング

パラメータチューニング中、PyTorch FSDPやDeepSpeed ZeRO-3のようなフレームワークは、PCIeグラディエントオールギャザーとリデューススキャッターをバックワードパス計算とオーバーラップさせます。768 GBの集約プール全体に状態をシャーディングすることで、70B以上のアーキテクチャのファインチューニングをサポートします。しかし、完全な70B AdamWファインチューニングには、CPUオフロード（12x 96GB DIMM経由で少なくとも1.15 TBのホストRAMを必要とする約840 GBのオプティマイザ状態）が必須です。GPUあたり64 GB/sで転送する場合、集約された512 GB/sのPCIe要求は、EPYC 9555の576-614 GB/s DDR5バスの約83-89%で動作するため、ホストメモリ帯域幅がPCIeと並んで共制限要因となります。

3. AMD EPYC 9555 を使用したオーケストレーション

信じられないほど強力なRTX 6000 Blackwell GPUが生の行列演算とトークン生成を処理する一方で、8つの独立した高スループットアクセラレータにデータを供給するには、ホストレベルでの大幅な調整が必要です。非同期マルチテナントシステムでは、CPUがその役割を担います。

64コアのEPYC 9555とその12チャネルメモリサブシステムが、運用上のボトルネックになることなくアクセラレータプールを完全に飽和させ続ける方法を以下に示します。

• ステージングのためのホストRAM、アクティブなKVページングのためではない： EPYC 9555の12チャネルDDR5バスは、最大614 GB/sの理論上のピークホストメモリ帯域幅（またはDDR5-6000で約576 GB/s）を達成します。ライブトークン生成中に64 GB/sのPCIe境界を越えて動的なKVキャッシュをページングすると、深刻なレイテンシスパイクが発生しますが、ホストメモリはプレフィックスキャッシュのステージング、非同期RAGベクトルバッファリング、FSDPオプティマイザのオフロードに優れています。
• 高スループットの前処理： 8から32の並列推論および拡散ストリームを管理するには、かなりのCPUコンピューティングが必要です。64個のZen 5コアは、トークン化、JSON文法強制、埋め込み、ネットワークルーティングをスレッド競合なしで並列に処理します。

4. 本番ワークロードとスループット

これらのアーキテクチャ上の制約を実用的なキャパシティプランニングに落とし込むために、以下の表は実際のワークロードをこの8 GPUプラットフォームでの最適なデプロイメントモデルにマッピングしています。スループット、レイテンシ、運用効率が、分離されたシングルGPUインスタンス（TP=1）、ペア化されたデュアルGPUサービング（TP=2）、および非同期バッチパイプライン間でどのように変化するかを強調し、GPU間PCIeトラフィックを排除することで最大のトークン収益が得られる場所を示しています。

まとめ

このプラットフォームは、大規模な最先端モデルの実験に「最適」ではありません。それは、もちろん、より高価なNVIDIAの最先端の速度とメモリ帯域幅の仕事です。このプラットフォームが輝くのは並列処理です。そして、この種のアーキテクチャで適切なワークロードを実行する場合、コンピューティングにおいて優れた取引を得ることができます。例えば、以下のようなものです。

• ストールフリーサービング： 8つの個別の27Bまたは70Bモデルをフルスピードで実行し、カード間PCIe同期バブルを排除してメモリ帯域幅飽和を最大化します。
• ディープ並列処理： 大規模な専用KVキャッシュヘッドルームを備え、数千の同時チャットセッションとエージェント推論ループをホストします。
• マイクロサービスフリート： 数十の専門化された8B-32Bコーディング、ビジョン、ツール呼び出しモデルを単一マシンに共配置します。
• ローカルファインチューニング： クラウドのマルチノードプレミアムを支払うことなく、ホストRAMと768 GB VRAMプールを使用して70B以上のモデルをネイティブにトレーニングします。

入手可能性

これらのシステムの詳細については、当社の製品ページをご覧ください。このビルドが搭載されているCG480-S6053 4U GPUサーバーと、RTX PRO 6000 Blackwellカード自体です。

現在、CG480-S6053の14ノードが発送準備完了です。リードタイムはありません。完全なL10スペックシート（PDF）には正確なビルドが記載されています。

ExxactのTensorEX TS4-190785987は、ほとんどのカバレッジで引用されているSKUであるため、多くの人が見かけたものです。同じNVIDIAプラットフォーム、同じシャーシ、冷却、サポート条件、部品番号です。

ソース