HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

AMD Strix Halo RDMAクラスターセットアップガイド

AMD Strix Halo RDMA Cluster Setup Guide (github.com)

194 pointsby jakogut59 コメント

要約

このガイドは、Intel E810(RoCE v2)を介してリンクされた2つのAMD Strix Haloノードクラスターを、Tensor Parallelismを使用した分散vLLM推論のために設定する方法を詳細に説明しています。Fedora上でのホスト構成、RDMAクラスターの概念とアーキテクチャ、ハードウェア要件、およびトラブルシューティングについて解説しています。

全文翻訳

AMD Strix Halo RDMAクラスターセットアップガイド

このガイドでは、Tensor Parallelismを用いた分散vLLM推論のために、Intel E810 (RoCE v2) を介して接続された2ノードのAMD Strix Haloクラスターを構成する方法を詳述します。

目次

  1. TL;DR (クイックスタート)
  2. 概念とアーキテクチャ
  3. ハードウェア要件
  4. ホスト構成 (Fedora)
  5. ツールボックスのインストールとネットワーク検証
  6. クラスターの実行
  7. トラブルシューティング
  8. 参考文献と謝辞

1. TL;DR (クイックスタート)

両方のノードで実施:

  1. 準備:
    • Fedora 43をインストール/更新し、E810 NICをセットアップします (ファームウェア確認: ethtool -i <iface>)。
    • BIOS/カーネル: iGPUを512MBに設定し、カーネルパラメータ (iommu=pt, pci=reallocなど) を適用します。
    • SSH: ノード間でパスワードなしSSHを構成します。
  2. ネットワーク: 静的IPアドレス (192.168.100.1 & .2) を割り当て、MTUを9000に設定し、ファイアウォールでインターフェースを信頼します。
  3. ツールボックスのインストール: ./refresh_toolbox.sh を実行します (これにより、RDMAサポートとカスタム librccl.so パッチを含むコンテナが自動的にインストールされます)。
  4. クラスターの実行:
    • start-vllm-cluster を実行します。
    • 「2. Start Ray Cluster」 を選択します (TUIの指示に従います)。
    • 「4. Launch VLLM Serve」 を選択し、モデルを選びます (ゲート付きモデルの場合は、まず HF_TOKEN をエクスポートしてください!)。

重要な注意: refresh_toolbox.sh スクリプトは、Infiniband/RDMAデバイスを検出し、コンテナがそれらを公開するように自動的に構成します。


2. 概念とアーキテクチャ

[画像: concepts]

Strix Haloクラスターを最大限に活用するには、関連する技術を理解することが役立ちます。

  • vLLM: 高性能な推論エンジンです。単一のGPU (またはAPU) では扱えないサイズのモデルを実行するために、Tensor Parallelism (TP) を使用してモデルを分割します。
  • Ray: 分散コンピューティングフレームワークです。vLLMはRayを使用してクラスターをオーケストレーションし、各ノード上の「ワーカー」プロセスを管理し、それらが正しく起動することを保証します。Rayはコントロールプレーン (コマンドの発行) を担当します。
  • RCCL (ROCm Collective Communication Library): NVIDIAのNCCLに相当するAMDのライブラリです。このライブラリはデータプレーン、特にGPU間のテンソルデータの超高速同期を処理します。TP=2の場合、2つのノードはニューラルネットワークのすべてのレイヤーの後に部分的な結果を交換する必要があります。これは毎秒数千回発生します。
  • RoCE v2 (RDMA over Converged Ethernet): RCCLがCPUとOSカーネルをバイパスして、一方のノードのメモリからもう一方のノードのメモリへ直接データを書き込むことを可能にするプロトコルです。
    • RDMAなしの場合: レイテンシは約70-100µs (TCP/IPオーバーヘッド)。
    • RDMAありの場合: レイテンシは約5µs。
    • なぜ重要か: インタラクティブなトークン生成において、高いレイテンシはパフォーマンスを低下させます。RoCEにより、2つのノードは単一のマシンのように機能します。

3. ハードウェア要件

[画像: cluster]

  • ノード: 2x Framework Desktop Mainboards (AMD Ryzen AI MAX+ "Strix Halo"搭載)、128GBユニファイドメモリ。
  • ネットワークカード: Intel Ethernet Controller E810-CQDA1 (または類似の100GbE QSFP28)。
  • 接続: Direct Attach Copper (DAC) ケーブル (例: QSFPTEK 100G QSFP28 DAC)。2ノードの場合はスイッチ不要。
  • PCIeに関する注意: FrameworkマザーボードのPCIeスロットは物理的にx4であるため、16xカードを接続するにはライザーが必要です (例: CY PCI-E Express 4x to 16x Extender)。テストセットアップの注意: このセットアップで使用されているボードの1つは、x16カードを直接挿せるようにPCIeスロットが改造されています (Frameworkが超音波ナイフで切断)。これは一般ユーザーには推奨されません。ライザーの方が安価で安全、かつ簡単な解決策です。パフォーマンスは同等です (~50Gbps帯域幅、~5µsレイテンシ)。

4. ホスト構成 (Fedora)

これらの手順は、両方のノードのホストOS (Fedora 43) で実行してください。

テスト済みのホスト構成:

ノードカーネルOSIP (RDMAインターフェース)
Node 16.18.5-200.fc43.x86_64Fedora Linux 43192.168.100.1/30
Node 26.18.6-200.fc43.x86_64Fedora Linux 43192.168.100.2/30

注意: これらの特定のカーネルバージョンで動作が確認されています。Fedora 43を推奨します。

4.1 パッケージのインストール

コアとなるRDMAユーザースペースツールをインストールします。プロプライエタリなIntelドライバーは不要です。カーネル内のドライバーで完全に動作します。

  • イーサネットドライバー: ice
  • RDMAドライバー: irdma (RoCE v2 & iWARP用ユニファイドドライバー)
sudo dnf install rdma-core libibverbs-utils perftest
  • rdma-core: RDMAサブシステムのユーザースペースコンポーネント (ライブラリ、デーモン、設定ツール)。
  • libibverbs-utils: RDMAデバイスをクエリするためのユーティリティ (例: ibv_devinfo)。
  • perftest: RDMAの帯域幅とレイテンシを検証するためのベンチマークスイート (例: ib_write_bw, ib_send_lat)。
4.2 ネイティブファームウェアの確認

ethtoolを使用して、Intel E810カードの現在のファームウェアバージョンを確認します。

ethtool -i enp194s0np0

推奨ファームウェア: ファームウェアが以下のバージョン (ファームウェア 4.91...) 以上であることを確認してください。ファームウェアが古い場合は、Intel® Ethernet NVM Update Tool for E810 Series を使用して更新してください。

出力例:

driver: ice
version: 6.18.5-200.fc43.x86_64
firmware-version: 4.91 0x800214b5 1.3909.0
expansion-rom-version: 
bus-info: 0000:c2:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes
4.3 ネットワーク構成

このガイドでは、192.168.100.0/30 のサブネットを想定しています。

インターフェースの特定: ip link を実行して、100GbEカード (例: enp194s0np0) を見つけます。

Node 1 (ヘッド - 192.168.100.1):

# リンクをアップにする
sudo ip link set enp194s0np0 up

# IPアドレスを割り当てる
sudo ip addr add 192.168.100.1/30 dev enp194s0np0

# MTU (ジャンボフレーム) を設定する
sudo nmcli connection modify "rdma0" ethernet.mtu 9000
sudo nmcli connection up "rdma0"

Node 2 (ワーカー - 192.168.100.2):

# リンクをアップにする
sudo ip link set enp194s0np0 up

# IPアドレスを割り当てる
sudo ip addr add 192.168.100.2/30 dev enp194s0np0

# MTUを設定する
sudo nmcli connection modify "rdma0" ethernet.mtu 9000
sudo nmcli connection up "rdma0"

ルーティングの検証: 両方のノードでルートが存在することを確認します。

sudo ip route add 192.168.100.0/30 dev enp194s0np0

リンクの検証:

rdma link
# 出力は以下のような状態を示すはずです: state ACTIVE physical_state LINK_UP used_usec X ...
4.4 BIOSとカーネル構成

1. BIOS設定: iGPUメモリ割り当てを最小値 (512MB) に設定します。GTT (Graphics Translation Table) を使用して、GPUの「ユニファイドメモリ」としてシステムメモリを動的に割り当てます。

2. カーネルパラメータ: GRUBを更新して、ユニファイドメモリを有効にし、RDMAパフォーマンスを最適化し、PCIリソース割り当ての問題を修正します。

/etc/default/grub を編集し、GRUB_CMDLINE_LINUX に以下を追加します。

iommu=pt pci=realloc pcie_aspm=off amdgpu.gttsize=126976 ttm.pages_limit=32505856

パラメータの説明:

  • iommu=pt: IOMMUを「パススルー」モードに設定します。これはパフォーマンスにとって非常に重要で、RDMA NICとiGPUのユニファイドメモリアクセスの両方のオーバーヘッドを削減します。
  • pci=realloc: PCI BARを再割り当てします。E810やStrix Haloのようなデバイスの大きなアドレス空間を正しくマッピングするために、コンシューマープラットフォームで必要になることが多いです。
  • pcie_aspm=off: PCIeアクティブステート電源管理を無効にします。100GbE接続でのレイテンシスパイクやリンクネゴシエーションの問題を防ぎます。
  • amdgpu.gttsize=126976: GPU GTTサイズを約124GiB (126976MB) に制限します。これはGPUが自身の「VRAM」としてアドレス指定できるシステムRAMの量を定義します。
  • ttm.pages_limit=32505856: Translation Table Managerを約124GiB (4KBページ単位) に制限し、GTTサイズと一致させます。

3. 変更の適用:

sudo grub2-mkconfig -o /boot/grub2/grub.cfg
sudo reboot
4.5 ファイアウォールルール

RayやNCCLのようなアプリケーションはランダムな高位ポートを使用します。内部RDMAインターフェースを完全に信頼するのが最も簡単です。

# インターフェースを信頼ゾーンに永続的に追加する
sudo firewall-cmd --permanent --zone=trusted --add-interface=enp194s0np0

# ファイアウォールをリロードする
sudo firewall-cmd --reload

5. ツールボックスのインストールとネットワーク検証

5.1 前提条件: パスワードなしSSH

クラスター管理および検証スクリプトは、リモートノードでコマンドを実行するためにSSHに依存します。両方のノード間でパスワードなしSSHを構成する必要があります (rootまたはsudo権限を持つユーザー)。

5.2 インストール

このリポジトリで提供されるツールボックスコンテナには、重要なパッチが含まれています。これは、gfx1151 (Strix Halo) のRDMAサポートを有効にするカスタムビルドの librccl.so です (https://github.com/kyuz0/rocm-systems/tree/gfx1151-rccl)。これは現在、アップストリームのROCmパッケージには含まれていません。このライブラリは、このリポジトリのbuild-rccl GitHub Actionを使用して自動的にコンパイルされ、Dockerコンテナにバンドルされるアーティファクトが生成されます。

両方のノードにツールボックスをインストールするには、以下を実行します。

./refresh_toolbox.sh

このスクリプトの動作:

  1. 最新の kyuz0/vllm-therock-gfx1151 イメージをプルします。
  2. ホストに /dev/infiniband が存在するかどうかを検出します。
  3. 以下のものを公開するフラグ付きでツールボックスを作成します。
    • iGPUアクセス: /dev/dri, /dev/kfd (ROCmに必要)
    • RDMAアクセス: /dev/infiniband
    • グループパススルー: --group-add keep-groups — ホストの render, video, rdma グループをコンテナに引き継ぎます。--group-add rdma のような名前付きフラグは、rootless podmanでは機能せず、イメージにそのグループが含まれていない場合にコンテナが中止されます。詳細はGPUデバイスの権限を参照してください。
    • メモリピンニング: --ulimit memlock=-1 (DMAに必要)
5.3 RDMA接続の検証

クラスターを実行する前に、RDMAがアクティブであり、低レイテンシ (~5µs vs イーサネットの~70µs) を提供していることを確認します。

ヘッドノードから提供されている検証スクリプトを実行します。

# ツールボックス内
/opt/compare_eth_vs_rdma.sh

期待される結果:

Path                 Latency      Bandwidth   
------------------------------------------------
Ethernet (1G LAN)    0.074 ms     0.94 Gbps   
Ethernet (RoCE NIC)  0.068 ms     55.70 Gbps  
RDMA (RoCE)          5.23 us      50.64 Gbps  

RDMAによるレイテンシの劇的な低下 (ミリ秒からマイクロ秒) に注目してください。


6. クラスターの実行

RayクラスターとvLLMを管理するために、TUIユーティリティ start-vllm-cluster が提供されています。

6.1 セットアップと検証
  1. ツールボックスに入る:

    toolbox enter vllm
    
  2. クラスターマネージャーを実行する:

    start-vllm-cluster
    
  3. IPアドレスの設定 (オプション1):

    • ヘッドが 192.168.100.1、ワーカーが 192.168.100.2 であることを確認します。
  4. Rayクラスターの起動 (オプション2):

    • ノード1で: プロンプトが表示されたら 「Head」 を選択します。

    • ノード2で: プロンプトが表示されたら 「Worker」 を選択します。

    • スクリプトは実質的に以下を実行します。

      # ヘッド
      export NCCL_SOCKET_IFNAME=<rdma_iface>
      ray start --head --node-ip-address=192.168.100.1 ...
      
      # ワーカー
      ray start --address=192.168.100.1:6379 ...
      
  5. ステータスの確認 (オプション3):

    • 2つのノードと十分なGPUリソース (例: 2.0 GPU) が表示されていることを確認します。
6.2 vLLMの起動

クラスターがアクティブになったら (オプション3で確認):

  1. TUIで 「4. Launch VLLM Serve」 を選択します。
  2. モデルを選択します (例: Meta-Llama-3.1-8B-Instruct)。
  3. 構成メニュー:
    • Tensor Parallelism: 2 に設定します (ノードあたり1GPU)。
    • Context Length: 自動またはカスタム (例: 131072)。
    • Erase vLLM Cache: クラッシュ後に再起動する場合は YES を選択します。
    • Force Eager Mode: YES を選択します。
      • なぜか?: CUDA Graphは分散APUノードで不安定になり、デッドロックを引き起こす可能性があります。Eagerモードはより安全ですが、リスクを取って無効にすれば1-3%のパフォーマンス向上が期待できるかもしれません。
  4. 起動: 「LAUNCH SERVER」を選択します。

重要な注意点:

  • 初回ダウンロード: モデルを初めて実行する際、クラスター内の各ノードは個別にウェイトをダウンロードする必要があります。インターネット接続によっては時間がかかる場合があります。
  • ゲート付きモデル (例: Gemma):
    • google/gemma-2-27b-it のようなモデルは「ゲート付き」であり、Hugging Faceでアクセスをリクエストする必要があります。

    • クラスター スクリプトを実行する前に、Hugging Faceトークンをエクスポートする必要があります。

      export HF_TOKEN=your_token_here
      start-vllm-cluster
      
    • トークンを提供しない場合や、Hugging Faceでライセンスに同意していない場合、ダウンロードは失敗します。


7. トラブルシューティング

vLLMのデッドロック/ハング
  • 原因: CUDA Graphキャプチャが分散APUノードでフリーズすることがあります。
  • 修正: スタートメニューで 「Force Eager Mode」 を有効にします。
ファームウェア

リンクの問題が発生した場合は、Intel標準ツールを使用してIntel E810ファームウェアが最新であることを確認してください。


8. 参考文献と謝辞

  • Reddit - Strix Halo Batching with Tensor Parallel: Hungry_Elk_3276氏のスレッド
    • アップストリームRCCLにおける gfx1151 サポートの欠如を浮き彫りにした、vLLM RDMAに関する初期実験を行ったユーザー Hungry_Elk_3276 に特に感謝します。

9. 代替構成: Thunderboltネットワーク

専用の100GbE RDMAネットワークカードがない場合は、高品質のThunderbolt 4 / USB4ケーブルを使用して2つのノードを直接接続できます。これにより、thunderbolt0 というネットワークインターフェースが作成されます。

RDMAのような超低マイクロプロセッサレベルのレイテンシはありませんが、標準的な1GbE/5GbEイーサネットよりも大幅に高い帯域幅を提供し、設定も容易です。

注意: thunderbolt-net は標準のOSカーネルTCP/IPスタックに依存します。

9.1 Thunderbolt構成

1. 接続の確立: 認定されたThunderbolt 4またはUSB4ケーブルを使用してノードを直接接続します。リンクがアクティブであることを確認します。

ip link show thunderbolt0

2. ネットワーク構成 (ヘッド - Node 1): nmcli を使用して、静的IPアドレスとジャンボフレーム (CPUオーバーヘッドを削減) を持つ永続的な接続を構成します。注意: ジャンボフレームは一部のThunderboltホストコントローラーではサポートされない場合があります。

sudo nmcli connection add type ethernet ifname thunderbolt0 con-name thunderbolt0 ipv4.method manual ipv4.addresses 192.168.2.1/24 mtu 9000
sudo nmcli connection up thunderbolt0

3. ネットワーク構成 (ワーカー - Node 2):

sudo nmcli connection add type ethernet ifname thunderbolt0 con-name thunderbolt0 ipv4.method manual ipv4.addresses 192.168.2.2/24 mtu 9000
sudo nmcli connection up thunderbolt0

4. ファイアウォールルール: RayとNCCLがこのリンク上で自由に通信できるようにします。

# インターフェースを信頼ゾーンに永続的に追加する
sudo firewall-cmd --permanent --zone=trusted --add-interface=thunderbolt0
sudo firewall-cmd --reload
9.2 Thunderbolt経由でのvLLM実行

クラスター スクリプトは、指定されたIPアドレスに基づいてネットワークインターフェースを動的に検出します。環境変数を手動でエクスポートする必要はありません!

  1. ツールボックスを開く: toolbox enter vllm
  2. クラスターマネージャーを起動する: start-vllm-cluster
  3. オプション1 (IPアドレスの設定) を選択します。
  4. ヘッドIPを 192.168.2.1、ワーカーIPを 192.168.2.2 に明示的に設定します。
  5. 通常通りクラスターを起動します (オプション2)。スクリプトは自動的に thunderbolt0 をRayオーケストレーションおよびGPU同期のバックエンドネットワークとして検出し、利用します。
9.3 リンクの検証

Thunderboltサポートを compare_eth_vs_rdma.sh スクリプトに追加しました。ツールボックス内から実行して、Thunderboltリンクのレイテンシと帯域幅を他のネットワークインターフェースと比較できます。

-t フラグを使用して、Thunderbolt接続のみをベンチマークできます (または -e, -r, -i で他の接続をベンチマークできます)。

/opt/compare_eth_vs_rdma.sh -t