HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

PyTorch MonarchをAMD GPUに導入する

Bringing PyTorch Monarch to AMD GPUs (pytorch.org)

67 pointsby gmays6 コメント

要約

この記事では、大規模言語モデル(LLM)のトレーニングにおける信頼性の課題に対処するため、PyTorch MonarchをAMD Instinct GPUとROCmエコシステムに移植した取り組みについて説明しています。Monarchのアーキテクチャ、ROCmへの移植作業、そしてノード障害からの動的な回復能力について解説し、AMD GPU上での弾力的で耐障害性のある分散トレーニングの実現に向けた重要な一歩を示しています。

全文翻訳

Bringing PyTorch Monarch to AMD GPUs: Single-Controller Distributed Training on ROCm

特集プロジェクト

数十億パラメータを持つ最先端の大規模言語モデル(LLM)をトレーニングするには、数百から数千のGPUにまたがる分散トレーニングが必要です。この規模では、ハードウェア障害は例外的なイベントではなく、予測されるべきものです。単一のGPUメモリのエラー、ネットワークパーティション、またはノードのクラッシュは、数日または数週間かけて進行してきたトレーニング全体を停止させる可能性があります。私たちの以前の研究では、DeepSeekV3-671Bの1024-GPU MI325クラスターで96.16%のスケーリング効率を達成し、FP8トレーニングのスケーリングにおけるほぼ線形な効率を示しましたが、依然として主な課題は、大規模環境での信頼性です。

これらの課題に対処するため、PyTorch MonarchをAMD Instinct GPUとROCmに導入しました。これにより、シングルコントローラーモデルをCUDA環境を超えて拡張し、この新しいランタイムをより広範なハードウェアエコシステムに提供します。

この記事では、PyTorch Monarchのアーキテクチャを探り、MonarchのGPUランタイムと分散通信スタックをROCmに移植するために必要なエンジニアリング作業を解説し、システムがトレーニングジョブ全体を停止させることなく、ノード障害から動的に回復する方法を実証します。最終的には、MonarchがAMD GPU上で弾力的で耐障害性の高い分散トレーニングをどのように可能にするか、そしてこれが安定した大規模AIインフラストラクチャに向けた重要な一歩である理由を理解できるようになります。

課題:大規模環境での信頼性

従来の耐障害性戦略は、定期的なチェックポインティングに大きく依存しています。これは、モデルの状態を定期的に永続ストレージに保存し、障害が発生した場合は、最後のチェックポイントからジョブ全体を再起動するというものです。概念的にはシンプルですが、このアプローチには重大な欠点があります。

課題影響
チェックポイントのオーバーヘッド数百ギガバイトのモデル状態をストレージに書き込むには、時間とI/O帯域幅を消費します。
計算の無駄最後のチェックポイント以降のすべての進捗が、障害発生時に失われます。
クラスターのアイドル時間障害のあるノードが交換され、ジョブが再起動される間、クラスター全体がアイドル状態になります。
スケーラビリティの限界クラスターサイズが大きくなるにつれて、チェックポイント間隔中に障害が発生する確率は増加します。

真に大規模なトレーニングにおいては、スケーリングだけでは不十分です。トレーニングは障害から回復できなければなりません。私たちは、障害のあるノードが回復して再参加するのを待つ間に、健全なノードがトレーニングを継続できるようにする、より動的なアプローチが必要です。これにより、計算の無駄を最小限に抑え、GPU利用率を最大化します。ここでPyTorch Monarchが登場します。

PyTorch Monarchとは?

PyTorch Monarchは、開発者が単一のPythonプログラムからGPUクラスター全体をオーケストレーションできる、新しい分散プログラミングパラダイムを導入します。そのアクターベースのランタイム、プロセスメッシュ抽象化、非同期実行モデルにより、Monarchは大規模分散トレーニングを簡素化し、トレーニング、評価、強化学習を1つの統合スクリプト内で組み合わせる複雑なワークフローを可能にします。

アーキテクチャは複数の異なるレベルで動作します。

  1. Python API: 開発者がシンプルなPythonコードを記述して分散GPU実行を取得する、単一プログラムインターフェース。
  2. Monarch Runtime: アクターとメッシュ、スーパービジョンツリー、テンソルシャーディングを管理します。
  3. Rust Runtime (Tokio): 高性能とメモリ安全性を保証します。
  4. Infrastructure: RDMA、RCCL/NCCL、SLURM、Kubernetes、SkyPilotと統合します。

[画像]

図1: Python APIとRustランタイムおよびインフラストラクチャを分離するPyTorch Monarchアーキテクチャ。

各トレーニングレプリカ内で使用される並列戦略を、レプリカ間の耐障害性メカニズムから分離することで、Monarchはよりクリーンな耐障害性モデルを提供します。障害は分離され(アクターはプライベート状態を持ち、クラッシュは伝播しません)、階層的であり(可能な限り低いレベルで処理されます)、回復は高速です(ローカル再起動は数秒、エスカレーションされても数分)。

[画像]

図2: Monarchの階層的な障害処理モデルとスーパービジョンツリー。

ROCmへのMonarchの移植:エコシステム統合

MonarchをAMD GPUに導入するには、GPUランタイムと分散通信スタックをROCmに移植するために、かなりのエンジニアリング作業が必要でした。

私たちは3つの主要な移植パスを成功裏に実装しました。

  1. コレクティブ通信: hipify_torchを使用して、C++ブリッジコードをCUDAからHIPに変換し、NCCLのAPIをミラーリングするRCCLにリンクしました。
  2. GPUメモリ管理: ビルドシステムを拡張してプラットフォームを自動検出し、CUDAドライバーAPI呼び出しをHIPの同等物にルーティングしました。
  3. RDMA統合: GPU_PLATFORM=rocmを設定することで、libibverbsベースのRDMAパスを維持しつつ、GPU直接転送のためのGPU側バインディングをCUDAからHIPに切り替えました。

[画像]

図3: hipify_torchと自動検出によるMonarchのCUDAからROCmへの移植。

さらに、2つの横断的な問題が移植に影響を与え、詳細な検討に値します。

  1. HIPランタイムの静的リンクなし: NVIDIAはlibcudart_static.aを提供するため、CUDAパスはcudart_staticを直接リンクします。ROCmはlibamdhip64の静的同等物を提供しないため、ROCmビルドはamdhip64を動的にリンクします。両方のプラットフォームで、GPUドライバーAPI関数(hipMemCreate、cuMemCreate、および関連する呼び出しを含む)をdlopenし、両側でランタイム契約を同一に保ちます。
  2. バインディングのフォークではなくRust互換性シム: hipify_torchがC/C++ヘッダーを書き換えると、bindgenはHIP命名の型(hipError_t、hipDeviceptr_t、hipStream_tなど)を出力します。すべてのRust呼び出しサイトで#ifdefブランチを追加する代わりに、nccl-sysとrdmaxcel-sysにrocm_compatモジュールを追加し、HIPシンボルをCUDA名で再エクスポートします。例えば、pub type cudaError_t = hipError_tおよびpub use hipSetDevice as cudaSetDeviceです。残りのRustコードはプラットフォーム非依存のままです。

これらの取り組みは、RustでのHIP型エイリアスの導入につながり、1,171のすべてのテストが合格し、ROCm 7.0+の完全なサポートを保証しました。これらの貢献はオープンソースコミュニティにアップストリームされています(PR #2393およびPR #2891を参照)。

現在、ROCm上のMonarchは、アクターランタイム、RDMA、スーパービジョン、テンソルシャーディングを含む、完全なエコシステムサポートを提供します。SLURM(HPC)、Kubernetes(クラウドネイティブ)、SkyPilot(マルチクラウド)でシームレスに動作し、TorchTitan(トレーニングエンジン)やTorchFT(耐障害性)のような下流エンジンを本番ワークロードで利用可能にします。

ケーススタディ:大規模な耐障害性トレーニング

AMD GPU上でのMonarchの能力を実証するために、TorchTitanおよびTorchFTと統合し、回復力のあるチェックポイントなしの分散トレーニングアーキテクチャを構築しました。

アーキテクチャ概要

アーキテクチャは3つのレイヤーで構成されます。

  • Monarch: オーケストレーターとして機能し、プロセスおよびクラスターのオーケストレーションを管理します。ReplicaActorsとLighthouseサービスを起動し、GPUをProcess Meshに編成します。
  • TorchFT: ステップレベルでの耐障害性を処理します。クォーラム調整のためにLighthouseに連絡し、Quorum AllReduceを実行し、失敗したノードをスキップします。
  • TorchTitan: トレーニングエンジンとして機能し、Forward(FSDP)、Backward、Optimizerステップを実行しながら、チェックポイントとメトリクスを管理します。

[画像]

図4: Monarch、TorchFT、TorchTitanを統合したAMD GPU上の回復力のあるトレーニングスタック。

このセットアップでは、Monarchはきめ細かい障害検出と分離のためにスーパービジョンツリーを提供します。トレーニングアクターに障害が注入されると、Lighthouseによって検出され、TorchFTによって処理されます。健全なレプリカは、グローバルな中断を必要とせずに、ピア障害にもかかわらず独立してトレーニングを継続します。

動的な障害回復ワークフロー

回復ワークフローを理解するために、4つのレプリカグループを使用した具体的なシナリオを説明します。

  1. 通常のトレーニング: OrchestrationManagerは4つのReplicaActors(Monarch Supervisor)とLighthouseを起動します。各ReplicaActorは、TorchTitanトレーナーを実行する8つのGPUプロセスを持つReplicaを起動します。すべての4つのレプリカは準備完了(quorum_id=1)であり、DiLoCo勾配同期は20ステップごとに発生します。
  2. 障害検出: Replica 0のGPUプロセスがクラッシュします。Monarchスーパーバイザーは、プロセスが終了する前にreport_training_error(完全なトレースバック付き)をキャプチャします。レプリカ1、2、3は影響を受けないとマークされ、トレーニングを継続します。
  3. ローカル再起動: ReplicaActor 0は、古いプロセスメッシュを停止し、新しいプロセスメッシュを起動するインプレース再起動(_stop_and_restart())を開始します。その間、他の3つのレプリカは同期を継続します(quorum_id=2)。
  4. ピアチェックポイント転送: LighthouseはReplica 1をドナーとして選択します。ピアチェックポイント転送(モデル、オプティマイザー、スケジューラー、トレーナーの状態)がReplica 1から回復中のReplica 0に開始されます。すべてのレプリカは、新しいクォーラムが形成される間、クォーラム境界で一時停止します。
  5. トレーニング再開: Replica 0が同期されると、新しいクォーラム(quorum_id=3)が4つのレプリカすべてで確立され、DiLoCo同期が再開されます。

[画像]

図5: グローバルチェックポイントの再ロードなしでのピアチェックポイント転送を示す動的な障害回復ワークフロー。

回復プロセス全体は、手動介入なしに、完全なチェックポイント再起動なしに、そして全体的なトレーニングスループットへの最小限の中断で完了します。

パフォーマンス特性

SLURMおよびKubernetes環境で、AMD Instinct MI300クラスターを使用してこのアプローチを検証しました。

SLURM 16ノードMI300クラスター(128 GPU)

16ノードのSLURMクラスター(合計128 MI300 GPU)でLlama 3 8Bモデルをトレーニングし、180秒ごとにRCCL障害を注入し、20ステップごとにクォーラム同期を行いました。結果は驚くべきものでした。

  • 注入された障害により、アクティブワーカーの数は動的に変動しました(8から16の間)。
  • 頻繁な障害にもかかわらず、トレーニングはシームレスに継続しました。完全な再起動はありませんでした。
  • ロスカーブは、障害注入なしのベースライン実行と密接に一致する、安定した収束を示しました。

[画像]

図6: 16ノードのSLURM MI300クラスターでの頻繁な障害にもかかわらずトレーニングは継続します。30分以上にわたってダウンしたレプリカは1つもなく、回復は迅速で、異なるレプリカが動的にキルおよび回復されました。

Kubernetes 32ノードMI355クラスター(256 GPU)

32ノードのKubernetesクラスター(合計256 MI355 GPU)に実験をスケールアップしました。参加者数は非常に安定しており(回復イベント中に30から32の間でわずかに変動)、グローバル平均ロスは12から約4までスムーズに減少しました。これは、Monarchの耐障害性モデルが大規模なSLURMおよびKubernetesで確実に機能することを示しています。

[画像]

図7: 32ノードのKubernetes MI355クラスターでの安定した回復とスムーズなロス収束。

まとめと今後の方向性

大規模AIモデルのトレーニングには、生の計算能力以上のものが必要です。それは、避けられないハードウェア障害を優雅に処理できる、回復力のあるインフラストラクチャを要求します。PyTorch MonarchをAMD Instinct GPUとROCmに導入することで、計算の無駄を最小限に抑え、GPU利用率を最大化する、耐障害性のある分散トレーニングの実用的なアプローチを実証しました。

この統合は、AMD GPU上での大規模トレーニングにとって、いくつかの重要な成果を表しています。

  • AMDハードウェア上での初の本格的な検証: MonarchをTorchTitanおよびTorchFTと共にAMD GPUに展開し、ROCmソフトウェアスタックが高度な耐障害性メカニズムを完全にサポートしていることを実証しました。
  • よりクリーンな耐障害性モデル: Monarchは、障害を分離し、迅速なローカル回復を可能にする堅牢なスーパービジョンツリーとプロセスメッシュ抽象化を提供します。
  • エコシステムの準備完了: このアプローチは、SLURMとKubernetesの両方でシームレスに機能し、本番ワークロードの準備ができています。

主なアーキテクチャの洞察は、障害を分離するためのMonarchのアクターベースのランタイムとスーパービジョンツリーの使用と、健全なノードがトレーニングを継続できるようにするTorchFTのクォーラムベースの同期の組み合わせです。AMD GPUで大規模トレーニングワークロードを実行するチームにとって、この統合は、より安定した、効率的で、コスト効果の高いモデル開発への道を提供します。

今後、次のステップに進みます。

  • NICサポートの拡張とランタイムパフォーマンスの向上。
  • MonarchをROCm上でさらに多くの事前トレーニングおよび強化学習(RL)フレームワークをサポートするように拡張。
  • 特に再参加時のリロードレイテンシの削減と、回復とコンピューティングのオーバーラップにより、耐障害性パフォーマンスをさらに最適化。
  • PyTorchコミュニティとのオープンソースコラボレーションの継続。

追加リソース

免責事項

サードパーティコンテンツは、コンテンツを所有するサードパーティによって直接お客様にライセンスされ、AMDによってお客様にライセンスされるものではありません。リンクされたすべてのサードパーティコンテンツは、いかなる保証もなく「現状有姿」で提供されます。そのようなサードパーティコンテンツの使用は、お客様の単独の裁量で行われ、いかなる状況においてもAMDはお客様に対してサードパーティコンテンツについて責任を負いません。お客様はすべてのリスクを負担し、サードパーティコンテンツの使用から生じる可能性のあるいかなる損害についても単独で責任を負います。

© 2026 Advanced Micro Devices, Inc.