AMD GFX1250 LLVMコミットから読み解く
Scrying the AMD GFX1250 LLVM Tea Leaves (chipsandcheese.com)
要約
AMDは次世代データセンター向けアクセラレータMI400シリーズを発表予定ですが、本記事ではLLVMコミットから明らかになるGFX1250(MI455X)のアーキテクチャを分析します。GFX1250はRDNA4に似たWGP構造を持ちつつ、Wave32モード専用、1024 VGPR、統合されたWGPキャッシュなどの特徴を持ち、特に機械学習ワークロードに最適化されています。
全文翻訳
AMD GFX1250 LLVMコミットから次世代アクセラレータの兆候を探る
わずか数日後、AMDはAdvancing AIイベントで最新のMI400シリーズデータセンターアクセラレータを発表しますが、そのイベントに先立ち、LLVMのコミットメントという茶葉を覗き見て、この次世代AMDアクセラレータについて何がわかるかを推測するのは楽しいだろうと考えました。
LLVMは現在、コードネームGFX1250およびGFX1251というAMDの2つの新しいアクセラレータに対する予備的なサポートを持っています。
GFX1250はMI455Xと呼ばれる機械学習市場向けのアクセラレータチップであり、Heliosラックを駆動するものになります。一方、GFX1251はHPC市場向けで、MI430Xという名称で、AMDの予測ではネイティブ倍精度演算で200 TFLOPs以上を達成するとされています。
今回はGFX1250に焦点を当て、GFX1251は別の機会に譲ります。
アーキテクチャは、コンシューマー向けバリアント、前世代のCDNAアクセラレータ、そしてある程度はNvidiaのBlackwellと比較します。
ここで興味深いのは、これらのアクセラレータがAPUではないとわかっているにもかかわらず、LLVMではAPUとしてリストされていることです。
RDNA4との類似性
コンシューマー向けアーキテクチャとの最も大きな類似点は、2つのSIMD32アレイのペア2つから構築されたWGP(Workgroup Processor)が存在することですが、CUあたり4つのSIMDもGCNやCDNAと同様に存在します。この一見矛盾する点は、ソフトウェアがWGP内の2つのCUを分離する必要がなくなり、AMDは用語を互換的に使用しているように見えるためです。
この「変更」は、最初に思われるほど構造的なものではなく、ハードウェアに存在しない可能性すらあります。キャッシュ階層の変更により、WGP全体に共有ベクトルL0キャッシュが存在するため、コンパイラにとって区別は無意味になっています。
GFX1250は、Wave32モードとWave64モードの両方で実行できるRDNAとは異なり、Wave32モードのみで動作します。以前のCDNA GPUはWave64モードのみで実行でき、新しいアクセラレータへのポート作業においてパフォーマンスエンジニアリングの観点から奇妙な点が見られる可能性があり、多くのカーネルは新しいアーキテクチャのために再評価する必要があります。
また、GFX1250はRDNA4よりも4つ多い、SIMDあたり20のWaveを実行できるようです。
これらの特徴のいずれかがAMDのGPUの方向性を示すものかどうかはわかりませんが、個人的には時代の兆しであり、将来のAMD GPU世代はWave32に固定され、現在の「WGP」は姿を消すだろうと推測しますが、それはすぐには起こらないようです。
RDNA4と同様に、古いCDNAに搭載されていた「MFMA」とは異なり、「WMMA」サポートが追加されました。これがGFX1250の機械学習能力の大部分を担う部分であり、後ほど詳しく見ていきます。
RDNA4で大きく謳われていた動的なVGPR割り当て機能が欠落しているのは、ベクトルや行列全体ではなくテンソル全体を扱うため、レジスタ圧力が高くなる機械学習ワークロードにとってはさらに重要になるはずなので、少し奇妙に思えます。モードスイッチはまだありますが、新しいレジスタを割り当てる命令はノップ(no-op)として文書化されています。
(C)DNAにおける変化
GFX125Xで見られる最大の変更点の一つは、SIMD内の各Waveがレジスタファイルから最大1024のVector General Purpose Register(VGPR)をアドレッシングできるようになったことです。これは、最大256のVGPRと行列ユニットのみが使用できる256のAccumulation VGPRに分割されていた以前のCDNA世代と比較して、1度に単一Waveに割り当てられるレジスタの合計が最大512であったことを考えると、大幅な改善です。
これは、単一Waveに最大256のレジスタしか割り当てられず、割り当ての分割がないRDNAシリーズGPUのレジスタ割り当て動作よりもさらに大きな改善です。これは将来の世代のGPU IPの一部となる可能性のある大きなアップデートですが、すぐに登場するとは限りません。この機能がInstinctラインに限定されるのか、それとも最大1024のレジスタを単一Waveに割り当てるこの機能がRadeonラインナップにも登場するのかは、待って確認するしかありません。
Wavefrontあたりでアドレッシング可能な最大ローカルメモリ(LDS)は320kBとなり、CDNA4の2倍であり、RDNAの64kBをはるかに凌駕します。しかし、実際のLDSはさらに大きくなる可能性があります。GFX125Xの大きな変更点は、LDSとベクトルL0キャッシュが、AMDがWGPキャッシュ(WGP$)と呼ぶものに統合されたことです。NvidiaとIntelは長らくキャッシュと共有メモリの両方に単一の構造を持っていましたが、AMDは分割されたキャッシュとLDSを持つ異端でした。GFX1250は現在、コンパイラやプログラマの要求に応じて異なる割り当てに分割できる単一の448KB構造を持っています。
GFX1250は、CDNA2以降と同様に、パックされたfp32演算をサポートしており、SIMDの単一レーンが一度に2つのfp32演算を処理できます。これは実質的に、パック命令を使用する場合、RDNAの2倍のベクトル幅を持つことを意味します。
また、CDNAのより多数で強力なSDMAユニットをCDNAから継承しています。
グラフィックスサポート
NvidiaとIntelにはアクセラレータにいくらかの痕跡的なグラフィックスハードウェアが残っていますが、GFX125xはこの点ではそれらとは少し異なります。
- エクスポート命令がないため、ラスタライザもない(CDNAと同様)
- 画像(テクスチャ)命令がない(CDNAと同様)
- BVH(レイトレーシング)命令がない(CDNAと同様)
- ピクセルシェーダーで頂点データにアクセスして補間するために使用されるベクトルパラメータ補間命令がない(CDNAと同様)
- MTBUF(型付きバッファ)命令はサポートされていない(CDNAおよびRDNA3とは異なり)
- MUBUF(型なしバッファ)命令はサポートされていない(CDNAおよびRDNAとは異なり)
- LDSパラメータおよびパラメータ直接ロードがない(CDNAと同様)
このGFX125xは、以前のCDNAアーキテクチャよりもさらに純粋なコンピュートアクセラレータであり、ほぼすべてのグラフィックス機能が削除されていることがわかります。これにより、ダイスペースが少し節約され、誰も必要としない機能が削除されるため、非常に理にかなっています。
テンソル演算
MI455Xの目玉機能はそのAI能力であり、それを支えるのがテンソルユニットです。これは、AMDがRDNA4のシンプルなプログラミングモデルとCDNA4の高いパフォーマンスと能力を組み合わせた、両者の良いところどりと言える状況のようです。
RDNA4では、WMMA演算はM = N = K = 16(行列は16x16)ですが、4ビットの場合はK = 32(引数は16x32または32x16で、16x16に累積)となります。
GFX1250はM = N = 16を維持しますが、KはCDNA4と同じです。K = 64ビットおよび32ビット浮動小数点要素の場合は4、16ビット浮動小数点要素の場合は32、8ビット固定小数点要素の場合は64、8ビット浮動小数点要素の場合は128となります。興味深いことに、i4演算はK=32でRDNA4レベルにとどまっており、MX浮動小数点演算の採用により、大規模AI推論シナリオではあまり人気のあるデータ形式ではなくなっています。
RDNA4とは異なり、WMMAのスパースバージョンは、Kを同じに保つことで、密なバージョンよりも命令あたりの処理量が少ないようです。
RDNA4はWMMAのために以下の行列フォーマットをサポートしています。
[画像: RDNA4 WMMAサポート行列フォーマット]
一方、CDNA4はMFMAのために以下のフォーマットをサポートしています。
[画像: CDNA4 MFMAサポート行列フォーマット]
そしてGFX1250は、fp64を除く、CDNA4とRDNA4の両方に見られるすべてのデータ型をサポートしているようです。fp64はGFX1251に限定されているようです。これには、以前はCDNA4のみで利用可能だったOCP MXスタイルのスケーリングのサポートも含まれます。
さらに、RNDA4に既に存在するものを補完するために、LDS内のサブ行列を転置する新しい命令が追加されました。これらのfp4/fp6バージョンには独自のフィーチャーフラグがあり、これらがコンシューマーGPUに登場する兆候かもしれませんが、単なる偶然かもしれません。
HIPは…CUDA互換性があるべきか?
クラスター
これは、NvidiaがHopperアーキテクチャで導入した「スレッドブロッククラスター」のAMD版のようです。これは、クラスターを特定のシェーダーエンジンにスケジュールすることを可能にし、将来のグラフィックスハードウェアでも利用可能な機能となるようです。
クラスター情報にアクセスできることに加えて、AMDはクラスターレベルのロードも導入しました。これにより、Nvidiaハードウェアのマルチキャストロードに類似または同等の、クラスター内の他のワークグループのLDSに書き込むことができます。
著者注:DSMEMに関する裏付けのない主張が削除されました。
バリア
GFX1250は、クラスターを利用するために本質的に必要な機能であり、Nvidiaの同名の機能と同等であるクラスターレベルのバリアをサポートします。
さらに、Nvidia PTXのmbarrier.arriveに相当するバリア到着のためのイントリンシックも入手しています。ただし、AMDはバリアをハードウェアに実装するだけでなく、完全なモニターも実装しており、特定のキャッシュラインがL2キャッシュから変更またはエビクトされた場合にWaveが通知されるようになっています。
Nvidiaにはすでに直接的な同等物がないため、これらが正確に何に役立つのかは不明ですが、GPUプログラマはこれらのイントリンシックの多くの良い用途を見つけるだろうと推測します。
RDNA4に追加された分割バリアとバリアオブジェクトに加えて、16個の名前付きバリアオブジェクトもサポートしています。これらは、2006年のNvidiaのTeslaアーキテクチャ以来存在しているため、互換性のために追加された可能性が高いです。
超越関数
AMDは、従来のジオメトリでは珍しいですが、ニューラルネットワークの活性化関数や多くの微分方程式の解法として非常に一般的な、tanhのハードウェアサポートを追加しました。
しかし、ユニット全体が改善されたようです。彼らはbf16サポートを追加し、fp32演算のレイテンシはRDNA4の9サイクルからGFX1250の8サイクルに減少しました。
コープラティブアトミック操作
GFX1250により、グローバルメモリへの32x4B、16x8B、および8x16Bのアトミックロードとストアを行うためのイントリンシックが利用可能になりました。この奇妙な命名は、実際には128Bのアトミックロードとストアであり、最初の数字はアトミック操作に関与するWavefrontのレーン数を示しますが、結果は実質的に1、2、または4つの完全な128Bアトミックメモリ操作となります。
ハードウェアレベルでは、これらは特別な命令ではなく、ハードウェアが正しくバスに乗るように処理する方法を知っている通常のロードまたはストアのシーケンスにすぎません。
これの最初のユースケースとして、RPCS3のCellエミュレーションを高速化するために使用されることを思いつく人もいるでしょう。誰かが明らかにそれのために使用しようとするでしょうが、これには多くのユースケースがあります。しかし、目標はおそらく、NvidiaのCollective Communications Library(NCCL)に相当する、創造的にROCm Collective Communications Libraryと名付けられたAMDのライブラリを高速化することでしょう。これは、Demystifying NCCLという論文で探求されています。
LL128サポートは、ある程度CDNAですでに有効になっていましたが、フォーマットはNvidiaのものと同等になるように変更されました。これは、2つの64Bハーフに分割するのではなく、そのように変更されました。
技術的な理由から、これらの操作はPCIe経由では利用できませんが、CXLとUALink経由で利用可能になると予想されます。Nvidiaも同様の制限があり、グローバルメモリまたはNVLink経由でのみ利用可能です。
テンソルデータムーバー
Nvidiaのこの機能のマーケティング名は「Tensor Memory Accelerator」ですが、この機能は以前のCDNAイテレーションでもある程度利用可能でしたが、特にテンソルに関連する機能が追加されました。
基本的なバージョンは、VGPRを使用せずにグローバルメモリからLDSにデータをロードすることを可能にします。
テンソルバージョンで利用可能な機能が正確には不明ですが、関連する型は不透明であり、コードは完全には明白ではなく、ドキュメントも完全には明確ではありません。しかし、Tritonにはドキュメントがあり、そこで機能が列挙されています。これはNvidiaのtcgen05.cpの機能に似ていますが、共有メモリとテンソルメモリ間ではなく、グローバルメモリとLDS間で転送します。
ベクトルメモリの明示的なプリフェッチ
GFX1250は、ベクトルメモリの明示的なプリフェッチを追加しました。AMDは、投票できるほど古い多くのCPUで利用可能なこの機能をついに追加しました。NvidiaはFermi以来これをサポートしており、それほどエキサイティングではありません。
一部の人々は、これがGPUにとって奇妙な省略だと考えるかもしれませんが、CPUとは異なり、GPUはレジスタ不足に陥ることはめったにないため、データを早期にロードでき、同じコアで実行される多数のWaveを使用してレイテンシを隠すことができます。
しかし、推論カーネルがこれから多少のパフォーマンスを得られることは想像できます。今追加するのは理にかなっていると思います。
データ依存性
AMD GPUおよびアクセラレータでは、ハードウェアはほとんどの場合データ依存性を自動的に検出できますが、特定のケースでは手動で行う必要があります。
GCNおよびそれを拡張したCDNAでは、操作の完了を待機するために使用できる3つのカウンターがあり、これにより、後続の操作を続行する前に前の操作が完了したことを保証できました。
- VM_CNT:ベクトルメモリ操作用。
- ベクトルメモリロードが発行されるとインクリメントされ、データがVGPRに書き込まれるとデクリメントされます。
- ベクトルメモリストアが発行されるとインクリメントされ、データがL2キャッシュに書き込まれるとデクリメントされます。
- サンプルまたは画像命令が発行されるとインクリメントされ、データがVGPRに返されるとデクリメントされます。
- LGKM_CNT:LDS、GDS、Konstant(スカラーメモリ読み取り)、およびメッセージ命令用。
- LDSまたはGDSロードが発行されるとインクリメントされ、データがVGPRに書き込まれるとデクリメントされます。
- LDSまたはGDSストアが発行されるとインクリメントされ、データがLDSまたはGDSに書き込まれるとデクリメントされます。
- 発行されたスカラーロードのDWORDごとにインクリメントされ、スカラーデータキャッシュ(SMEM)から読み取られたDWORDごとに再度デクリメントされます。
- メッセージ送信が発行されるとインクリメントされ、メッセージが実際に送信されるとデクリメントされます。
- EXP_CNT:VGPRエクスポート用。これは、頂点位置や色値などをシェーダー間で渡すために使用されるグラフィックス機能です。これはCDNAに存在しますが使用されないため、このカウンターは便宜上無視します。
GCN/CDNAのこれらのカウンターの設定における大きな問題は、異なるタイプの命令が順不同で返されることです。スカラーロードの場合、同じ命令タイプ内でも順不同で返されます。
残念ながら、これは、そうしない場合に必要とされるよりも多くの待機を挿入する必要がある可能性が高いことを意味します。特にスカラー読み取りでは、カウンターがゼロになるのを待つことが唯一有用な値です。
そのため、AMDはRDNA4でこの命令セット部分を再設計し、はるかにきめ細かくしました。現在、これらのカウンターははるかに多く存在します。
- LOADcnt:発行されたがまだ完了していないベクトルロードの数をカウントします。VM_CNTの最初の部分に似ています。
- STOREcnt:発行されたがまだ完了していないベクトルストアの数をカウントします。VM_CNTの後半部分に似ています。
- SAMPLEcnt:発行されたがまだ完了していないベクトルサンプル/ギャザー/msaa/lod命令をカウントします。VM_CNTの3番目の部分に似ています。
- DScnt:発行されたがまだ完了していないLDS命令の数をカウントします。LGKM_CNTの前半部分と同等です。
- KMcnt:発行されたがまだ完了していないスカラーロードおよびメッセージ送信の数をカウントします。LGKM_CNTの後半部分に似ています。
- EXPcnt:発行された、または保留中のエクスポートまたはパラメータロードの数をカウントします。EXP_CNTに似ています。
- BVHcnt:発行されたがまだデータを返していないベクトルメモリBVH(レイトレーシング)命令の数をカウントします。レイトレーシングハードウェアがないため、GCNまたはCDNAには明らかに同等物はありません。
これは、RDNA4がGCNまたはGFX1250以前のCDNAと比較して、実行可能な有用な作業があるにもかかわらず、コアのストールを回避できる状況がはるかに多いことを意味します。そして、これはコンピュートタスクではそれほど大きな問題ではありませんが、最新のグラフィックスタスクでは違いを生みます。例えば、テクスチャ読み取りをはるか前に発行でき、それが通常のメモリロードをブロックしないからです。
GFX125xでは、以下のグラフィックス待機カウントはありません。
- SAMPLEcnt:テクスチャサンプラーがないため存在しません。
- EXPcnt:ラスタライザがないため存在しません。
- BVHcnt:レイトレーシング命令がないため存在しません。
しかし、その代償として、RDNA4には全く存在しない新しいものが得られます。
- ASYNCcnt:LDSへの非同期ロードおよびストア命令の保留数をカウントします。
- TENSORcnt:テンソルロードおよびストア命令の保留数をカウントします。
- Xcnt:アドレス変換が完了していないメモリ操作の数をカウントし、ページフォルトなどの場合に再試行してはならない命令の前に待機を挿入する必要があります。
最後のものは、XNACKリプレイ中のアトミック性を保証するためのより簡単な方法を可能にするため、あなたにとって最も興味深いか、最も興味深くないかのどちらかでしょう。
まとめ
良い改善のようで、AMDはHopperとBlackwellの両方で機能面で追いついています。これにより、理論上のパフォーマンスだけでなく、MI455XとHeliosで市場リーダーに実質的なパフォーマンスで挑戦できることを願っています。