HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AMD MI450 GPUにおけるAttention Decodeの最適化:Gluonカーネルガイド

Attention Decode on AMD MI450 GPUs: A Gluon Kernel Optimization Guide (rocm.blogs.amd.com)

57 pointsby matt_d6 コメント

要約

この記事は、AMD MI450 GPU上でAttention Decode処理を最適化するためのGluonカーネルに焦点を当てたガイドです。GPUハードウェアの特性を活かし、パフォーマンスを向上させるための技術的なアプローチについて解説しています。

全文翻訳

AMD MI450 GPUでのAttention Decode: Gluonカーネル最適化ガイド

AMD MI450 GPUでのAttention Decode: Gluonカーネル最適化ガイド#

[画像: AMD MI450 GPUでのAttention Decode: Gluonカーネル最適化ガイド]

14 min read. | 3480 total words.

Agentic AIアプリケーションは、LLM推論を新たな領域に押し上げています。リクエストは、集約された長いプロンプト、ツール呼び出し、検索結果、およびマルチターンの推論から、100万トークンに達することもあります。テキスト生成フェーズ中、各新しいトークンはKVキャッシュのすべての以前のトークンに注意を払う必要があるため、カーネルはHBMから過去の状態を繰り返し読み取る必要があります。その結果、パフォーマンスのボトルネックは計算ユニットからメモリシステムへと移行します。

AMD Instinct MI450シリーズGPUは、メモリに敏感なAIワークロード向けの新しいハードウェア機能セットを導入します。この記事では、Attention Decodeをケーススタディとして取り上げ、MI450で高性能カーネルを設計する方法について説明します。主要なハードウェア機能について説明し、カーネルがこれらの機能を使用する方法を示し、最適化されたGluonカーネルのパフォーマンスを紹介します。このカーネルは、初期の結果としてMI450のピークHBM帯域幅の85%を達成しています。

MI450ハードウェア概要#

MI450は、AIワークロードにおいてMI350シリーズから大きな進歩を遂げています。以前の世代と比較して、MI450はより多くのオンチップリソースと、より高い帯域幅を持つ大容量HBMを提供します。次の表は、MI350とMI450の主要な仕様変更をまとめたものです。Workgroup Processor (WGP) は、ワークグループを実行するハードウェアユニットです(以前のMIシリーズではCUと呼ばれていました)。このモデルでは、1つのWGPは4つのSIMD32ユニットを含み、各ユニットは32レーンを持っています。各SIMD32は独自のVector General-Purpose Registers (VGPRs) を持ち、これはVector ALUユニット (VALU) およびWave Matrix Multiply-Accumulateユニット (WMMA) によって使用されます。WGP内のすべてのSIMD32ユニットは、同じLocal Data Share (LDS) メモリを共有します。

SpecificationMI350 seriesMI450 series
VGPRs per SIMD5121024
Max LDS per WGP160 KB320 KB
HBM capacity288 GB432 GB
HBM bandwidth8.1 TB/s19.6 TB/s

オンチップリソースの増加に加えて、MI450は構造化テンソルデータをグローバルメモリとLDS間で移動するのを支援する専用ハードウェアユニットであるTDMを導入しました。TDMを使用すると、カーネルはメモリ アドレス、形状、ストライド、およびレイアウトを使用してアクセスするターゲット テンソルを記述し、非同期にバルク データ転送を発行します。TDMはメモリ アクセスを高速化するだけでなく、計算とメモリをオーバーラップできるパイプライン化されたカーネルの記述を容易にします。これはMI350からの大きな変更点であり、MI350ではカーネルはグローバルメモリからLDSにデータを移動するために多くの小さなベクトルロードを発行する必要がありました。

FeaturesMI350 seriesMI450 series
Memory instructionGlobal/Buffer load to LDSTDM load to LDS
Load granularity32/96/128-bit vector loadsDescriptor-based tensor tiles
Memory units per WGP12

さらに、MI450はワークグループ クラスターでワークグループ モデルを拡張します。通常のワークグループは1つのWGPで実行され、他のワークグループとは独立しています。クラスターを使用すると、各WGPで実行される複数のワークグループが、ハードウェアでサポートされるクラスター バリアを通じて調整できます。同じデータにアクセスするワークグループは、マルチキャスト ロードを使用してWGP間でデータを共有できます。これにより、カーネルは、個別のカーネル起動にフォールバックしたり、同期のためにグローバルメモリを使用したりすることなく、より大きなスコープで協調を表現する方法を得られます。

下の図は、MI450 GPU階層全体のカーネル プログラマのビューを示しています。

[画像: WGP、SIMD32ユニット、LDS、TDM、およびHBMを示すMI450 GPU階層のカーネルプログラマビュー。]

MI450のGPU階層のカーネルプログラマビュー。#

MI450カーネルをより効率的に記述するために、この記事ではGluonを使用します。Gluonは、タイルベースのSPMDプログラミングモデルを維持するTritonベースのDSLです。Tritonとは異なり、Gluonのテンソルは明示的なレイアウトを保持する必要があり、これは各要素がレジスタ、レーン、ウェーブ、およびワークグループにどのように分散されるかを記述します。レイアウトは、コンパイラが異なるメモリ階層間でデータを移動するために生成する命令に影響します。これにより、GluonはTritonよりも低レベルのプログラミング言語となり、生成された命令を明示的に制御したいカーネルエキスパートにとって特に役立ちます。

読者はGluonセマンティクスとそのプログラミングモデルの基本に精通していると仮定します。Gluonカーネルの例については、MI450 Gluon Examplesを参照してください。

Attention Decodeの基本#

このハードウェアコンテキストを理解した上で、ワークロードであるAttention Decodeに移ります。ベースラインのAttention Decodeカーネルから始め、後続のセクションでの最適化の参照点として使用します。Attention操作は次のように表現できます。まず、QとKの行列乗算を実行し、次にソフトマックスを適用してPを取得し、PとVを乗算して最終出力Oを取得します。

[画像: Attentionフォーミュラ]

Attentionフォーミュラ。#

この記事では、一般的な4Dテンソルを使用してAttentionの入出力と出力を表します。この記事全体での表記法では、Bはバッチサイズ、H_qはQヘッド数、H_kvはKVヘッド数、T_qはQトークン数、T_kvはKVトークン数、Dはヘッド次元です。入力QKVテンソルを以下に示します。

Q: [B, H_q, T_q, D]
K: [B, H_kv, T_kv, D]
V: [B, H_kv, T_kv, D]

H_qがH_kvと等しい場合、標準的なマルチヘッドアテンション(MHA)となり、H_qがH_kvの倍数の場合、マルチクエリアテンション(MQA)またはグループ化クエリアテンション(GQA)となります。最新のLLMはGPT-OSSなどのMQAを頻繁に使用するため、この記事ではMQAに焦点を当てます。

LLM推論におけるAttentionには、プリフィルとデコードの2つのフェーズがあります。プリフィルでは、T_q = T_kvであり、カーネルは多くのトークンを並列に処理できます。デコードでは、T_q = 1ですが、T_kvは大きく、コンテキスト長とともに増加します。各ヘッドは独立しているため、標準的なMHAは単一トークンデコードで多くの計算リソースを無駄にする可能性があります。

しかし、MQAデコードでは、複数のQヘッドが1つのKおよびVヘッドを共有するため、カーネルはこれらのQヘッドをグループ化できます。これはテンソル形状に反映され、以下のようになります。ここでは、Qテンソルは、各KVヘッドに対してH_q / H_kv個のQヘッドをグループ化するようにリシェイプされます。

Q: [B, H_kv, H_q / H_kv, D]
K: [B, H_kv, T_kv, D]
V: [B, H_kv, T_kv, D]

各バッチおよび各KVヘッドのテンソルは独立しているため、並列に処理できます。カーネルは(B, H_kv, 1)のグリッドで起動でき、各プログラムはAttention計算の一部を処理します。

Q: [H_q / H_kv, D]
K: [T_kv, D]
V: [T_kv, D]

Flash Attentionアルゴリズムに従って、カーネルは一度に(BLOCK_N, D)形状のKとVの1タイルと、(BLOCK_M, D)形状のQタイルを計算し、T_kv次元をスライドさせます。下の図は、2つのバッチと2つのKVヘッドを持つ例のワークロードを示しています。各ワークグループは1つの(B, H_kv)ペアを所有するため、合計4つのワークグループがあります。各ワークグループ内では、複数のQヘッドが一緒に処理され、複数の行として表示されます。ここでは、BLOCK_M = H_q / H_kvと仮定します。

[画像: Q、K、V、P、およびOテンソルがバッチおよびK/Vヘッドに分散されているAttentionデコードワークロードマッピング。]

バッチおよびKVヘッドにわたるAttentionデコードワークロードマッピング。#

デコードカーネルの最適化#

これまでは、MQAデコードカーネルのベースライン実装をMI450で紹介しました。このセクションでは、カーネルをMI450でのピークパフォーマンスに向けてプッシュする一連の最適化についてさらに説明します。4つの主要な最適化について説明します。テンソルレイアウト、データロード、パイプライニング、およびSplit-kによる並列化。

テンソルレイアウトの最適化#

Gluonはカーネル作成者にテンソルレイアウトの明示的な制御を提供し、これはパフォーマンスにとって非常に重要です。カーネルには多くの異なるテンソルが含まれる可能性があり、それぞれに適切なレイアウトを決定することは簡単ではありません。実際には、最初に決定する最も重要なレイアウトは、WMMAオペランドのレイアウトです。Attentionカーネルには、QKとPVの2つのWMMA操作があります。レイアウト最適化をそこから開始できます。

Gluonでは、AMDWMMALayoutはWMMA出力レイアウトを記述し、DotOperandLayoutはWMMAオペランドレイアウトを記述します。指定されたAMDWMMALayoutは、コンパイラが生成する最終的なWMMA命令を決定します。たとえば、wmma_scaledの命令形状[16, 16, 128]を持つAMDWMMALayoutは、内部でv_wmma_scale_f32_16x16x128_f8f6f4を生成します。この命令は、形状(16, 128)の1つのFP8オペランド、形状(128, 16)の別のFP8オペランドを消費し、サイズ128のK次元で削減を行い、1つのウェーブでFP32出力タイル形状(16, 16)を生成します。このタイルでは、各要素がこのウェーブ内の特定のレーンとレジスタに割り当てられます。次の図は、2つのWMMAオペランドと出力テンソルの要素がレーンにどのように割り当てられるかを示しています。

[画像: WMMA命令形状。16x16x128命令のオペランドと出力タイルの要素がレーンにどのように割り当てられるかを示しています。]

WMMAオペランドと出力タイルのレーン割り当て。#

次に、ウェーブがどのように分散されるかを検討する必要があります。カーネルは任意の2のべき乗のウェーブ数を使用でき、それらをWMMA出力タイルの2つの次元に分散できます。オンラインソフトマックスはT_kv次元に沿って削減するため、削減中のクロスウェーブ通信を回避するために、グループ化されたQ次元に沿ってウェーブを分散することを好みます。MQAデコードでは、Qタイルは形状(H_q / H_kv, D)を持ち、H_q / H_kvは通常小さいため、そこでのウェーブ数が多すぎるのを避ける必要もあります。たとえば、H_q / H_kv = 32の場合、カーネルは2つのウェーブを選択します。以下の図はその例です。この図では、2つのウェーブは独自の最初のWMMAオペランドを持ち、2番目のオペランドを共有します。

[画像: 2つのウェーブのWMMAレイアウト。ウェーブは出力タイルの行次元に沿って分散されています。]

2つのウェーブのWMMAレイアウト。ウェーブは行に沿って分散されています。#

考慮すべきもう1つの重要な要素は、レイアウト変換です。Gluonで2つのテンソルが異なるレイアウトを使用する場合、カーネルは一致させるために明示的なレイアウト変換操作を使用する必要があります。ソースレイアウトと宛先レイアウトに応じて、この変換はレジスタで行われるか、LDSを介して行われます。Attentionでは、QK WMMAの出力はソフトマックスの後、PV WMMAの入力になります。QK出力レイアウトがPV入力レイアウトと互換性がない場合、ホットループは追加の変換コストを支払います。1つの便利なテクニックは、WMMA出力レイアウトを「転置」することです。これは、AMDWMMALayoutでtranspose=Trueを設定するだけで実行でき、コンパイラは転置された出力を生成する対応する命令を生成します。この転置操作は追加の命令を発生させないことに注意してください。詳細については、このトークを参照してください。

[画像: QKの出力をPVの入力レイアウトと一致させるために使用される、転置されたWMMA出力レイアウト。]

PV入力レイアウトに一致させるための転置されたWMMA出力レイアウト。#

言及する価値のあるもう1つの詳細は、「K幅」の概念です。DotOperandLayoutでは、K幅はWMMAのためにK次元に沿って連続した要素が1つのレーンに割り当てられる方法を記述します。標準的な16x16x128 WMMA命令はK幅16を想定していますが、QKの転置された出力はK幅8を持つことができます。したがって、QKの出力と一致させるために、K幅8でPV入力レイアウトを明示的に設定する必要があります。

データロードの最適化#

デコードカーネルのホットループは、KおよびVタイルをグローバルメモリからLDSにロードすることで支配されます。TDMはこのデータパスを高速化するのに役立ちますが、TDMを単純に使用するだけでは十分ではありません。

TDMのパフォーマンスへの影響を理解するために、まずMI450のキャッシュ階層を理解する必要があります。MI450には、LDSと同じレベルにWGPごとのキャッシュがあります。しかし、LDSとは異なり、このキャッシュはプログラマからは直接見えません。TDMは、データをプログラマが管理するLDSに直接移動するか、ターゲットに到達する前にキャッシュパスを経由してデータをルーティングすることができます。キャッシュのサイズが限られていることを考慮すると、メモリバウンドワークロードはキャッシュをバイパスして直接LDSにデータを移動する方が良いです。

[画像: キャッシュパスを経由する間接ロードとLDSへの直接ロードを比較するTDMロードパス。]

MI450における間接および直接TDMロードパス。#

TDM転送が直接パスを使用するかどうかは、TDMリクエストの形状によって異なります。最も内側の次元は、直接パスを使用するために少なくとも128バイトである必要があり、より多くのインフライトメモリトラフィックを維持するために256バイトが推奨されます。KおよびVタイルは形状(BLOCK_N, D)を持つことを思い出してください。したがって、最も内側の次元はヘッド次元Dです。FP8データ型を仮定すると、これは最適なパフォーマンスのためにヘッド次元が256である必要があることを意味します。実際には、ヘッド次元はモデルアーキテクチャによって決定され、カーネルによって変更することはできません。しかし、カーネルは、ロードする前にKおよびVテンソルをリシェイプして最も内側の次元を大きくし、次にLDSからレジスタにロードしながらそれらをリシェイプバックすることができます。次の図は、ヘッド次元が128の場合のKおよびVのデータフローの例を示しています。

[画像: グローバルメモリとLDSでより広い内側の次元を作成するために使用されるKVリシェイプ。レジスタビューを復元する前に。]

より広いTDM内側次元を作成するために使用されるKVリシェイプ。#

レイテンシ隠蔽のためのパイプライン#

これまでは、テンソルレイアウトとデータパスを最適化しました。しかし、ホットループは依然としてメモリアクセスのレイテンシで停止する可能性があります。次のステップは、1つのタイルのメモリ移動が別のタイルの計算とオーバーラップするようにループをパイプライン化することです。

パイプラインを理解するために、前述のAttentionフォーミュラにズームインし、Flash Attentionアルゴリズムで使用されるタイル形式で記述できます。以下のフォーミュラは、1つのKVタイルを処理するループの1つのイテレーションiを示しています。ここでは、2Dタイルの操作のみに焦点を当て、1D中間値の削減操作は省略します。後でパイプラインを議論しやすくするために、右側に短い操作名を使用します。

[画像: タイル化されたAttentionループの1イテレーション]

この図は、タイル化されたAttentionループの1イテレーションiを示しており、2D操作のみを含みます。O、m、lはオンラインソフトマックスのループキャリー中間値です。右側は、パイプラインの議論で使用される短い操作名を示しています。#

図の各行は1つのGluon操作として表現でき、これは命令のシーケンスに展開されます。次の表は、BLOCK_M = 32、BLOCK_N = 128、D = 128、および2つのウェーブを持つFP8デコードAttentionの展開された命令グループを示しています。Cycles列は、ハードウェア仕様に基づいた簡略化された命令ごとのコスト見積もりを提供します。メモリ命令のレイテンシは別途モデル化されるため、空白のままです。

OperationInstructionCountCycles
TDM Ktensor_load_to_lds1
LDS Kds_load_b12832
QKv_wmma_scale_f32_16x16x128_f8f6f488
MAXv_maximum3_f32321
FMAv_pk_fma_f32321
EXPv_exp_f32642
SUMv_pk_add_f32321
MULv_pk_mul_f32321
CVTv_cvt_scalef32_pk8_fp8_f3284
TDM Vtensor_load_to_lds1
LDS Vds_load_tr8_b6464
PVv_wmma_scale_f32_16x16x128_f8f6f488

この表は、基本的なスケジューリングユニットを提供します。パイプライン化の目標は、異なるループイテレーションからの独立したユニットを同じ時間ウィンドウに移動することです。

最初の試みは、メモリ移動と計算を分離することです。単純な2ステージパイプラインでは、一方のステージが将来のイテレーションのためのTDMロードを発行し、もう一方のステージがすでにLDSに到着したデータを消費します。表記[i]は、操作がループイテレーションiに属することを示します。このスケジュールではダブルバッファリングが必要です。一方のLDSバッファがLDSロードとWMMAによって消費されている間、もう一方のバッファは後続のイテレーションのためにTDMで満たすことができます。次のループステップで、2つのバッファは役割を交換します。

[画像: 将来のイテレーションのためのTDMロードを、現在のイテレーションのためのLDSロードおよび計算とオーバーラップさせる2ステージパイプライン。]

2ステージパイプラインスケジュール。#

2ステージパイプラインはTDMロードと計算をオーバーラップさせることができます。これはループが明らかにメモリバウンドである場合にうまく機能しますが、計算側全体を単一のモノリシックブロックとして扱います。その結果、LDSロード、QKのWMMA、PVのWMMA、一連のベクトル命令によるソフトマックスは、計算ステージ内で効果的にシリアル化されます。これは計算ブロックを不必要に肥大化させます。最悪の場合、カーネルはTDMレイテンシによって制限されることから、シリアル化された計算によって制限される状態に移行する可能性があります。

これを回避するために、実際のデータ依存性に従って計算ブロックを分割します。これらの操作はすべて同じ値に依存しているわけでも、同じハードウェアリソースを使用しているわけでもないため、オペランドが準備できれば、WMMA命令、LDS移動、およびソフトマックスベクトルワークはしばしばインターリーブできます。次の依存関係グラフでは、各ノードは1つのスケジューリングユニットです。エッジは、ソースが値を生成するまで宛先を開始できないことを意味します。

[画像: TDM K、LDS K、QK、ソフトマックスワーク、TDM V、LDS V、およびPVのデータ依存関係グラフ。]

1つのループイテレーションにおけるスケジューリングユニット間のデータ依存関係。#

イテレーションi + 1のQKはイテレーションiのソフトマックス結果を必要としないため、次のKVタイルをプリフェッチし、そのQK計算を早期に開始できることがわかります。さらに、QKとPVはWMMA命令を使用しますが、オンラインソフトマックスはVALU命令のみを使用するため、これらの操作はシリアル化されるのではなくインターリーブできます。これらの観察結果は、4ステージパイプラインを動機付けます。TDM以外のすべての作業を1つの計算ステージにまとめるのではなく、4ステージパイプラインは隣接するイテレーションからのメモリと計算ユニットをインターリーブします。ステージには、イテレーションi + 1のQK、イテレーションiのソフトマックスワーク、イテレーションiのLDSロード、および将来のイテレーションのためのTDMリクエストが含まれる場合があります。ソフトマックスワークを2つのステージにほぼ均等な作業量でグループ化し、ハードウェアがWMMAとVALUをより良くインターリーブできるようにします。ここでは、QK WMMAはVEC0とインターリーブでき、PV WMMAはVEC1とインターリーブできます。さらに、EXPは超越ユニットを使用し、他のVALU命令とさらにインターリーブできます。

[画像: TDM、LDS、QK、ソフトマックスベクトルワーク、およびPVを隣接するイテレーション間でインターリーブする4ステージパイプライン。]

ダブルバッファリングを備えた4ステージパイプラインスケジュール。#

この4ステージスケジュールは、2ステージスケジュールよりも多くのオーバーラップを公開しますが、1つの質問が残ります。TDMリクエストはどのくらい先まで発行すべきか?ダブルバッファリングを使用すると、カーネルには2つのLDSスロットがあります。1つのスロットはLDSロードと計算によって消費され、もう1つのスロットはTDMによって満たされています。これにより、各TDMリクエストは、データが必要とされる前に、ほぼ1イテレーションの計算時間を得られます。

単純なサイクルモデルを使用して、これが十分かどうかを推定できます。TDMロードは約1000サイクルかかると仮定し、すべてのLDSロードレイテンシはスケジューリングによって隠すことができるとします。このモデルと前の表を使用して、次の表に示すデコードイテレーションの推定値を得ることができます。ここでは2つのインターリーブルールを使用します。1)1つのWMMAは8サイクルかかり、2サイクルのVALUを隠すことができます。2)1つのEXPは2サイクルかかり、非EXP VALUの1サイクルを隠すことができます。また、この1000サイクルは、パイプラインを推論するための経験的な数値であることに注意してください。実際のTDMレイテンシは、テンソルタイルの形状やアクセスパターンなど、多くの要因に依存します。

GroupTotal Cycles
QK64
PV64
VEC0 = MAX + FMA + EXP192
VEC1 = SUM + MUL + CVT96
QK + VEC0, interleaved176
PV + VEC1, interleaved144
Total, interleaved320

ダブルバッファリングされたスケジュールでは、TDMリクエストは、ロードされたタイルが消費される前にオーバーラップするための約320サイクルの実効計算ワークを持ちます。これは、このモデルでの1000サイクルのTDMレイテンシよりもはるかに小さく、各ロードに対して約680サイクルの露出した待機時間が残ります。

これは、より長いルックアヘッド距離を動機付けます。トリプルバッファリングは、さらに1つのLDSスロットを追加するため、カーネルは次のバッファ交換を待つのではなく、より早く将来のタイルを要求できます。概念的には、1つのバッファが消費され、1つのバッファが準備ができているか、または準備に近い状態にあり、1つのバッファがTDMによって満たされています。同じモデルでは、2イテレーション先まで見ると、約640サイクルの実効計算ワークをオーバーラップさせることができます。それでもメモリレイテンシ全体をカバーするわけではありませんが、露出した待機時間を約680サイクルから約360サイクルに削減し、ハードウェアにより多くの未処理のメモリワークを提供します。

[画像: TDMリクエストが消費よりも遠く先に発行される、トリプルバッファリングを備えた4ステージパイプライン。]

トリプルバッファリングを備えた4ステージパイプライン。#

Split-kによる並列化#

パイプラインは1つのワークグループ内のレイテンシ隠蔽を最適化しますが、1つのGPUには多くのワークグループがあり、すべてのワークグループにわたってGPU全体のメモリ帯域幅を飽和させることも確認する必要があります。ベースラインのMQA/GQAデコードマッピングでは、各ワークグループは1つの(B, H_kv)ペアを所有し、そのペアのKVシーケンスをシリアルに処理します。ワークグループの総数はB * H_kvにすぎません。MI450には256のワークグループプロセッサがあるため、バッチサイズが小さい場合やKVヘッド数が少ない場合、利用可能なメモリ帯域幅を完全に活用するにはワークグループ数が少なすぎる可能性があります。

Split-kは、KVシーケンスを複数のワークグループにパーティション化することによって、この利用不足の問題に対処します。1つの(B, H_kv)ペアのKVシーケンス全体を1つのワークグループに割り当てる代わりに、Split-kはそれをS個のパーティションに分割し、S個のワークグループがそれらのパーティションを並列に処理できるようにします。ワークグループの数はB * H_kvからB * H_kv * Sに増加し、GPUの飽和を改善すると同時に、各ワークグループが処理するKVブロックの数を減らします。パーティションからの部分結果は、最終的なAttention出力を生成するためにマージされます。次の図は、2つのバッチ、2つのKVヘッド、および2つのパーティションを持つ例を示しています。ワークグループの総数は倍増し、各ワークグループはKVシーケンスの半分を処理します。

[画像: K/Vシーケンスが追加のワークグループによって処理されるパーティションに分割されるSplit-kワークロードマッピング。]

K/VシーケンスパーティションにわたるSplit-kワークロードマッピング。#

Split-kの1つの課題は、すべてのワークグループが部分結果を同期およびマージする必要があることです。通常、部分結果をマージするための個別の削減カーネルがあります。この2カーネルアプローチは、中間結果を格納するためにグローバルメモリを使用し、同期ポイントも設定します。MI450は新しいワークグループクラスター機能を提供しており、これによりクラスター内の複数のワークグループが同期できます。この機能を使用して、削減計算を単一カーネルに融合することで、Split-kを実装できます。

Gluonでは、ワークグループクラスターの概念はマルチCTAプログラミングを通じて表現されます。「CTA」はワークグループのTriton用語であり、「CGA」はクラスターの用語です。次の表は、TritonとMI450の概念のマッピングを示しています。

Triton ConceptMI450 Concept
WarpWavefront
CTAWorkgroup
CGAWorkgroup Cluster

Gluonカーネルは、ウェーブと同様にCTAを分散します。どちらもレイアウトシステムの一部です。注意すべき1つの詳細は、Tritonでブロックサイズについて議論する場合、通常は1つのワークグループのブロックサイズを意味します。マルチCTAレイアウトでは、ブロックサイズはクラスター全体のサイズです。

AMDWMMALayoutなどのGluonのレイアウトは、マルチCTAカーネルのcga_layoutフィールドを指定できます。Split-kの場合、各ワークグループは最終削減まで各パーティションを独立して処理するため、部分Attentionを3D形式で実行できます。効果的に、各プログラムは以下に示すAttention計算を処理します。ここでのすべてのパーティションは同じQを共有します。

Q: [1, H_q / H_kv, D]
K: [S, T_kv / S, D]
V: [S, T_kv / S, D]

これがレイアウトシステムにどのようにマッピングされるかを見るために、マルチCTAレイアウトの下での単一のWMMA操作を見るのが役立ちます。下の図では、WMMAレイアウトにワークグループ用の追加の次元を1つ追加しています。最初のオペランドは2つのパーティション間で共有されます。2番目のオペランドと出力は異なります。各ワークグループ内では、2つのウェーブは以前と同様に分散されています。

[画像: Split-k Attentionのためのワークグループとウェーブの次元を示すマルチCTA WMMAレイアウト。]

Split-k AttentionのためのマルチCTA WMMAレイアウト。#

部分Attentionの後、すべてのワークグループからの結果をマージする必要があります。カーネルはまず部分結果をグローバルメモリに書き込み、すべてのワークグループをクラスターで同期し、最後に部分結果を読み戻します。MI450がL2キャッシュを提供し、クラスター内のワークグループ間で共有されることも言及する価値があります。したがって、部分結果はグローバルメモリを通過する必要はありません。これは削減のオーバーヘッドを削減するのに役立ちます。

削減は同じカーネルに融合されるため、削減には同じ起動グリッドを使用しますが、レイアウトは異なります。ワークグループは現在ヘッド次元に沿って分散され、各パーティションをループして最終結果を計算します。

[画像: Attentionと削減のためのCTAレイアウト。ワークグループがSplit-kマージステップのためにどのように再分散されるかを示しています。]

Split-k Attentionと削減のためのCTAレイアウト。#

パフォーマンス評価#

これまでは、MI450でのMQAデコードの主要な最適化ステップについて説明しました。

  1. テンソルレイアウトの最適化: 最適なGluonレイアウトを選択して、コンパイラがより良い命令を生成するのを支援します。
  2. データロードの最適化: K/V TDMリクエストを最適化して、メモリアクセスを高速化します。
  3. レイテンシ隠蔽のためのパイプライン: メモリアクセス、行列乗算、およびソフトマックスをオーバーラップさせて、露出したメモリレイテンシを削減します。
  4. Split-kによる並列化: KVシーケンスを複数のワークグループに分割して、GPUメモリ帯域幅を完全に活用します。

上記で議論されたすべての最適化に加えて、カーネルはパフォーマンスを向上させるためにいくつかの他のテクニックを使用します。これには、より良いコード生成とLLVMの基盤となる命令レベルの最適化が含まれます。

上記の最適化をGluonカーネルに実装しました。カーネルソースコードは、MI450 Gluon MXFP Attention Exampleで完全にオープンソース化されています。このカーネルの評価は、次のターゲット設定をカバーしています。

  • バッチ: 64
  • Qヘッド数: 64
  • KVヘッド数: 1または2
  • KVシーケンス長: 4096-65536
  • QKVデータ型: グローバルスケール付きFP8

カーネルの実効帯域幅をターゲットメトリックとして使用します。これは、グローバルメモリに読み書きされたバイトの総数をカーネル実行時間全体で割った値として定義されます。システムレベルのメモリ帯域幅の参照として、BabelStreamを使用して、同じMI450システムでピーク読み取り専用帯域幅も測定しました。次の図は、ターゲット設定に対するカーネルのパフォーマンスを示しています。

[画像: K/Vシーケンス長およびK/Vヘッド数全体でのMI450でのAttentionデコードの実効帯域幅結果。]

MI450での最適化されたAttentionデコードカーネルの実効帯域幅。#

評価システムでの報告されたピーク帯域幅は20TB/sです。GQAケース(H_kv = 2)では、実効帯域幅は17.10 TB/sに達し、ピーク帯域幅の85%です。MQAケース(H_kv = 1)では、カーネルは16.65 TB/sに達し、ピーク帯域幅の83%です。カーネルのスループットはシーケンス長とともに増加します。短いシーケンス長では、プロローグや削減オーバーヘッドなどの固定コストが総実行時間のより大きな割合を占めます。

上記の成果は、ROCm 7.14.0およびPyTorch 2.11.0で、Tritonコミットecfc626と最新のmxfp_fa_gfx1250.pyスクリプトを使用して収集されました。結果を再現するには、次のコマンドを実行してください。

# H_kv = 2
python3 third_party/amd/python/examples/gluon/mxfp_fa_gfx1250.py --q_type e4m3 --kv_type e4m3 --batch 64 --seqlen_q 1 --seqlen_k 4096 --num_q_heads 64 --num_k_heads 2 --head_sz 128 --pipelined --scale_type global --profile
python3 third_party/amd/python/examples/gluon/mxfp_fa_gfx1250.py --q_type e4m3 --kv_type e4m3 --batch 64 --seqlen_q 1 --seqlen_k 8192 --num_q_heads 64 --num_k_heads 2 --head_sz 128 --pipelined --scale_type global --profile
python3 third_party/amd/python/examples/gluon/mxfp_fa_gfx1250.py --q_type e4m3 --kv_type e4m3 --batch 64 --seqlen_q 1 --seqlen_k 16384 --num_q_heads 64 --num_k_heads 2 --head_sz 128 --pipelined --scale_type global --profile
python3 third_party/amd/python/examples/gluon/mxfp_fa_gfx1250.py --q_type e4m3 --kv_type e4m3 --batch 64 --seqlen_q 1 --seqlen_k 32768 --num_q_heads 64 --num_k_heads 2 --head_sz 128 --pipelined --scale_type global --profile

# H_kv = 1
python3 third_party/amd/python/examples/gluon/mxfp_fa_gfx1250.py --q_type e4m3 --kv_type e4m3 --batch 64 --seqlen_q 1 --seqlen_k 8192 --num_q_heads 64 --num_k_heads 1 --head_sz 128 --pipelined --scale_type global --profile
python3 third_party/amd/python/examples/gluon/mxfp_fa_gfx1250.py --q_type e4m3 --kv_type e4m3 --batch 64 --seqlen_q 1 --seqlen_k 16384 --num_q_heads 64 --num_k_heads 1 --head_sz 128 --pipelined --scale_type global --profile
python3 third_party/amd/python/examples/gluon/mxfp_fa_gfx1250.py --q_type e4m3 --kv_type e4m3 --batch 64 --seqlen_q 1 --seqlen_k 32768 --num_q_heads 64 --num_k_heads 1 --head_sz 128 --pipelined --scale_type global --profile
python3 third_party/amd/python/examples/gluon/mxfp_fa_gfx1250.py --q_type e4m3 --kv_type e4m3 --batch 64 --seqlen_q 1 --seqlen_k 65536 --num_q_heads 64 --num_k_heads 1 --head_sz 128 --pipelined --scale_type global --profile

まとめ#

この記事では、Attention Decodeをケーススタディとして、MI450の主要な最適化ステップを説明しました。ベースラインのAttentionループから始め、WMMAレイアウト、データロード、ソフトウェアパイプラインを最適化しました。また、ワークグループクラスターを使用したSplit-kをどのように使用して、長コンテキストデコードの並列性を高めるかについても議論しました。最適化されたAttention Decodeカーネルは、MI450のピークメモリ帯域幅の85%に達することができます。これは初期の結果であり、メモリプリフェッチ、より良い命令レベルスケジューリング、およびSplit-kの削減の改善など、将来のさらなる最適化によりカーネルパフォーマンスをさらに向上させることが期待されます。

また、MI450がデコードワークロードに特に役立ついくつかのハードウェア機能を提供することを示しました。非同期グローバルからLDSへの移動のためのTDM、より大きなレジスタおよびLDSリソース、およびワークグループ間の協調のためのワークグループクラスターです。Gluonはこれらのすべての機能にアクセスでき、カーネル作成者がTritonと一貫したタイルベースのSPMDプログラミングモデルを維持しながら、低レベルの最適化を実行できるようにします。これにより、カーネルエキスパートがMI450でピークパフォーマンスを達成するための多くの最適化機会が開かれます。

今後、これらの最適化手法を他のAttention Decodeカーネルに適用し続ける予定です。これには、異なるデータ型、ページングされたKVキャッシュ、およびDeepSeekファミリーのMLA/DSAカーネルのような異なるAttentionバリアントが含まれます。これらのカーネルは、本番品質にさらにプッシュされ、LLM推論フレームワークに統合されます。

免責事項#

本書に記載されている情報は、情報提供のみを目的としており、技術的な不正確さ、省略、および誤植が含まれる場合があります。本書に含まれる情報は変更される可能性があり、製品およびロードマップの変更、コンポーネントおよびマザーボードのバージョンの変更、新しいモデルおよび/または製品のリリース、異なる製造元間の製品の違い、ソフトウェアの変更、BIOSフラッシュ、ファームウェアのアップグレードなど、多くの理由により不正確になる可能性があります。いかなるコンピュータシステムにも、完全に防止または軽減できないセキュリティ脆弱性のリスクがあります。AMDは、この情報を更新またはその他の方法で修正または改訂する義務を負いません。ただし、AMDは、この情報を改訂し、本書の内容を随時変更する権利を留保しますが、AMDは、そのような改訂または変更を誰かに通知する義務はありません。この情報は「現状有姿」で提供されます。AMDは、本書の内容に関して一切の表明または保証を行わず、本書に含まれる可能性のある不正確さ、誤り、または省略について一切の責任を負いません。AMDは、非侵害、商品性、または特定の目的への適合性に関する黙示の保証を明示的に否認します。いかなる場合も、AMDは、本書に含まれる情報の使用に起因する、いかなる信頼、直接的、間接的、特別、またはその他の結果的損害についても、AMDがそのような損害の可能性について明示的にアドバイスを受けていた場合でも、いかなる個人に対しても責任を負いません。AMD、AMD Arrowロゴ、およびそれらの組み合わせは、Advanced Micro Devices, Inc.の商標です。本書で使用されているその他の製品名は、識別目的のみに使用されており、それぞれの会社の商標である可能性があります。© 2026 Advanced Micro Devices, Inc. 無断複写・転載を禁じます。

注意書き#

このブログには、Advanced Micro Devices, Inc. (AMD) に関する将来の見通しに関する記述が含まれている場合があります。これは、1995年私募証券訴訟改革法のセーフハーバー規定に従って作成されたものです。将来の見通しに関する記述は、一般的に「〜だろう」、「〜かもしれない」、「期待する」、「信じる」、「計画する」、「意図する」、「予測する」などの単語や、同様の意味を持つその他の用語で特定されます。投資家は、このブログの将来の見通しに関する記述が現在の信念、仮定、および期待に基づいており、ブログの日付時点のものであり、現在の期待と大きく異なる可能性のあるリスクと不確実性を伴うことを認識しておく必要があります。そのような記述は、特定の既知および未知のリスクと不確実性の対象となります。これらのリスクと不確実性の多くは予測が困難であり、一般的にAMDの管理外にあり、実際の成果とその他の将来のイベントが、将来の見通しに関する情報および記述で明示された、または暗示された、または予測されたものと大きく異なる可能性があります。投資家は、AMDの証券取引委員会への提出書類、特に最新のフォーム10-Kおよび10-Qレポートに含まれるリスクと不確実性を詳細に確認することを強くお勧めします。

AMDは、法律で要求される場合を除き、このブログでなされた将来の見通しに関する記述を更新する義務を負わず、かつ、ここに否認します。