HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

x86はACEで対応できるか?

Is x86 ready to ACE it? (chipsandcheese.com)

93 pointsby mfiguiere19 コメント

要約

この記事は、Intelの新しいCPU拡張機能であるACE(Accelerator-Constrained Execution)について解説しています。ACEは、機械学習ワークロードにおける行列演算を高速化するために設計されたAMX(Advanced Matrix Extensions)の進化形であり、特に外積演算に焦点を当てています。これにより、従来のx86アーキテクチャがAI時代の計算負荷に対応するための進化の可能性を探ります。

全文翻訳

x86はACEで対応できるか?

CPU設計は、変化するワークロードに対応するために進化する必要があります。時には、特定の種類の作業を効率的に表現するために命令セットを拡張することが、その進化の一部となります。IntelのAMX拡張は、そのような例の一つです。AMXは、2次元のタイルレジスタと設定レジスタを提供することで、機械学習ワークロードにおける行列乗算を高速化します。これにより、プログラマはそれらのタイルレジスタ内の行列データをターゲットとする、特殊化された実行ユニット(「アクセラレータ」)を設定できます。AMXは最初にIntelのSapphire RapidsサーバーCPUにタイル行列乗算ユニット(TMUL)アクセラレータとして実装されました。現在、x86 Ecosystem Advisory Groupは、2番目のアクセラレータタイプを導入するACE(AI Compute Extensions)のホワイトペーパーと仕様を作成しました。ACEはTMULに加えてAMXアクセラレータですが、TMULはAMXの発売時に唯一存在したアクセラレータ実装であり、現在もハードウェアで利用可能な唯一のAMXアクセラレータであるため、ここでは「AMX」と「ACE」と呼びます。ドキュメントでも「AMX」と「ACE」と呼ばれる傾向があります。

AMX TMULは、コードが行列タイルのパラメータを各タイルレジスタに指定する、高度に設定可能なセットを提供しました。例えば、タイルレジスタtmm0は、16行64バイト/行(「colsb」)を指定することで、INT8値の16x64行列として設定できます。TDPBSSDのようなTMUL行列乗算命令は、タイル設定を考慮に入れ、指定されたタイル間の行列乗算全体を実行します。データ型としては、AMX TMULはINT8、FP16、BF16値で動作できました。TMULの最新版は、Granite Rapids-D CPUに実装されており、FP16の実数部とFP16の虚数部を持つ複素数もサポートしています。

[画像: ]

ACEはタイルレジスタの設定オプションを廃止し、常に64バイトx 16行として扱います。複素数はなくなりましたが、FP8が導入されました。計算側では、ACEはAMXが提供する内積命令ではなく、外積命令を提供します。

[画像: ]

ArmのScalable Matrix Extension(SME)とそのSME2拡張は、比較対象として明白です。両方のISA拡張は、CPU ISAのフレームワーク内で行列乗算を高速化し、GPUのような統合度の低いアクセラレータに対する低レイテンシの代替手段を提供することを目指しています。しかし、両ISA拡張はいくつかの点で異なります。ACEはAMX上に構築されており、行列値を保持するためにAMXの8KBタイルレジスタを引き続き使用します。

対照的に、ArmのSMEは、SVEのベクトル長(VL)と同様に、可変の「ストリーミング」ベクトル長(SVL)を持っています。SVEとSMEのベクトル長は同じである必要はなく、しばしばそうではありません。SVEと同様に、SMEはベクトル長を128ビットから2048ビットまで、2のべき乗で増加させることができます。

ストリーミングベクトル長は、「ZA」ストレージアレイのサイズを定義します。これはSMEのAMXタイルレジスタに相当するものです。ZAストレージは2次元配列であり、各辺はSMEストリーミングベクトル長に一致します。したがって、ZAストレージ容量は、128ビットのストリーミングベクトル長を持つ256バイトから、最大2048ビットのベクトル長を持つ64KBまで変化します。

外積

AVX512-VNNIとAMXが内積を加速するのに対し、ACEとSMEは外積を加速します。

2つのベクトルaとbの内積(この場合はドット積)は、
(\mathbf a \cdot \mathbf b = \mathbf a^\mathsf{T} \mathbf b = \sum
_{i=1}^n a_i b_i)
です。
あるいは、物理学者であれば、幾何学的な解釈を通じて学んだかもしれません。
(\mathbf a \cdot \mathbf b = |\mathbf a| , |\mathbf b| \cos \theta)
ここで、θはベクトル間の角度です。一方、ベクトルaとbの外積(一般的にはテンソル積)は、次のようなランク1の行列Cを生成します。
(\mathbf{a} \otimes \mathbf{b} = \mathbf a \mathbf b^\mathsf{T} = \mathbf C = \begin{bmatrix} a_1b_1 & a_1b_2 & \dots & a_1b_n \ a_2b_1 & a_2b_2 & \dots & a_2b_n \ \vdots & \vdots & \ddots & \vdots \ a_mb_1 & a_mb_2 & \dots & a_mb_n \end{bmatrix} )
Cの列はすべてaに比例しており、これがランク1行列である理由ですが、行列乗算は外積の和であることも示しています。
(\mathbf C = \mathbf AB = \sum
_{i=1}^n \mathbf a_i^{row} \mathbf b_i^{col})
実際、線形代数の多くの操作は外積の線形結合として見ることができます。そのため、外積はプロセッサに実装するのに自然なプリミティブとなります。最も明白な例は、行列の特異値分解です。
(\mathbf M = \mathbf{U \Sigma V}^\mathsf{T})
内積として書くと理解するのが簡単ではありませんが、これは単にUとVの列の外積にそれぞれの特異値を掛けたものの和にすぎません。
(sum
_{i=1}^{rank(A)} (\mathbf u_i \otimes \mathbf v_i) \sigma_i)
FFTのような、外積の形に変換するのがそれほど明白ではないアルゴリズムでさえ、それを用いてSMEをアクセラレータとして利用するために再定式化されています。Armは、その方法の例を以下に示しましたが、論文を検索すれば、さまざまなより効果的な方法を見つけることができます。

[画像: ]

歴史的に、私たちは主に内積を使用してきました。なぜなら、レジスタに保持する必要のある状態の量を減らすことができるからです。そして、レジスタは貴重なリソースであるため、最適化が重要でした。

しかし、上記で見たように、ほとんどすべての線形代数は両方のレンズを通して見ることができ、コードは内積と外積の間を簡単に変換できます。SMEはこれを利用して外積による行列乗算を行っており、ACEも同様のことを目指しています。

データ型変換/デ量子化

モデルの重みは、メモリ帯域幅と容量の圧力を軽減するために、非常に小さいビット幅に量子化されることがよくあります。ACEとSMEは、例えばNVIDIAのTensorCoresとは異なり、レジスタファイルを介してバウンスすることなく、ソフトウェアで入力ベクトルを前処理します。

量子化された重みは、アクセラレータを利用するためにネイティブにサポートされているデータ型に変換されます。ACEは、AVX-512/AVX10の固定512ビットベクトル幅を利用して、この変換プロセスを高速化します。512ビットベクトルは、VPERMBを使用して最大6ビットのデータ型から8ビット出力へのルックアップテーブルを保持するのに十分な大きさであり、7ビット入力の場合、VPERMI2Bは2つの512ビットベクトルレジスタをルックアップテーブルとして一緒に使用できます。

ACE/AVX10.3で追加された新しいVUNPACKB命令は、2〜7ビットの要素をバイトアラインされた位置に抽出でき、その後、前述のベクトル置換命令がデータ型変換を実行できます。したがって、ACEは、これらの3つの命令だけで2〜7ビットの任意のデータ型を処理できる将来性を提供し、ソフトウェアで実質的に任意の選択した方法を実装できます。

x86-64 EAGは、この柔軟性により、ACEハードウェアがモデル重みのデ量子化以外のアプリケーション、例えばデータ圧縮用のコードブックにも適用できることを期待しています。

[画像: ]
データ変換はVUNPACKBとVPERM(2I)Bを使用して2段階のプロセスですが、柔軟性があり、2〜7ビットの任意の入力データ型を処理できます。

Armは、SVEが実装に128〜2048ビットのストリーミングベクトル長を定義できるため、データ変換のルックアップテーブルとして機能するのに十分な幅のベクトルレジスタに依存できません。したがって、SME2は、16x4Bルックアップテーブルとして機能するように特別に設計された512ビットZT0レジスタを追加します。LUTI2およびLUTI4命令は、ベクトルレジスタから2ビットまたは4ビットのインデックス値を展開し、ZT0で値をルックアップし、宛先ベクトルレジスタに出力値を配置することで、データ変換を実行します。

固定幅のZT0レジスタを追加することで、Armは可変ベクトル長SVE/SMEフレームワーク内でデータ変換を高速化できますが、ACEのVUNPACKB + 置換の組み合わせほど柔軟ではありません。2ビットまたは4ビット以外の値に量子化されたモデルの重みは、SME2のルックアップテーブルアクセラレーションの恩恵を受けず、複数の異なるルックアップテーブルを必要とするより複雑なコードブックアプローチはサポートできません。

[画像: ]
SME2のZT0ルックアップテーブルレジスタを使用したデータ変換。柔軟性は低いですが、ArmのLUT命令は展開用の補助レジスタを必要とせず、固定ベクトル長に依存しません。

一方で、SME2のメカニズムにより、Armは単一の命令でデータ型変換を表現できます。また、ルックアップテーブルは別のレジスタに格納され、LUT命令は中間展開値を保持するための別のベクトルレジスタを必要としないため、ベクトルレジスタへの負荷も軽減されます。柔軟性の面では、ArmはISAを拡張し続け、より多くのデータ型幅をサポートするためにLUT命令のバリアントを追加できます。

ブロックスケーリングサポート

FP8のような低精度データ型は、ダイナミックレンジが低いという問題を抱えています。Open Compute ProjectのMicroscaling Formats仕様は、スケーリングファクターでこれに対処します。1つのスケーリング値が値のブロック全体に適用され、各データ要素のビット幅を増やさずに乗算結果のダイナミックレンジを増加させます。ACEは、BSR0という新しい1024ビットブロックスケールレジスタでこれをサポートします。BSR0は2つの512ビットハーフに分割され、それぞれが外積演算の2つの入力に対応します。各ハーフはさらに、外積命令の即値オペランドによって選択される16個の8ビットスケール値の4つのグループに分割されます。

[画像: ]
ACE v1公開仕様より、スケーリングを伴う外積を示す。

ArmのSMEは、浮動小数点モードレジスタ(FPMR)の8ビットLSCLAEおよびLSCLAE2フィールドを介してスケーリングをサポートします。BF1CVTはLSCLAEを使用し、BF2CVTはLSCLAE2を使用します。Armは2つの命令を文書化していますが、そのスキームは、ACEが即値を使用してBSRグループを選択する方法と実際には似ています。BF1CVTとBF2CVTの間には1ビットのオペコード差があり、クリエイティブなデコーダーはそれを即値として扱うことができます。スケールファクターの使用はSMEでは2段階のプロセスであり、BF1CVT/BF2CVTがスケールを適用し、別の外積命令が計算を実行します。ACEのBSR0とSMEのFPMRの両方の更新命令は、レジスタ全体を上書きします。これは、両側のISA設計者がスケール値が頻繁に変更されることを想定していないことを示唆しています。

どちらのレジスタもハードウェア実装で名前が変更されない可能性があり、スケール値の更新はFP8命令のシリアライゼーションバリアを作成します。スケール値が頻繁に変更され、名前変更が必要な場合、両方のISAは困難な状況に置かれます。ACEのすべてのFP8外積命令はBSR0を参照しており、したがって最後のBSR0書き込みに依存します。SMEにはスケーリングと外積計算用の別々の命令がありますが、FPMRにはFP8フォーマットとオーバーフロー動作を制御するフィールドも含まれています。したがって、すべてのFP8計算が最後のFPMR書き込みに依存するという同じ状況になります。

タイルサイズ:ベクトルレジスタの活用

量子化はメモリ帯域幅の要求を削減する1つの方法です。タイリングも別の方法です。単純な行列乗算は、局所性が低いメモリアクセスパターンを作成します。行列をサブ行列(タイル)に分割すると、DRAMから頻繁にデータをストリーミングするのではなく、高帯域幅キャッシュに収まることでデータ再利用が向上します。しかし、タイリングを使用しても帯域幅の課題は残ります。十分な計算能力があれば、キャッシュ帯域幅でさえ制約となる可能性があります。タイルをメモリ階層の下位レベルからストリーミングするよりも速く処理できる十分な計算能力がある場合、L2、L3、さらにはDRAMの帯域幅が関係してきます。

より大きなタイルは、この問題の緩和に役立ちます。結果行列の各タイルの計算には、最初の入力行列の対応する行の各タイルと、2番目の入力行列の対応する列の各タイルとの乗算が含まれます。タイルが大きいほど、行列はより少ない合計タイルでカバーできます。各入力タイルは、出力タイルの対応する行または列に現れる回数が少なくなるため、行列乗算プロセス中にロードされる回数が少なくなります。

[画像: ]
小さな例を視覚化する。最初の行列の単一の入力タイルは、2x2タイルでカバーされた行列の場合、3つの出力タイルに対してのみロードする必要があります。3x3タイリング配置では、5回ロードする必要があります。

レジスタ容量はタイルサイズに影響します。なぜなら、アキュムレータをレジスタに保持したいからです。各アキュムレーションは読み取り-変更-書き込み操作であり、2回のメモリアクセスを伴います。さらに、ほとんどのメモリサブシステムは、一般的なアプリケーションの動作(メモリ読み取りが書き込みをはるかに上回る)を反映して、書き込み帯域幅よりも読み取り帯域幅が少なくなっています。ACEはAMXが導入したのと同じ8KBタイルレジスタを保持しますが、数学命令はAVX-512ベクトルレジスタから2つの入力を受け取るように変更されています。TMUL数学命令はすべてのオペランドをタイルレジスタから受け取るため、コードは一時的な入力データを保持するためにタイルレジスタ容量の一部を使用する必要があります。

例えば、32K x 32Kの8ビット整数値(INT8)の行列乗算操作C = ABを考えます。AとBは入力行列、Cは結果です。行列乗算には、32768^3、つまり35.2兆回の乗算-加算(MAC)操作が必要です。Cはすべてのケースでレジスタに保持されますが、AとBは必要に応じてのみレジスタにロードされます。

AVX512-VNNI

AVX-512は32個の512ビットベクトルレジスタを提供します。それらのうち約24個をCのアキュムレータを格納するために使用でき、残りの8個を入力値を格納するために使用できます。AVX-512 FMA命令はメモリから1つの入力しか受け取れないため、もう一方の入力は操作される前にレジスタにロードする必要があります。

[画像: ]
出力タイルを計算するために、Aから16 x 32k要素、Bから24 x 32k要素をロードする必要があります。したがって、約1.3M要素をメモリからロードする必要があります。このカーネルを32k x 32k / (16 x 24) ≈ 2.7M回実行する必要があります。合計で約3.4TBのキャッシュトラフィックになります。これは、MAC操作あたり約0.10バイトのロードとなり、128B/サイクルでロード帯域幅を維持できるデータキャッシュは、サイクルあたり1228 MAC操作を供給できることになります。これは、各512ビットベクトルに64個の8ビット要素が含まれており、CPUが19個以上の512ビットベクトルパイプを持つことは考えにくいため、十分です。

SME

同じ単純なタイリングを、512ビットストリーミングベクトル長と4バイトアキュムレータを持つSME実装で使用すると、16x16要素の4つのSME ZAタイルが得られ、合計で32x32要素になります。各イテレーションで、Aから32x32k要素、Bから32x32k要素をロードする必要があり、合計で2M要素になります。しかし、カーネルを実行するのは32k x 32k / (32 x 32) = 1M回で済み、合計で2.0TBのキャッシュトラフィックになります。したがって、SMEはAVX-512-VNNIと比較してキャッシュ帯域幅の要求をほぼ50%削減します。MAC操作あたり約0.06バイトのロードで、128B/サイクルでデータキャッシュを供給できる場合、サイクルあたり2088 MAC操作を供給できます。

[画像: ]
さらに、外積設計のため、レジスタスピルによる追加のL1トラフィックは必要ありません。なぜなら、実用的なアプリケーションの前処理に必要な十分なベクトルレジスタが利用可能だからです。

AppleのM4は、512ビットストリーミングベクトル長を持つハードウェア実装の例です。より大きなベクトル長を持つ仮想的な実装は、さらなる帯域幅の節約から恩恵を受けるでしょう。例えば、1024ビットSME実装は64x64要素の出力を持ち、2 x 64 x 32k要素をロードし、0.25百万回のカーネル呼び出しで合計1.0TBのキャッシュトラフィックになります。

AMX

AMXの場合、6つのタイルを出力アキュムレータとして使用し、AとBにはそれぞれ1つのタイルを使用します。これは私の計算によると可能であり、この論文によって裏付けられています。最大でロードする7つのタイルごとに2つのタイルをスピルする必要があり、これはL1に問題なく収まるはずなので、追加のキャッシュトラフィックは無視します。

[画像: ]
6つのタイルレジスタを割り当てると、32x48要素の出力が得られます。カーネル呼び出しごとにAから32x32k要素、Bから48x32k要素をロードする必要があります。合計で2560回のタイルロードになります。しかし、その補償として、カーネルを0.7百万回実行するだけで済み、合計で1.7億タイルのロード、つまり1.7TBのキャッシュトラフィックになります。これはMAC操作あたり0.052バイトのロードとなり、128B/サイクルL1Dはサイクルあたり2457 MACを供給できます。

代わりにIntelが推奨する戦略を使用した場合、カーネルを1.0百万回実行し、呼び出しごとに2048タイルをロードする必要があり、2.0TBのデータロードになります。これは著しく悪いため、この記事の残りの部分では、このタイリング戦略をなぜ行うのか明確な理由が思いつかないので、都合よく無視します。

ACE

ACE行列命令は、AVX-512/AVX10ベクトルレジスタから入力を受け取り、タイルレジスタにアキュムレートします。そのため、AMXのようにAとBをタイルレジスタに保持する必要はありません。これにより、より大きな32x64要素の出力が可能になります。合計で48k回のベクトルロードのために96x32k要素をロードする必要がありますが、カーネル呼び出しはわずか0.5百万回で、合計1.5TBのキャッシュトラフィックになります。MAC操作あたり0.046バイトのロードで、128B/サイクルL1Dはサイクルあたり2785 MACを供給できます。

[画像: ]
M = N = Kであり、TaとTbがタイルの次元である場合、カーネル呼び出しごとに(Ta + Tb) x N要素をロードする必要があり、(N x N) / (Ta x Tb)回のカーネル呼び出しが必要で、合計(Ta + Tb) x N x N x N / (Ta x Tb)要素がロードされます。

すべての計算が終わったので、以前の数値を無視した方々に、データ再利用の一般的な下限は2 x M x N x K / sqrt(T)であり、ここでTはアキュムレータタイルの要素サイズです。この問題をさらに深く考察したい場合は、MOMMSファミリーの行列乗算アルゴリズムに関する論文を読むことをお勧めします。

これは実験的な数値と一致しています。SMEのタイルサイズを4倍にすると帯域幅要件が半分になり、この理論的な下限はアキュムレータが正方形の場合に達成されますが、ACEレジスタファイルはAMXで使用されるVEXエンコーディングで利用可能な最大16レジスタまで拡張されませんでした。

AMXのドキュメントでは将来的に検討していることとして言及されているため、ACEが存続すればいずれは実現すると予想され、その場合、この実験ではSMEの1024ビットストリーミングベクトル長実装と同等のパフォーマンスを発揮するでしょう。

ACEのタイルサイズの増加により、Intelは所定のL1D帯域幅レベルでより大きなMACアレイを実装できますが、AMXに対する利点はこの点では小さいでしょう。AVX-512レジスタをAとBの保持に使用しても、レジスタストレージ容量の大部分はタイルレジスタに集中しているため、タイルサイズはわずかに増加するだけです。それでも、ISA拡張による改善は歓迎すべきです。データ移動は現代のコアではかなりの電力を消費します。

例えば、Zen 5は、ベクトルユニットに完全に電力を供給し、最大L1D帯域幅を維持する必要がある場合、クロックを低下させます。したがって、ACEは、L1Dアクセスが少ないことでブーストクロックが高くなる場合、計算バウンドシナリオでパフォーマンスを向上させることができます。ACE実装に、メモリ階層の下位レベルからタイルをストリーミングする速度によってバウンドされるのに十分な計算能力がある場合、より少ないタイルで行列をカバーすることによる帯域幅の節約は、直接パフォーマンスの向上につながる可能性があります。

ACEタイルレジスタのその他の用途

ACEはAMXのタイルレジスタを変更しませんが、それでもタイルレジスタに興味深いユースケースを開く可能性があります。ACEのTILEMOVROWおよびTILEMOVCOLは、ベクトルレジスタとAMXタイルレジスタ間で行または列をコピーします。AMXではL1Dを経由する必要があったデータが、そうする必要がなくなったため、AMXタイルレジスタを汎用スクラッチパッドとして使用することがより現実的になります。理論的には、ソフトウェアはメモリに書き込む代わりにAMXタイルレジスタに値を格納して、L1データキャッシュの汚染を減らすことができます。AMXタイルレジスタからの値のコピーがL1Dロードとは独立したハードウェアパスを取る場合、タイルレジスタを使用することでL1D帯域幅の負荷を軽減できる可能性もあります。

実際には、タイルレジスタをスクラッチパッドとして使用するのは困難でしょう。タイルレジスタとベクトルレジスタ間のデータ移動は、L1Dアクセスが行うような最適化されたフォワーディングパスの恩恵を受けません。ACEハードウェア実装では、タイルからベクトルレジスタへのデータ移動のレイテンシが比較的長くなる可能性があり、パフォーマンスへの影響は最小限です。アキュムレータデータは、多くのタイル計算でその場に留まり、書き出される前に処理されるため、タイルレジスタからのデータ移動は比較的まれな操作であり、したがって最適化の重要性が低くなります。一方、長いレイテンシのスクラッチパッドロードは、依存する命令を頻繁に遅延させる可能性があります。

タイルレジスタの容量も制限となります。OpenCL 1.0を参考にすると、最低でも8KBのスクラッチパッドメモリ(ローカルメモリと呼ばれる)が必要ですが、これは初期のAMDおよびNvidia GPUのコアあたりのスクラッチパッドメモリに相当します。8KBはレジスタファイルとしては多いですが、スクラッチパッドメモリとしては少ない方です。最後に、AMXまたはACEを初期化するには、オペレーティングシステムがコンテキストスイッチ間で追加の8KBレジスタを保持する必要があり、コンテキストスイッチのレイテンシが増加する可能性があります。

したがって、タイルレジスタをソフトウェア管理のスクラッチパッドとして使用するアプリケーションは(もしあれば)多くないだろうと予想しています。レジスタをメモリにスピルするのはより簡単で、既存のすべてのCPUでサポートされており、パフォーマンスが向上する可能性さえあります。

最後に

ACEはArmのSME2と多くの類似点があります。これは驚くことではありません。ArmもOCP Microscaling Formats仕様のドラフトに参加したからです。両方のISA拡張は外積に焦点を当てており、スケーリングファクターの組み込みサポートを備えています。最大の Сdifferenceは、ACEがAVX-512の大きなベクトルレジスタを活用することに焦点を当てているのに対し、SME2はスケーラブルなベクトル長に焦点を当てていることです。各ISA拡張は、ある分野では利点を持ち、別の分野では困難に直面する可能性があります。AMD、Arm、Intelも、経験が増え、要件が進化するにつれて、ISAをさらに拡張する可能性があります。

ハードウェア設計は、最終的にACEを評価する上での大きな不確定要素です。ISA拡張がハードウェアでどのように実装されるかは、ISA設計よりもパフォーマンスと効率に far大きな影響を与えます。現時点ではACEのハードウェア実装は存在しないため、評価は不可能です。IntelとAMDは、次の世代のCPUで早期にACEをハードウェアでサポートすることを検討しているかもしれませんが、執筆時点ではそのハードウェアは利用できません。それらのハードウェア実装の品質が、最終的にACEがどれだけうまくいくかを決定することになり、その結果を見るのが楽しみです。