85.3 GFlops: AMD Zen 3コア単体でのFP32行列乗算の最適化
85.3 GFlops: Optimizing FP32 Matrix Multiplication on a Single AMD Zen 3 Core (github.com)
要約
本記事は、AMD Zen 3 CPUの単一コア上でFP32行列乗算(GEMM)のパフォーマンスを最大化するための詳細な最適化手法について解説しています。AVX2/FMA命令セットを活用し、キャッシュブロッキング、レジスタブロッキング、FMAチェイニング、パッキング戦略などを組み合わせることで、理論上のピーク性能の63.5%にあたる85.30 GFLOPSを達成しました。この成果は、既存の最適化ライブラリに匹敵する性能であり、低レベルのCPU最適化の可能性を示しています。
全文翻訳
🚀 AMD Zen 3単一コアでのFP32 GEMM 85.30 GFLOPS
C++のintrinsicsを使用したAVX2/FMAによる行列乗算の体系的な最適化を探求し、AMD Ryzen 5 5500上の理論上のピーク134.4 GFLOPSの63.5%を達成しました。
📖 概要
このリポジトリには、AMD Zen 3マイクロアーキテクチャの単一コアにおける単精度(FP32)行列乗算(GEMM)の最適化に関する詳細な研究のソースコード、結果、および分析が含まれています。以下の技術を組み合わせた28種類の異なる設定(モデルMX01からMX28)がテストされました。
- 3レベル(L1、L2、L3)でのキャッシュブロッキング(タイリング)
- レジスタブロッキング(2、4、8行)
- FMA命令の連鎖(chain1からchain6)
- パッキング戦略(パッキングなし、転置、B-pack on-the-fly)
- メモリ配置(32バイト)
- ソフトウェアプリフェッチ
- 非一時的ストア(ストリームストア)
最良のモデルであるMX24は、85.30 GFLOPSを維持し、単純な実装を56.5倍上回り、AMD AOCLやOpenBLASのような最適化されたライブラリのパフォーマンスに匹敵しました。
🏆 主要な結果
| モデル | 説明 | GFLOPS | ピーク比 |
|---|---|---|---|
| MX24 | 4行 + chain4 + B-pack (BK=256) | 85.30 | 63.5% |
| MX22 | 4行 + chain4 + B-pack (BK=128) | 84.10 | 62.6% |
| MX23 | 4行 + chain4 + B-pack (BK=64) | 82.93 | 61.7% |
| MX16 | 4行 + chain4 + 配置済み (パッキングなし) | 72.58 | 54.0% |
| MX20 | 4行 + chain4 + Bᵀ (転置) | 79.21 | 58.9% |
| MX18 | 4行 + chain4 + プリフェッチ | 79.75 | 59.3% |
ℹ️ 理論上のピークは
2つのFMAポート × 8つのフロート × 2つの演算 × 4.2 GHz = 134.4 GFLOPSとして計算されます。
🔬 方法論
評価された最適化技術
-
キャッシュブロッキング(タイリング)
BI、BJ、BKを調整して、ブロックがL1(32 KB)、L2(512 KB)、L3(16 MB)キャッシュ内に収まるようにしました。- 最適な
BKは256であることが判明しました。これは、L2をオーバーフローさせずにブロックの再利用を最大化します。
-
レジスタブロッキング
CのアキュムレータはYMMレジスタ(16個利用可能)に保持されます。- 4行が最適なバランスを提供しました。これはスピル(追加の16レジスタが必要)を必要としますが、
Aの再利用がコストを相殺します。
-
FMA命令の連鎖
- Zen 3におけるFMA命令のレイテンシは4サイクルです。chain4(4つの独立したアキュムレータ)は、このレイテンシを隠蔽し、2つのFMAポートの最大利用率を達成します。
-
パッキング
- B-pack on-the-fly:
Bのブロック(BK×BJ)を連続したバッファにコピーし、非連続アクセスを連続アクセスに変換します。 - 完全な転置(L3を汚染する)や直接アクセス(TLBミスに苦しむ)よりも優れています。
- B-pack on-the-fly:
-
配置
_mm_malloc(..., 32)によるアロケーションで、vmovaps(配置済み)命令の使用を可能にし、約5%の性能向上をもたらしました。
-
プリフェッチ
_mm_prefetchの使用は、Zen 3のハードウェアプリフェッチャーがストリーミングパターンに対して既に効率的であるため、パフォーマンスを約8%低下させました。
-
非一時的ストア
_mm256_stream_psは壊滅的(1.24 GFLOPS)でした。なぜなら、Cは読み取り・変更・書き込みであり、各ストア命令はキャッシュラインを無効化し、DRAMからの再ロードを強制するためです。
📂 リポジトリ構造
zen3-gemm/
├── README.md
├── src/
│ └── mx85.c # 全28モデル+ベンチマークを含む完全なコード
├── docs/
│ ├── artigo_en.tex # 完全な科学論文(LaTeX)
│ └── resultados/ # ベンチマーク出力ログ
│ ├── mx85_benchmark.txt
│ └── mx85_output8.txt
└── build/
└── Makefile # (オプション)簡単なコンパイル用
⚙️ コンパイルと実行
前提条件
- プロセッサ: AVX2およびFMAをサポートするもの(例: AMD Zen、Intel Haswell以降)
- オペレーティングシステム: Windows(10/11)またはLinux
- コンパイラ: GCC 12.2以降(WindowsではMinGW-w64)またはAVX2 intrinsicsをサポートする同等のもの
- メモリ: 2048×2048の行列(3つの行列で約48 MB)を処理するのに十分な容量
GCC(Windows/MinGWまたはLinux)でのコンパイル
src/ディレクトリで、以下を実行します。
gcc -O3 -mavx2 -mfma -march=native -funroll-loops -frename-registers -o mx85.exe mx85.c
重要なフラグ:
-mavx2 -mfma -march=native– SIMD命令を有効にし、現在のCPUに最適化します。-funroll-loops– 内部ループを展開します。-frename-registers– レジスタ割り当てを改善します(スピルを削減します)。
実行
./mx85.exe
プログラムは以下の処理を行います。
- スレッドアフィニティをコア0(Windows)に設定し、優先度を高くします。
- 各モデルを3回(ウォームアップ)+ 15回測定します。
- 2つの出力ファイルを生成します。
mx85_benchmark.txt– 完全なランキングと検証結果。mx85_validate.txt– リファレンス実装との最大誤差。
カスタマイズ
特定のモデルのみをテストしたい場合は、main()関数を変更して直接目的の関数を呼び出すことができます(例: mx24(A, B, C, N))。または、他のサイズの行列をテストするには、定数Nを変更します(約230行目)。
📊 完全な結果表
以下は、テストされた28モデルすべて、測定されたGFLOPS、および理論上のピークに対する割合です。
| 位置 | モデル | 説明 | GFLOPS | ピーク比 |
|---|---|---|---|---|
| 1 | MX24 | 4行 + chain4 + B-pack BK=256 | 85.30 | 63.5% |
| 2 | MX22 | 4行 + chain4 + B-pack BK=128 | 84.10 | 62.6% |
| 3 | MX23 | 4行 + chain4 + B-pack BK=64 | 82.93 | 61.7% |
| 4 | MX25 | 4行 + chain4 + B-pack + プリフェッチ | 83.15 | 61.9% |
| 5 | MX20 | 4行 + chain4 + Bᵀ (転置) | 79.21 | 58.9% |
| 6 | MX18 | 4行 + chain4 + プリフェッチ | 79.75 | 59.3% |
| 7 | MX17 | 4行 + chain4 + パッキングなし | 78.80 | 58.6% |
| 8 | MX16 | 4行 + chain4 + 配置済み | 72.58 | 54.0% |
| 9 | MX15 | 4行 + chain3 + B-pack | 62.34 | 46.4% |
| 10 | MX14 | 4行 + chain2 + B-pack | 55.76 | 41.5% |
| 11 | MX13 | 2行 + chain4 + B-pack | 53.58 | 39.9% |
| 12 | MX12 | 2行 + chain3 + B-pack | 50.56 | 37.6% |
| 13 | MX11 | 4行 + chain2 + 配置済み | 47.15 | 35.1% |
| 14 | MX08 | 2行 + chain4 + BK=128 | 45.04 | 33.5% |
| 15 | MX07 | 2行 + chain3 + Btなし | 43.52 | 32.4% |
| 16 | MX05 | 2行 + chain2 + Bt | 41.93 | 31.2% |
| 17 | MX19 | 4行 + chain5 + 配置済み | 42.07 | 31.3% |
| 18 | MX06 | 2行 + chain1 + プリフェッチ | 42.54 | 31.7% |
| 19 | MX04 | 4行 + chain1 + Bt | 40.04 | 29.8% |
| 20 | MX03 | 2行 + chain1 + Bt | 39.34 | 29.3% |
| 21 | MX02 | 2行 + chain1 + j-block | 37.60 | 28.0% |
| 22 | MX01 | Bt + 2Dタイリング + 8acc (ベースライン) | 35.16 | 26.2% |
| 23 | MX10 | 4行 + chain6 + Bt | 14.26 | 10.6% |
| 24 | MX26 | 8行 + chain4 + B-pack | 12.24 | 9.1% |
| 25 | MX28 | 4行 + chain4 + dual16 | 13.75 | 10.2% |
| 26 | MX27 | 4行 + chain4 + C-in-regs | 9.13 | 6.8% |
| 27 | MX09 | BI=128, BK=256 + chain4 | 8.38 | 6.2% |
| 28 | MX21 | 4行 + chain4 + ストリームストア | 1.24 | 0.9% |
🔍 主要な失敗の分析
| モデル | 技術 | GFLOPS | 原因 |
|---|---|---|---|
| MX21 | 非一時的ストア | 1.24 | Cは読み取り・変更・書き込みであり、各ストア命令はキャッシュを無効化し、DRAMからの再ロードを強制します。 |
| MX26 | レジスタ内の8行 | 12.24 | 64個のYMMレジスタが必要ですが、48個がスピルされ、実行時間を支配します。 |
| MX27 | k-block経由のC-in-regs | 9.13 | アキュムレータを多くのイテレーションで生存させ、レジスタ圧力を高めます。 |
| MX09 | BI=128, BK=256 | 8.38 | ワーキングセット(128×256×4 = 128 KB)がL1を超え、多くのミスを引き起こします。 |
| MX10 | Chain6 | 14.26 | チェーンが長すぎ、レジスタ不足により過剰なスピルが発生します。 |
🧪 検証
すべてのモデルは、リファレンス実装(単純なijk)に対して検証されました。上位3モデル(MX24、MX22、MX23)は、累積順序が保持されているため、最大絶対誤差=0.0(ビット単位で同一)を示しました。他のモデルは、浮動小数点演算で予想される範囲内である1e-6程度の誤差を示しました。
📚 引用方法
この作業を研究で利用する場合は、関連する論文を引用してください。
@article{housl2025gemm,
title={85.30 GFLOPS Single-Core FP32 Matrix Multiplication on AMD Zen 3},
author={Housl},
journal={arXiv preprint},
year={2025}
}
🤝 貢献
貢献を歓迎します!改善点、新しいモデル、または他のアーキテクチャへの適応について、issueやpull requestを自由に提出してください。
📄 ライセンス
このプロジェクトはMITライセンスの下で提供されています。これは、著作権表示と許可通知を保持している限り、ソフトウェアのコピーを自由に使用、コピー、変更、マージ、公開、配布、サブライセンス、および/または販売できることを意味します。完全な条件については、LICENSEファイルを参照してください。
📧 連絡先と著者情報
著者: Lucas Lima Freitag
E-mail: freitag.lima@academico.ifrn.edu.br
役割: 著者
所属: Federal University of Rio Grande do Norte (UFRN)
ORCID: 0009-0006-8849-5619
最適化を楽しんでください!🚀 質問、提案、または独自の成果を共有したい場合は、お気軽にご連絡ください。