HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

MLSys向けモダンGPUプログラミング

Modern GPU Programming for MLSys (mlc.ai)

66 pointsby crowwork11 コメント

要約

本書は、現代のAIワークロードの根幹をなす機械学習システムにおけるGPUカーネルの高速化に焦点を当てています。読者はGPUハードウェアを理解し、プログラミングモデルを習得し、最先端のカーネルを段階的に構築する方法を学びます。特にBlackwell世代のGPUを対象とし、高速行列乗算(GEMM)とFlashAttentionを例に、データレイアウトや非同期データ移動・協調などの最適化技術を探求します。

全文翻訳

MLSysのためのモダンGPUプログラミング

MLSysのためのモダンGPUプログラミング#

機械学習システムは、今日の多くのAIワークロードを支えています。モデルが大規模化し、デプロイメント設定が複雑化するにつれて、エンドツーエンドのパフォーマンスは、少数の重要なGPUカーネルにますます依存するようになります。Attention、LLMのプリフィルとデコード、低精度ブロック・スケールドGEMM、融合MoEレイヤー、その他の大規模な融合カーネルは、トレーニングとサービングの両方の速度に直接影響します。

これらのカーネルを高速化するには、最適化テクニックのリスト以上のものが必要です。最新のGPUアーキテクチャは、より豊富なメモリ空間、新しいデータ移動メカニズム、そしてますます専門化された実行ユニットを導入しています。それらを効果的に使用するには、ハードウェアがプログラムをどのように実行するかを明確に理解することと、基本的なカーネルが高性能実装へと進化していく実用的な知識の両方が必要です。本書は、その両方を開発します。

本書は、ハードウェアからプログラミングモデル、そして完全なカーネルへと進みます。まずGPUの構成と実行を導入し、次に本書全体で使用されるプログラミングモデルを提示し、最後に高性能カーネルを段階的に構築します。主なターゲットはNVIDIA Blackwellであり、実行例はGeneral Matrix-Matrix Multiplication (GEMM) と FlashAttention です。その過程で、本書はGPU最適化の鍵となるアイデア、すなわちデータレイアウト、非同期データ移動、非同期コーディネーションを発展させます。

この教材は、カーネギーメロン大学のMachine Learning Systemsコースシリーズから派生したものです。例では、アイデアを研究、実行、検証できる TIRx Python DSL を使用しています。TIRx はハードウェアレベルの選択を明示的に保つため、実行可能なコードを扱いながら、制御フロー、メモリアクセス、同期について推論することが可能です。

本書はオープンソースです。GitHubリポジトリhttps://github.com/mlc-ai/modern-gpu-programming-for-mlsys を通じて、貢献、修正、例の追加を歓迎します。

本書の構成#

  • パートI、GPUの理解。 このパートでは、GPUの全体的な構成、高速カーネルを記述するための一般的なテクニック、データレイアウト、非同期メモリ操作、コーディネーションなどの主要な概念を紹介します。本書の残りの部分が依拠するハードウェアの直感を構築します。

  • パートII、TIRxの概要。 このパートでは、本書のコード例全体の基盤となるTIRxの主要な要素を紹介します。

  • パートIII、GEMM: タイリングからSOTAへ。 TMAパイプライン処理、永続スケジューリング、ワープ特殊化、2-CTAクラスタリングを通じて構築された、タイリングされたGEMMを最適化するための完全なガイドです。

  • パートIV、Flash Attention 4。 パートIIIのテクニックから構築された完全なAttentionカーネル:2つのMMAとそれらの間のソフトマックス、オンラインソフトマックスリシーリング、因果マスキング、GQA。

  • 付録。 TIRx言語リファレンス、再現可能なGPUベンチマークおよびプロファイリングワークフロー、コンパイラ内部、非同期カーネルのデバッグガイド。

パートIII、GEMM: タイリングからSOTAへ

パートIV、Flash Attention 4

付録