スレッド・レジスタ分離型GPU実行モデルによる効率的なテンソル計算

現代のGPUは、実行パイプラインにテンソルコアをますます統合しています。集計テンソル・スループットは、AmpereのレジスタベースからHopperおよびBlackwellの冗長性フリー・メモリベースへと進化したオペランド供給に支えられ、継続的に成長していますが、現代のAIワークロード全体でテンソル計算パイプラインを効率的にオーケストレーションすることは依然として困難です。 根本的なボトルネックは、固定された並列性と粗粒度のスケジューリングであると特定しました。これらは両方とも、GEMM（行列乗算）と多様な非GEMM演算が混在する現代のAIワークロードによって露呈されます。 テンソル計算を効率的にオーケストレーションするために、GPUのSIMT（single instruction, multiple thread）モデルを拡張する新しいアーキテクチャ、FIBERを提案します。その基本的な実行インスタンスである「ファイバー」は、プライベートレジスタの所有権から分離され、最小限の制御状態のみを保持しながら、SMのレジスタに共有ビューを通じてアクセスします。 これにより、動的な並列性スケーリング、細粒度なレジスタレベルのデータフロー・スケジューリングが可能になり、行列オペランド供給のための冗長性フリーな代替手段が提供されます。 共有レジスタ・アドレッシング、競合のないオペランド配信、およびファイバーベースのプログラムマッピングを実現するために、ISA（命令セットアーキテクチャ）、マイクロアーキテクチャ、およびコンパイラを拡張します。 典型的な混合精度LLMサービングシナリオにおいて、FIBERはAmpereで2.25倍のエンドツーエンド高速化（元のFP16計算では1.15倍）、HopperおよびBlackwellではそれぞれ1.8倍および2.09倍、カーネルレベルでは最大2.49倍の高速化を達成します。