並列プログラミングの禅:カーネルの姿勢
The Zen of Parallel Programming: The Posture of a Kernel (smolnero.com)
要約
この記事は、GPUカーネルの並列プログラミングにおける「姿勢」について論じています。AMDのGPUアーキテクチャを例に、HipKittens論文で紹介された8-waveピンポン・スケジューリングを紹介し、計算とメモリ移動を交互に行うことで効率を高める手法を解説します。これは、禅の教えにある「独立と依存」の関係性や、過去の経験が現在の行動に与える影響にも通じるものとして考察されています。
全文翻訳
並列プログラミングの禅:カーネルの姿勢
[画像]
並列プログラミングの旅を続ける中で、私の注意はGPUカーネルへと移りました。そこで、HipKittens: Fast and Furious AMD Kernelsという論文を題材にするのが最良の場所でしょう。
GPUカーネルとは、GPU上で何度も起動される特殊な関数です。各起動は、自身の位置とデータの断片を受け取りながら、同じ一般的な操作に従います。カーネル自体は単純に見えるかもしれませんが、その実行はスレッド、ウェーブフロント、スレッドブロック、タイル、レジスタ、メモリ、そしてそれらすべての活動をまとめるアーキテクチャを通じて展開されます。論文で研究されているAMDのハードウェアでは、スレッドは64スレッドのウェーブにグループ化され、複数のウェーブがGPUのコンピュートユニット内のスレッドブロックで一緒にスケジューリングされます。
厳しい真実は、それが表現するスレッド、変換対象となるデータ、そしてその変換が物理的にどのように起こりうるかを決定するハードウェアに依存するということです。たとえ同じタイルベースの抽象化がNVIDIAからAMDに移行したとしても、HipKittensは、その抽象化を表現するために使用されるアルゴリズムはAMDのアーキテクチャに合わせて再設計する必要があることを発見しました。抽象化は移動するかもしれませんが、それを受け入れる条件によって無傷のままではいられません。
この論文の中心的な貢献の一つは、計算とメモリ移動をオーバーラップさせるために設計された8ウェーブのピンポン・スケジューリングです。8つのウェーブがスレッドブロック内に配置され、4つのSIMDユニットそれぞれに2つのウェーブが配置されます。各ペア内で、一方のウェーブが行列計算を実行し、もう一方が次のステージに必要なデータをプリフェッチします。その後、両者は役割を交換し、計算とメモリの間を行き来するのであって、どちらか一方のアイデンティティに永続的に固定されるわけではありません。
これは私を『禅心、初心者心』の「姿勢」の章へと引き戻しました。鈴木宗裕は、私たちを独立した存在であり、同時に依存した存在でもあると描写しています。「二つではなく、一つでもない」と。ペアになったウェーブは区別されたままです。一方は計算を行い、もう一方はメモリを移動しており、それぞれが独自の一時的な責任を負っています。しかし、どちらの役割も単独では完全な活動を説明できません。計算ウェーブはデータの到着に依存し、メモリウェーブはそれに続く計算を通じてその価値が可視化される作業を実行します。
私が最も興味を引かれるのは、どちらのウェーブもその役割に永続的に固定されないことです。一方が準備し、もう一方が行動し、そしてそれらは位置を交換します。それらの責任は現実的ですが、一時的です。より大きな活動は、各ウェーブがそのタスクを実行することだけでなく、関係性が異なるものを要求するときに、各ウェーブがそのタスクを解放できることにも依存します。おそらく、姿勢とは、私たちが占める位置だけでなく、その位置が変化する間に私たちが維持する関係性なのでしょう。
これは、並列プログラミングのより一般的な教訓、An Introduction to Parallel Programming に私を引き戻します。並列活動には、別々の作業が同時に発生するための十分な独立性が必要ですが、それらの別々の行動が1つの計算の一部であり続けるための十分な依存性も必要です。完全な独立性は、決して全体にならない孤立した作業を残すでしょう。極端な場合、すべての参加者が進歩する前に他のすべての参加者に依存する場合、並列移動は待機に崩壊するでしょう。
人間もまた、同じ緊張感のどこかに存在するのかもしれません。
私たちは、状況を完全に理解する前に、それに遭遇します。私たちは記憶を抱え、家族のパターン、期待、恐れ、そして時には依存症やうつ病への潜在的な素因さえも受け継ぎます。私たちは、元の状況が過ぎ去った後でも、体と心が特定の姿勢を保つように教える出来事を経験することもあります。これらの経験は現実であり、それらが過去に属していたという理由だけで、それらの影響を無視すべきではありません。
A role that once protected us may later prevent us from moving. A way of seeing that once helped us survive may eventually make every new condition resemble the one that created it. We may begin to believe that because the system learned to act in one way, it must always execute through the same posture.
人間はGPUカーネルではなく、トラウマを命令スケジューリングに還元することはできません。私が興味を引かれるのは、ある状況下で学習された姿勢が、状況が変わったときに利用可能な唯一の姿勢ではない可能性があるということです。
HipKittensは、抽象化の目的が認識可能であり続けても、それが異なる状況に入るときにその表現が変わる必要があるかもしれないことを私に思い出させます。答えは、新しいアーキテクチャが古いものと同一であると偽ることではありません。また、これまでのすべてを捨て去ることでもありません。仕事は、何が移動できるか、何が再編成される必要があるか、そして現在の実行において何がもはや属さないかを理解することです。
内面を見ることは、もはや存在しない状況下で形成された指示をまだ実行している私たちの部分を認識しようとする試みの一部なのかもしれません。それは、私たちの前の人生や経験を消し去るためではなく、それらの影響が私たちに利用可能な唯一の姿勢であり続けなければならないわけではないようにするためです。
過去はシステムの Счасть, но оно не всегда должно оставаться его планировщиком.