GPUがメモリを読み取るときに何が起こるか
What happens when a GPU reads memory (blog.doubleword.ai)
要約
この記事は、GPU(ここではRTX 4090)がグローバルメモリからデータを読み取る際のハードウェア内部の経路を詳細に解説しています。CUDAカーネルのロード命令(LDG.E)が、レジスタファイル、オペランドコレクター、コーレッサー、L1キャッシュ、TLB(Translation Lookaside Buffer)、L2キャッシュ、そして最終的にはDRAMへと至る複雑な旅を追います。各段階でのレイテンシや、仮想アドレスから物理アドレスへの変換プロセス、キャッシュヒット/ミスがパフォーマンスに与える影響についても触れられており、GPUの低レベルな動作原理の理解を深める内容となっています。
全文翻訳
GPUがメモリを読み込むとき何が起こるか
前回の投稿では、ベクター加算カーネル(c[i] = a[i] + b[i]、floatごとに1スレッド)を、nvccからワープまで詳細に追跡しました。カーネルの起動方法については多くの詳細を説明しましたが、省略した部分も多くありました。
今回は、その省略部分を補い、クリティカルなSASS命令(グローバルロード)がハードウェア内をどのように通過していくかを追跡します。ここでは、私のデスクの下にあるRTX 4090を使用します。このようなリバースエンジニアリングは、少なくとも原理的にはパフォーマンス上の理由で行われます(その優れた根拠については、Citadelマイクロベンチマーキング論文の「なぜこれらの詳細が重要なのか」を参照してください)。よりプロダクションに近いGPUで同様の作業を行った結果については、今後の投稿にご期待ください。この経路の詳細の多くはNVIDIAによって文書化されていません。少なくとも、私たちが望むレベルでは。そのため、ハードウェア自体でタイミング実験を実行して特定します。
調査対象のCUDAカーネルは、その関数本体に2行しかありません。
__global__ void vadd(const float* a, const float* b, float* c, int n) {
int i = blockIdx.x * blockDim.x + threadIdx.x;
if (i < n) c[i] = a[i] + b[i];
}
コンパイルされたSASSを調べると、これらの行を駆動する命令が表示されます。
/*0080*/ IMAD.WIDE R4, R6, R7, c[0x0][0x168] ; // &b[i]
/*00a0*/ LDG.E R4, [R4.64] ; // b[i]
これらの命令は、ベクターbの要素をグローバルメモリからレジスタにロードするために使用されます(aの要素への加算のため)。1つのLDG.Eは32レーンで4バイトを要求します。これを処理するには、4つの32バイトセクター、1つのキャッシュライン、1つのアドレス変換、クロスバーの通過、36個のL2スライスの一つ、そしてどこにもヒットしなかった場合は、DRAMチップでのアクティベートと4つのカラムリードが必要です。この命令がハードウェアを通過し、戻ってくる旅を追ってみましょう。
状況設定として、私たちのワープはSMの4つのサブパーティションの1つに、他の11個の常駐ワープと共に存在します。各サイクルで、サブパーティションのスケジューラは、利用可能なワープの中から1つを選択し、その次の命令を32レーン全体に一度に発行します。私たちのワープは2回勝ちます。1回目はIMAD.WIDEのため、そして数サイクル後(アドレスがR4とR5に配置された後)はLDGのためです。
私たちの物語はLDGから始まります。
ワープからL1キャッシュへ
命令から始めましょう。LDG.E R4, [R4.64]は、レジスタR4とR5に格納されている64ビットアドレスから32ビットをグローバルにロードし、結果をレジスタR4に格納します(R5は.64アノテーションのために現れます。レジスタは32ビットサイズです)。データ自体をロードするには、まずそのアドレスをこれらのレジスタから取得する必要があります。
レジスタファイルの1行は、32レーンすべてで一度にR4を保持します(読み込みは最初にオペランドコレクターにステージングされます。ステージングは、ソースがレジスタファイルの同じバンクを共有する命令のためにあります。バンクは1サイクルあたり1回の読み込みを提供するためです。2つのバンクがあり、レジスタ番号の下位ビットで選択されるため、隣接するペアは常に両方をまたぎます)。別の行がR5を保持します。ワープは両方のエントリを読み込み、32個の個別の64ビットアドレス、レーンごとに1つのアドレスとして256バイトを読み出します。
レジスタ取得のコスト
アドレスの読み込みは最大で1サイクル追加されます。レジスタからアドレスを取得する共有メモリロードは、発行から最初の使用まで24サイクルかかります。アドレスが即値の場合は同じ負荷で23サイクルです(LDGは即値を取れません)。
すべてのアドレスが解決されると、命令はロード/ストアユニット(LSU)に発行されます。LSUは命令とそのオペランドアドレスを受け取り、いくつかのアドレス演算(必要であれば)を実行します(このユニットは即値オフセットを追加できます([R4.64]には追加するオフセットがありません)、ロードのスコープを設定できます(LDGはグローバルウィンドウを直接指定します))。そして、オペコード(バイナリで「これらのアドレスをロード」)と、アクティブなレーンの32ビットマスク、計算されたアドレス、そして結果が格納されるレジスタ番号を送信します。次の宛先はコレアレッサーです。
各レーンの各LDG.E命令は4バイトを要求しますが、次の宛先であるL1キャッシュは32バイトのセクター単位でアドレス指定されます。コレアレッサーの仕事は、4バイトのリクエストを処理するために取得する必要がある最小限のL1セクター数を計算することです。
コレアレッサーは、ワープが要求した128バイトを処理するために、4つの連続したセクターリクエストを発行すべきだと判断します1。
L1キャッシュへの進入
4つの連続した32バイトセクターのリクエストはL1キャッシュに送信されます。
L1キャッシュの組織単位はさらに細かく、128バイトのラインです。私たちの4つの連続したセクターは、単一ラインの4つの部分を表すため、そのキャッシュラインへのリクエストがL1に対して行われます。
まず、そのラインが既にキャッシュにあるかどうかを確認する必要があります。キャッシュはセットと呼ばれるグループに分割されています(技術的には、4090のL1キャッシュは4ウェイセットアソシアティブです。キャッシュは、完全にアソシアティブ(どのキャッシュラインもキャッシュ内のどこにでも格納できる)と「ダイレクトマップ」(各キャッシュラインは1つの場所にしか格納できない)の間の連続体にあります)。ラインのアドレスはそのラインが属するセットを決定します。このカード上のセットは4つのスロット2を保持し、それぞれがラインを識別するタグを持っています。ルックアップは、要求しているラインのタグと4つすべてを比較します。使用されるアドレスは、プログラムで使用される仮想アドレスです(おそらく、L1ヒットのために変換コストを支払う必要がないようにするためです)3。ラインが配置されるセットは、ラインの仮想アドレスからハッシュスキームによって生成されます。これはリバースエンジニアリング可能です4。
4つのタグのうち1つが一致し、要求しているセクターがそのスロットにある場合、データが読み出され、ロードが完了します5。初めてデータをロードするため、私たちのリクエストはミスし、メモリシステムをさらに下位に降りる必要があります。
L1ヒットのコスト
L1ヒットは約15.4ナノ秒(40サイクル)で返されます。この数値は、1つのスレッドが依存チェーンをL1に常駐するラインのランダムな順列を通して追跡した結果です。レイテンシチェイスを参照してください。
L2の探索:変換
仮想メモリは、プログラムが指定するアドレスと、ハードウェアがデータを格納するアドレスの間に1レベルの間接参照を置きます。プログラムは独自の連続した空間を取得し、ハードウェアはその空間を物理ページに自由に配置します。変換はそれらの間のマッピングです。
先ほど話したL1は仮想アドレス指定だったので、変換を気にする必要はありませんでした。ここからは、ハードウェアの言語を話す必要があります。L1ミスは、SM6を出る前に変換される必要があります。
物理アドレスと仮想アドレスの実際のマッピングは、ドライバでの割り当て時に確立されます。bが割り当てられたとき、ドライバはそれに物理(2MiB)ページを選択し、VRAMにページテーブルを書き込んで割り当てを記録しました7。
変換ユニットは仮想アドレスを受け取り、それらのテーブルに従って物理アドレスを返します。SMは、ワープ間で共有されるTLBに、最も最近の16個の変換を保持しています8。最初のロードはこのTLBでミスします。
変換のコスト
プローブのいずれでもTLBヒットのコストを確認できません。ミスは、約4.4ナノ秒(11サイクル)かかります。同じリフィルコストは、このチップがマッピングできるすべてのページで0.1ナノ秒以内に収まり、どのSMからでも同様なので、変換キャッシュの次のレベルは普遍的で非常に安価です。
変換が実行されると、128バイトラインごとに1つのリクエストが残ります。これには、セクターのマスクとともに、ラインの物理アドレスが含まれます。私たちのリクエストは、すべての4つのセクターがマークされた単一のリクエストです9。
リクエストはSMを出て、クロスバーを通過し、L2キャッシュに向かいます。
L2での迷走
リクエストはクロスバーを横切り、36個の2MiB L2スライスのうちの1つにルーティングされます。このスライスは、物理アドレスのやや複雑な関数によって選択されます10。どのSMもどのスライスにもヒットできます。すべてのスライスは並列にサービスを提供できるため、集約帯域幅は単一スライスの36倍になります。
スライス内の構造はL1と同じ種類です。各スライスは1024個のセットを保持します。ラインが属するセットは、ラインの物理アドレスのハッシュによって選択されます。各セットには16個のスロットがあります。スライスは個別に16ウェイセットアソシアティブです11。ラインはL1と同じく128バイトです。
ラインはL2に存在しません。以前にフェッチしたことがないためです(これは芸術的な表現かもしれません。PCIe経由でホストメモリからbベクターをロードすると、L2にキャッシュされる可能性があります。しかし、そうするとDRAMまで降りていくことができません!)。各スライスは、12個のメモリコントローラーのいずれかにフォールスルーします。コントローラーあたり3スライスです。各メモリコントローラーは、単一のGDDR6X DRAMチップと通信する役割を担います12。私たちのリクエストはそのコントローラーに引き渡されます。
コストは?
L2ヒットは約127ナノ秒(約330サイクル)かかります。各SMは、サイクルあたり最大2つのラインリクエストをクロスバーに渡すことができ、36個のスライスは独立してサービスを提供します。出口ポートカウンターはl1tex__m_l1tex2xbar_req_cycles_activeです。
DRAMでの発見
メモリコントローラーの仕事は、2GiB DRAMチップからデータをロードすることです。これは、バスを介してDRAMにコマンドを発行することによって行われます。
DRAMは、コントローラーが独立して駆動する2つの別個のバス、すなわちチャネルに分割されています。各チャネルには16個のバンクがあります。これはメモリセルの2次元配列です。バンクは65,536個の行で構成されています。ハードウェアは一度に1つの行を開くことができます(アクティベート、高価)、そしてその行から任意の32バイトのカラムを返すことができます(行が開いている間は読み込み、安価)。
GDDR6X
チャネル0・1GiB
チャネル1・1GiB
1つのバンク・65,536行の1KiB
...1行・1KiB・32バイトの32カラム
アドレスは、このメモリ構造に一致するように、もう一度分解されます。チャネル、バンク、行、カラムが選択されます。私たちの4つのセクターは、1つの行の4つのカラムです13。
したがって、ロードをサービスするために、メモリコントローラーはまず1つのアクティベートコマンドを送信し、次に4つの読み込みコマンドを送信する必要があります14。
DRAMチップはこれらのコマンドにどのように応答するのでしょうか?
各DRAMセルは、1つのトランジスタの後ろにある1つのコンデンサです。行のトランジスタはゲートに接続されたワードラインを共有します。各トランジスタは、コンデンサとビットラインの間に位置します。ビットラインはカラムに沿って走り、各セル(他の行のセルと共有される)からセンスアンプへのパスを提供します。ビットはコンデンサの電荷状態に格納されます。コンデンサは常に電荷を漏らすため、チップは時々各バンクを一時停止して充電する必要があります。
DRAMの構造。行をクリックすると行デコーダーとして機能し、コンデンサからビットラインへの電荷を放出し、行バッファに送ります。
ビットライン
行デコーダー
ワードライン
アクティベートコマンドは行デコーダーをトリガーし、その行のワードラインを駆動して、行のトランジスタを開き、その行(およびその行のみ)のコンデンサからの電荷をビットラインを通してセンスアンプに送り込みます。センスアンプは、その電荷をフルレールビットに増幅し、コントローラーが読み取るために保持します。
読み込みが発行されると、そのカラムアドレスはこれらの行ビットのうち256個を選択します。センスアンプからの読み込みは一度に多くのビットを提供しますが、それらをデータバスを介して戻すピンにシリアル化する必要があります。チャネルあたり16個のデータピンがあります。私たちの読み込みの256ビットは、PAM4シンボルとしてこれらのピンから出発します(GDDR6XはGDDR6標準で、このPAM4シグナリングが追加されています)。各シンボルは4つの電圧レベルのいずれかであり、2ビットを運びます。したがって、16ピンあたりの256ビットは、ピンあたり16ビット、つまり8シンボルです。クロックは共有ワイヤーに沿って送信されるため、コントローラーは正しいエッジでサンプリングできます。
帰り道
これらのPAM4バーストはメモリコントローラーでデシリアライズされ、L2スライスのラインに書き込まれます。結果はクロスバーを逆方向に走り、SMに戻り、L1スロットを埋めます。それらは、それらが離れたときに残された記録と合流し、そのバイトはすべてのレーンにわたってレジスタR4に書き込まれます。
ロードが発行されたとき、依存関係のバリアが設定され、このレジスタ書き込みがそれをクリアします。ワープは再び利用可能になり、スケジューラの次のサイクルでアービトレーションに勝ちます。発行される命令は、b[i]を待っていた加算です。
往復(L1、TLB、クロスバー、L2、コントローラー、そして戻る)は、約255ナノ秒(約660サイクル)かかります。その間ずっとワープはバリアで待機していました。しかし、チップの残りの部分はアイドル状態ではありませんでした。サブパーティションは、他の11個のワープに対しても同じロードを発行し、SMの残りはさらに36個、他のSMは残りの6096個に対してロードを発行しました。結果として、ロードの不協和音が生じ、個々のロードのレイテンシはノイズの中に失われます。それがどのように見えるかは次のとおりです。
vaddカーネル内のbのロードに対応する命令のみの実行のタイミング比例シミュレーション。各SMは、実際のカーネルでロードするアドレスのみをロードします。それらのアドレスは、正しいL1セットで点灯(およびミス)し、クロスバーを介して正しいL2スライスにルーティングされ、そこでミスして、シミュレートされたDRAMバンクにフォールスルーする正しく競合したメモリコントローラーを通過し、L2を通過してL1を通過して戻り、正しいレジスタに結果を返します。
bのロード
SM(128個)、L1セットあたり1ピクセル
クロスバー
L2(36スライス、コントローラーあたり3個)、セットあたり1ピクセル
メモリコントローラー(レベルは瞬間的なスループット)
MC
MC
MC
MC
MC
MC
MC
MC
MC
MC
MC
MC
GDDR6X、12チップ、32バンク
アクティベート
行オープン
プリチャージ
リフレッシュ
インフライト 0
リタイア 0
アクティベート 0
リフレッシュ 0
GB/s 0
付録:プローブ
セットアップ
すべての測定は、1つのRTX 4090(sm_89)で、コアクロックを2.6 GHzにロックして行われました。サイクルは、その周波数での測定されたナノ秒から計算されます。2つの主要な測定器があります。
レイテンシチェイス。 レイテンシ測定(特にレイテンシが変化してチップについて何かを教えてくれる場合)を得るために、選択されたラインのセットを20,000回ホップするポインタサイクルを実行し、ホップあたりの平均ナノ秒を測定します。ホップ先のラインがキャッシュレベルに収まる場合、それらは常駐し続け、平均はそのレベルのヒットレイテンシになります。階層の急峻さのため、次のレベルにオーバーフローするロードは平均に強く現れる傾向があります。ld.global.ca(LDG.E…STRONG.SM)はL1でのチェイス用、ld.global.cg(LDG.E…STRONG.GPU)はL1を越えるチェイス用です。ヒットレイテンシは、L1で15.4 ns、L2で127.4 ns、DRAMで255.4 nsです。
ハードウェアカウンター。 ncuのカウンターを信頼性高く読み取るには、反復回数に対するスロープとして取得する必要があり、固定オーバーヘッドが相殺されます。L1出口ポートとL2側のセクターおよびリクエストカウンターは、リクエストの形状についてさらに理解するために使用され、スライスごとのセクターカウンターはL2スライス測定値の取得に役立ちます。
L1セット関数
L1インデックスの8ビットは、アドレスビットの固定サブセットのXORです。ビットマスクとしてアドレス上に記述すると、これらのサブセットの1つの基盤は次のようになります。
| ビット | マスク | ビット | マスク | |
|---|---|---|---|---|
| 0 | 0xc3901e00 | 4 | 0x47810400 | |
| 1 | 0x119a80a00 | 5 | 0x1b4e09180 | |
| 2 | 0x167041b00 | 6 | 0xb6405400 | |
| 3 | 0xdbc21d80 | 7 | 0xdc202c80 |
マスク自体は一意ではありません。これらの8つの任意の可逆な組み合わせは、同じパーティションを表します。
ページテーブルとTLB
16エントリのTLBは最初のレベルにすぎませんが、ミスした場合はどうなるでしょうか?ミスは、約4.4ナノ秒でリフィルされ、L2ヒットは127ナノ秒、VRAMアクセスは255ナノ秒なので、それらから来ることはできません。推測されるのは、より大きなオンチップ変換キャッシュから来ているということです。
コストは、チップがマッピングできるすべてのページで0.1ナノ秒以内に平坦であり、どのSMからでも同様です。さらなる証拠:nvdebugでページテーブルをウォークすると、すべてのディレクトリエントリで揮発性ビットが設定されていることがわかります。そのため、通常の階層にはキャッシュされていません。
L2スライス関数
どのスライスがラインを所有しているかを測定するのは非常に困難です。L2は物理的にインデックス付けされているため、プローブはページテーブルウォークからのデバイス物理アドレスで作業する必要があります。Nsight Computeにはスライスごとのセクターカウンターがありますが、36個のインスタンスの最小値、最大値、平均値、合計値のみを報告し、実際のインデックスは決して報告しません。
それでも、集約値は2つのアドレスがスライスを共有しているかどうかを判断するのに十分です。2つのアドレスが同じスライス上にある場合、両方をロードした後、最大カウンターは2を報告し、異なるスライスにある場合は1を報告します。このプローブを使用して、36個のスライスすべてに着地する代表的なアドレスを取得できます。
36個の代表アドレスがあれば、任意の新しい候補のスライスを取得できます。候補を36個すべてと同時に、各アドレスを異なる回数(例えば20001、20002…回)読み込むと、候補の読み込み回数と代表アドレスのうちの1つの合計が最大カウンターと一致し、推測によってスライスを特定できます。
それから、多くの物理アドレスとスライスのペアのテーブルを作成できます。難しいのは、そのようなテーブルから物理的に妥当な関数に移行することです。私たちを少し助けたツールは、同じダイ上に構築された2つの異なるチップ(4090とL40S、L40Sはメモリコントローラーあたりに追加のスライスを持っています)で同様の実験を実行することでした。
以下はClaudeが以前作成したものです(ハードウェアに実際に何があるのかを確信するのは難しいですが、私の限られた知識ではこれはもっともらしいです。前提:NVIDIAが同じレイアウトのチップで完全に異なる機能パスを出荷しないと仮定すると、L40Sと4090の間には共有されたシリコンがあるはずです。そして、関数はハードウェアでは比較的単純である必要があります。つまり、XOR、算術演算などは許容されますが、Claudeが4096エントリのルックアップテーブルを挿入しようとした場合は、もっと頑張るように伝えます)。
SHIFT, OFFSET = (5, 0, 1), (1, 0, 0)
def parity(x):
return bin(x).count("1") & 1
def _state(a, N):
wide = (N == 48) # L40S: 4 slices/controller, and it reaches bit 35
b35 = (1 << 35) if wide else 0
# stage 1 — which of the 12 controllers: two parities and a mod-3 digit
P1c = parity(a & 0x76A990400) # controller parity 1 (narrow; used on both chips)
P1 = parity(a & (0x76A990400 ^ b35)) # wide form, only needed for the L40S read-out
P2 = parity(a & 0x2CCF7B000) # controller parity 2
A = ((a >> 15) + 2*parity(a & 0x3C9041000) + parity(a & (0x2882B0800 ^ b35)) + 2) % 3 # mod-3 digit: (a>>15) + 2 corrections
# stage 2 — which slice inside the controller: a 9-position cyclic counter
g = ((a + (1 << 16)) >> 17) % 9 # the counter value, round(a / 2^17) mod 9
q0 = parity(a & 0x8000) # four correction parities
q1 = parity(a & 0x5985E0500)
q2 = parity(a & (0x2354E4400 ^ b35))
q3 = parity(a & 0x3C9041000)
carry = 1 if q0 + q1 + q2 >= 2 else 0 # q0,q1,q2 as a full adder: the carry (majority)...
start = (5 + 7*q0 + 5*q1 + 2*q2 + q3 - carry) % 9 # ...sets where the counter starts
o = (g - SHIFT[A] - start) % 9 # position within the 9-cycle
Lf = 2 if (q0 ^ q1 ^ q2) == 0 else 1 # ...and their XOR sets where it splits
return P1c, P1, P2, A, q2, o # 3, (1 if (o % 3) >= Lf else 0) # d = o // 3, u = the split bit
def slice_of(a, N=36):
P1c, P1, P2, A, q2, d, u = _state(a, N)
controller = (2*P1c + P2) * 3 + A # 0..11
if N == 36: # 4090: 3 slices live, read (d, u) as three arcs of Z/9
base = 2 if d == 0 else (1 if (d == 1 and u == 0) else 0)
B = ((1 - base) % 3 if q2 else base) % 3 # q2 flips the arc order
B = (B + OFFSET[A]) % 3 # per-controller offset
return controller * 3 + B
if N == 48: # L40S: 4 slices live, read u as two index bits
i0, i1 = P1 ^ q2 ^ u, P1 ^ P2 ^ u
return controller * 4 + 2*i0 + i1
raise ValueError("N must be 36 or 48")
このような関数を見つけるのは非常に困難ですが、機能する関数を見つけたかどうかを判断するのは非常に簡単です。8,192個のL2常駐ラインを正確にk個の予測されたスライスから描画します。
| 描画されたライン数 | Mload/s | vs k=1 |
|---|---|---|
| 1つの予測スライス | 1,957 | 1.00× |
| 2 | 3,917 | 2.00× |
| 4 | 7,826 | 4.00× |
| 9 | 17,582 | 8.98× |
| 18 | 34,446 | 17.60× |
| 全36 | 68,085 | 34.78× |
L2セットインデックスとジオメトリ
スライス関数がアドレスを特定のスライスにピン留めしたら、L1の場合と同じように、そのスライスでキャッシュ考古学を同じ方法で行うことができます。ただし、特定のスライスにマッピングされるアドレスのみを使用できるという注意点があります。詳細は付録にあります。これは16ウェイセットアソシアティブであることがわかります(17要素のチェイスはスラッシングしますが、16要素ではスラッシングしません)。
スライス内のセットインデックスは、L1と同じ種類のパリティ関数です。10ビットで、最上位ビットに同じ(a >> 15) % 9非線形性があります。残念ながら、関連するマスクはスライスによって異なります。あるスライスの場合は次のようになります。
def parity(x):
return bin(x).count("1") & 1
def set_index(a): # within one slice
q = a // 1152
b0 = parity(a & 0x0bd654c80) ^ parity(q & 0x00e500)
b1 = parity(a & 0x0bd654c80) ^ parity(q & 0x010000)
b2 = parity(a & 0x07aed8b80) ^ parity(q & 0x027c00)
b3 = parity(a & 0x03e313180) ^ parity(q & 0x045500)
b4 = parity(a & 0x03e313300) ^ parity(q & 0x080300)
b5 = parity(a & 0x0bd654e80) ^ parity(q & 0x104200)
b6 = parity(a & 0x0bd654c00) ^ parity(q & 0x200b00)
b7 = parity(a & 0x044dcb880) ^ parity(q & 0x401600)
b8 = parity(a & 0x000000200) ^ parity(q & 0x804600)
b9 = parity(a & 0x13bc21180) ^ parity(q & 0x006400) ^ int((a >> 15) % 9 in (2, 6))
return sum(b << i for i, b in enumerate([b0, b1, b2, b3, b4, b5, b6, b7, b8, b9]))
これには、チェックするためのいくつかのプロパティがあります。例えば、連続した72MiBは、予想通り、各スライスの各スロットをスラッシングなしで満たします。
DRAMリフレッシュ
DRAMセルは電荷を漏らすため、定期的にリフレッシュする必要があります。これにより、一部のタイミングプローブが難しくなります。依存関係のあるチェイスを実行し、各ホップのタイミングを共有メモリに書き込むことで、それを確認できます。ほとんどのDRAMアクセスは通常のレイテンシで返されますが、一部はより長くかかり、通常のレイテンシより最大約210 nsまで均等に広がります。そのような均等に配置された実行は、固定長の停止の署名です。停止は約210 nsです。アクセスの約2%がそれにヒットします。チップ全体を一度にヒットするわけではなく、もっと局所的ですが、単位は特定できませんでした。
脚注
- ハードウェアカウンターからある程度の可視性を得ることができます。4バイトを固定ストライドでレーンごとにロードする1ワープカーネルを設定します。
ncuで実行すると、「セクター/ロード」としてl1tex__average_t_sectors_per_request_pipe_lsu_mem_global_op_ld.ratioが報告されます。ストライド1では32レーンは128バイトの連続したバイトをカバーし、カウンターは4セクターを読み取ります。ストライドが広くなるにつれて、カウントはレーンが触れる個別の32バイトスパンの数に等しくなり、追加のセクターは要求されません。↩ - セット内のスロット数を数えるために、L1キャッシュよりもはるかに大きい候補ラインのプールを取り、サイクルでポインタチェイスします。設計上、プールはL1に収まらないため、各ラインはスラッシングし、レイテンシはL1レイテンシよりも高くなります。次に、メンバーを徐々に削除し、レイテンシを監視します。レイテンシが突然低下した場合、プール内に1つの完全なセットがあることがわかります(スラッシングしないため)。目標は、すべてがスラッシングする最小セットを見つけることです。そのセットからいずれかのアドレスを削除すると、L1アクセス速度に低下します。これは、エビクションセットを見つけるための標準的なプロセスです。↩
- キャッシュは仮想または物理のいずれかでインデックス付けおよびタグ付けできます。このL1は、インデックスとタグの両方に仮想アドレスを使用します。これは、1つの物理割り当てを2つの仮想アドレスにマッピングすることで確認できます。これは、番号のウェイを特定するために構築した最小コンフリクトセットで行います。最小コンフリクトセットのメンバーを、別のマッピングを介して見た同じ物理ラインに置き換えると、コンフリクトが解消されます。したがって、インデックスは仮想ビットから計算される必要があります(物理アドレス指定の場合、重複排除されます)。エイリアスをフルセットに戻すと、コンフリクトが復元されるため、エイリアスは独自の場所にスロットを占有し、タグも仮想です。↩
- 各8ビットのインデックスビットは、アドレスビットの固定サブセットの排他的論理和です。これらのサブセットを定義するマスクは付録にあります。これらのマスクを特定するには2つのプローブが必要です。2MiBページ内では、最小コンフリクトセットのメンバー間の違いが、アドレスビット7から20までのマスクを固定します。ページの上では、高いアドレスビットを1つ反転させ、ラインがどのセットに着地するかを読むことで、ビット21から32までの各ビットの寄与が得られます。正しい関数が得られたかどうかは、それを使用してエビクションセットを手動で構築することで確認できます(どのどのアドレスがどのセットに入るかを知っているため)。↩
- スロットは、セクターの一部のみが存在するラインを保持できます。ロードがミスした場合、L2に送信されるリクエストは、ワープが要求するセクターのみを指定します。
ncuのL2側カウンターは、レーンが触れるものを正確に追跡するリクエストあたりのセクター数を示し、フルラインへの丸めはありません。カウンターはlts__t_requests_srcunit_tex_op_readとそのt_sectorsカウンターです。↩ - L2が物理的にタグ付けおよびインデックス付けされていることを確認するには、1つの物理割り当てを2つの仮想アドレスにマッピングし、チェイスが仮想インデックスの両方を通して割り当て内のすべてのラインを訪問します。L2が仮想アドレスでラインをタグ付けしていた場合、エイリアス化されたチェイスは2倍のフットプリントを占有し、L2の72MiB容量エッジを半分以下のサイズで超えるでしょう(これは仮想アドレス指定キャッシュのトレードオフです。重複排除が得られないことです。マルチテナンシーでのタイミング攻撃にも脆弱ですが、ここでは関係ありません)。物理フットプリントを24MiBから128MiBまでスキャンすると、制御とエイリアス化されたチェイスは同じサイズでL2しきい値を超えます。したがって、変換はL2の前に行われる必要があります。↩
- nvdebugのようなツールを使用してGPUのページテーブルをホストからウォークすることで、GPUページテーブルを直接読み取ることができます。すべてのデバイスアロケータは2MiBページテーブルエントリで終了し、その横の4KiBテーブルは無効です。これは
cudaMalloc、cuMemAlloc、両方の粒度での仮想メモリAPI、およびマネージドメモリをカバーします。ピン留めされたホストメモリは例外で、システムアパーチャに4KiBエントリがあります。ウォーカーは付録にあります。オープンカーネルモジュールでは、マッピングパスはdmaAllocMappingであり、dmaUpdateVASpaceを呼び出し、次にmmuWalkMapを呼び出してエントリを埋めます。ウォーカーは、マッピングが最初に必要になったときに各ページテーブルレベルを割り当てます。↩ - TLBは完全アソシアティブで、16エントリを保持し、SMごと(ワープ間で共有)であり、最も最近使用されていないエントリを置き換えます。これは、さらに別のポインタチェイスで確認できます。今回は、2MiBページごとに1ラインです。16ページは127 nsのベースラインコストがかかります(L2ヒットレイテンシ、チェイスはL1をバイパスするため)が、17ページはスラッシングします。ページを1ブロックのワープに分散させると同じステップが得られるため、プールはSMごとであり、そのワープによって共有されます。17ページにわたるサイクリック訪問は、すべてのホップでミスし、これはLRUパターンです。テーブルは付録にあります。↩
- L1リクエストをカウンターから特定するのと同じロジックで、L2カウンターのみを使用します。↩
- 関数では、2つのアドレスパリティとモジュロ3の数字を使用してメモリコントローラーを選択します。これはフルAD102では4スライスで共有されますが、4090では3スライスのみです。4090はコントローラーあたり1スライスをフューズオフしています。その3つのスライス内では、モジュロ9の数字が特定のスライスを選択します。カードには12個のコントローラーがあります(384ビットバス、12 x 32ビット)。関数は測定によって回復されました。詳細は付録にあります。スライス関数を取得したら、スライスを共有するポインタからのロードが、すべてのスライスに分散するポインタからのロードよりも約36倍(スライス数)遅いことから、それが正しいかどうかを確認できます。↩
- 特定のアドレスを特定のスライスにマッピングする関数を特定したら、L1の場合と同じようにエビクションセットを使用してキャッシュ考古学を実行できます。ただし、特定のスライスにマッピングされるアドレスのみを使用できるという注意点があります。詳細は付録にあります。↩
- 12個のコントローラーの数は公開されています(384ビットバス、チップあたり32ビット)。スライスとコントローラーの関連付けは、スライス関数から読み出されます。その数字のうち3つは12個の値を取り、同じ3つの数字はL40Sでも変更されずに表示されます。L40Sは、コントローラーあたり4スライスすべてが有効な状態で同じシリコンを出荷します。因数分解は付録にあります。↩
- タイミングから行サイズを測定できます。DRAMチップは、同じ行にあるロードをサービスする方がはるかに高速であるため(異なる行の2つのアドレスは、行バッファを閉じて新しい行をアクティベートする必要があるため、コストが高くなります)、行が連続していると仮定すると、スイープによって行サイズを見つけることができます。32、64、96バイトのオフセットは常に1つの行内に収まるため、私たちの4つのセクターは1つの行の4つのカラムです。同じ測定器で、同じ行を共有するアドレスのセットを特定することもできます。252^5、262^6、272^7、292^9、および28⊕2142^8 \oplus 2^{14}の違いは行を保持するため、行は1KiB、つまり32バイトのカラム32個です。↩
- 新しい行をアクティベートするコストは、多くの読み込みをインフライト状態に保つことで測定できます。連続する読み込みが同じ行にある場合、追加の各読み込みは約3.4 nsかかります。各読み込みが新しい行を開く場合、コストは約15倍になります。一度に1つの読み込みしかインフライト状態にない場合、差はなくなります。なぜなら、次の読み込みが到着する前に行が閉じられるからです。↩