命令パイプラインハザードの解剖
The Anatomy of an Instruction Pipeline Hazard (hiraditya.github.io)
要約
この記事は、Nvidia B200 GPUにおける命令パイプラインハザード、特にコンパイラがハードウェアの依存関係を誤って処理することによって発生する「アンダースタール」バグに焦点を当てています。著者は、静的解析だけでは不十分であり、実際のシリコン上で動作するマイクロベンチマークを通じてハードウェアの正確なレイテンシを検証することの重要性を強調しています。predicate命令と分岐命令、および固定レイテンシの算術命令における具体的なハザード事例と、それらを検出・回避するためのアプローチについて解説しています。
全文翻訳
命令パイプラインハザードの解剖
B200パイプラインモデルのケーススタディ
方法論に関する注記: この記事のすべては、B200シリコン上で直接実行されたマイクロベンチマークの分析に基づいています。NvidiaはGPUの命令レイテンシ、パイプライン深度、またはスコアボードエンコーディングの詳細を公開していません。ここで説明する数値とメカニズムは、私の経験的な最善の理解を表しています。読者は各自でデューデリジェンスを行い、自身のハードウェアで検証することをお勧めします。
Nvidia B200のような最新のディープパイプラインGPUを扱う際、静的解析は必要ですが、命令スケジュールの検証には不十分です。スケジューラが依存関係追跡のテストカバレッジを100%と報告したにもかかわらず、生成されたコードが実際のシリコン上でサイレントに失敗するのを見るのは、謙虚な経験です。
なぜこれが起こるのでしょうか?ハードウェアパイプライン自体が、正しさの最終的な裁定者です。
スケジューラが依存関係をアンダースタールすると、プロデューサの結果がレジスタファイルに確実にコミットされる前に、コンシューマ命令がパイプラインに発行されてしまいます。ハードウェアは例外を発生させません。代わりに、スケジュールを実行し、古い状態を読み取り、計算の残りの部分に不正な値を伝播させます。
これらはシリコンの欠陥ではありません。これらは、ハードウェアがコンパイラの誤った仮定を露呈するスケジュールの違反です。コンパイラバックエンドでは、コンパイラエンジニアは一般的に次のルールに従います:オーバースタールはパフォーマンスのバグですが、アンダースタールはサイレントな正しさのバグです。
これらの問題を検出するために、私は最小限で再現可能なオンシリコンテストに裏打ちされたハードウェアハザードのレジストリ[1]を構築しました。
前提条件と用語
特定のB200ハザードに深く入る前に、いくつかの基本的な文脈を確立しておくと役立ちます。
- 命令スケジューリング: ハードウェア利用率を最大化するために命令を並べ替えるコンパイラバックエンドのフェーズです。依存関係のある命令間に明示的に遅延(ストール)または同期(スコアボード)をエンコードする必要があります。
- パイプライン深度: 命令が通過するステージ数(フェッチ、デコード、実行、ライトバック)。パイプラインが深いほど、命令の完了に時間がかかります。
- RAW(Read-After-Write)ハザード: 前の命令がレジスタへの書き込みを完了する前に、命令がそのレジスタを読み取ろうとするシナリオ。
- 可変レイテンシ操作: 実行時間が固定されていない操作。これには、グローバルメモリロード(
LDG)、共有メモリ操作(LDS)、アトミック操作(ATOM)、およびマルチファンクションユニット(MUFU)が含まれます。
シリコンは嘘をつかない
最新のGPUストリーミングマルチプロセッサ(SM)は、極端なスループットのために設計されています。これを達成するために、パイプラインは深くなっています。ハードウェアは、コンパイラが依存関係情報を明示的にエンコードすることに依存しています[2]。
命令Aが値を生成し、命令Bがその値を消費する単純なデータフローパスを考えてみましょう。
flowchart TD
subgraph "Producer (Instruction A)"
FetchA[Fetch] --> DecodeA[Decode]
DecodeA --> IssueA[Issue]
IssueA --> ExecA1[Execute Stage 1]
ExecA1 --> ExecA2[Execute Stage N]
ExecA2 --> WriteBack[Writeback to Register]
end
subgraph "Consumer (Instruction B)"
FetchB[Fetch] --> DecodeB[Decode]
DecodeB --> IssueB{Wait on Stall / Scoreboard}
IssueB --> ReadReg[Read Register]
ReadReg --> ExecB1[Execute Stage 1]
end
WriteBack -->|Data Forwarding / Register File| ReadReg
IssueA -.->|Static Latency L| IssueB
命令Bが早すぎると、WriteBackが完了する前に、そのRead Registerフェーズはレジスタの古い内容をフェッチしてしまいます。
CPUでは、洗練されたアウトオブオーダー実行エンジンがこれらのレイテンシを動的にマスクします。GPUでは、ALUのためにダイ面積を最大化するという哲学があります。これにより、命令スケジューリングの複雑さがコンパイラにオフロードされます[3]。これは、同じ哲学(スケジューリングの決定をハードウェアからコンパイラにオフロードする)を共有するVLIWアーキテクチャを彷彿とさせます。
このアーキテクチャ上のトレードオフは、コンパイラエンジニアがパイプライン深度やバリアエンコーディングのような低レベルの制約について、細心の注意を払う必要があることを意味します。
述語コンシューマのアンダースタール
厳密な静的チェックをすり抜ける最も困難なバグがあります。最近、B200をハッキング中に、命令スケジューラにおける述語評価に関わる重大なバグを発見しました。これは、テストスイート全体でRAWカバレッジが完全であると主張する静的メトリクスにもかかわらず発生しました。
このパターンは、条件を計算する整数セット述語命令(ISETP)を含みます。これは結果を述語レジスタに書き込み、それがブランチ命令によって読み取られます。これは古典的に、ループを定義するバックエッジブランチで見られます。
// 1. ある条件に基づいて述語P1を生成します。
// R0とR1が比較され、ブール結果がP1に書き込まれます。
ISETP.GE.AND P1, PT, R0, R1, PT;
// 2. P1をブランチターゲット条件として消費します。
// P0は実行ガード(スレッドはアクティブか?)、P1はブランチ条件です。
@!P0 BRA P1, target;
失敗のメカニズム
このバグは、B200の述語処理をハッキング中に表面化しました。コンパイラは、ブランチのガード述語P0をブランチの使用として正しく記録しましたが、ブランチ条件オペランドP1を見落としていました。
その結果、ISETP $\rightarrow$ BRAのRAW依存関係は完全に無視されました。スケジューラは必要な述語レイテンシのストールを挿入できませんでした。
sequenceDiagram
participant HW as B200 Pipeline
participant Reg as Predicate Register File
Note over HW: アンダースタールされたスケジュール実行
HW->>HW: ISETPを発行(P1を計算)
Note right of HW: ISETPのレイテンシは約13サイクル。
HW->>HW: 4サイクル待機(任意遅延、依存ストールではない)
HW->>HW: BRAを発行(P1を読み取る)
HW->>Reg: 述語P1を読み取る
Reg-->>HW: STALE状態(1ではなく0)を返す
HW->>HW: 間違った実行パスを選択
Note right of HW: 9サイクル後...
HW->>Reg: ISETPのP1へのライトバック(遅すぎる)
ブランチはISETPの約4サイクル後に発行されました。これは、述語の実際のモデル化されたレイテンシである13サイクルが経過するずっと前でした。ブランチ命令は古い値を読み取り、間違った実行パスを選択し、サイレントな誤計算を引き起こしました。
グラウンドトゥルースの緩和策
これを防ぐには、スケジューラのオペランド分析が@!P0 BRA P1の両方の使用を正しく識別する必要があります。
しかし、真の防御はオンシリコンプローブです。私はISETPとブランチの間のストールサイクルをスイープし、正しい実行に必要な最小レイテンシを検証します。
ベースラインの述語レイテンシは、アーキテクチャモデルがしばしば近似であるため、オンデバイスで動的にプローブする必要があります。B200では、マイクロベンチマークプローブは、モデル化された13サイクルと実際のパイプライン深度との乖離を確認し、物理的な述語レイテンシのフロアは約4サイクルにあります。
固定レイテンシRAWアンダースタール
固定レイテンシ算術命令は、行列乗算とテンソルコアワークロードのバックボーンを形成します。これらは、宛先レジスタを安全に読み取る前に、正確で固定されたサイクル遅延を必要とします。例としては以下が挙げられます。
FFMA(単精度融合乗算加算)DFMA(倍精度融合乗算加算)
スケジューラがハードウェアの固定レイテンシより厳密に少ないサイクル数でストールを発行すると、コンシューマは宛先レジスタを早期に読み取ります。
レイテンシ測定とトレードオフ
B200での直接的なハードウェアプローブを通じて、実行が不正(古い読み取り)から正しい(有効な読み取り)に移行する正確なレイテンシフロアを測定しました[4][5]。
| 操作 | 精度 | 測定サイクルフロア | 検証信号 |
|---|---|---|---|
| FFMA | FP32 | 4サイクル | ストール3はWRONGな結果を生成。ストール4はCORRECTな結果を生成。 |
| DFMA | FP64 | 8サイクル | ストール7はWRONGな結果を生成。ストール8はCORRECTな結果を生成。 |
ここでトレードオフに注目してください:より高い精度の算術演算は、自然に深いパイプラインを必要とします。FP64ユニットは、FP32ユニットのレイテンシのちょうど2倍を必要とします。
レイテンシ検証テストを構築する際には、整数線形チェーンではなく、浮動小数点再帰チェーンを構築することが重要です。整数チェーンはハードウェアのパイプラインフォワーディングネットワークによって折りたたまれたりバイパスされたりする可能性があり、アンダースタールをマスクします[4]。浮動小数点チェーンは、厳密な実行パイプラインステージと丸めのため、依存関係レイテンシを可視化します。
これらのレイテンシを検証するために、長い依存FFMAチェーンを構築するプローブカーネルを作成しました:a = a*1 + 1を64回繰り返し、期待される結果は正確にseed + 64です。各FFMAは直前のFFMAの結果を読み取り、純粋なRAWハザードチェーンを作成します。その後、後処理スクリプトは、コンパイルされたSASSバイナリの各FFMAのストールフィールドを強制値に書き換え、各バリアントをB200で実行します。
// probe_ffma.cu -- FFMAのティア2「最小限の正しいストール」プローブ。
//
// 単一の依存FFMAチェーン:a = a*1 + 1、CHAIN回。
// 正確な結果は seed + CHAIN(整数値の浮動小数点数、CPUでビット単位で正確)。
// 各FFMAは直前のFFMAの結果を読み取る -> FMAパイプ上のRAWハザード。
//
// 一度コンパイルし、次に各FFMAのストールサブフィールドを
// 強制値Nに書き換えて、B200で各バリアントを実行します:
// * N < 真のFFMAレイテンシの場合 -> コンシューマは古いレジスタを読み取る -> WRONG
// * CORRECTを維持する最小のN == FFMAレイテンシフロア
#ifndef CHAIN
#define CHAIN 64
#endif
extern "C" __global__ void probe(float *out, unsigned *cyc, float seed) {
float a = seed;
unsigned t0, t1;
asm volatile("mov.u32 %0, %%clock;" : "=r"(t0));
#pragma unroll
for (int i = 0; i < CHAIN; i++)
asm volatile("fma.rn.f32 %0,%0,%1,%2;" : "+f"(a) : "f"(1.0f), "f"(1.0f));
asm volatile("mov.u32 %0, %%clock;" : "=r"(t1));
if (threadIdx.x == 0) {
out[0] = a; // ハザードがない場合の期待値 == seed + CHAIN
cyc[0] = t1 - t0; // チェーンの計測サイクル数
}
}
このプローブをB200でストール値0〜15にわたって実行すると、次の出力が得られます。
# stall cycles result (chain=64)
0 2205 CORRECT
1 225 WRONG
2 227 WRONG
3 291 WRONG
4 355 CORRECT
5 419 CORRECT
6 483 CORRECT
...
15 1075 CORRECT
境界は明確です。ストール3はWRONG(コンシューマは古いレジスタを読み取る)を生成し、ストール4はCORRECTを生成します。ストール0は大きな待機にデフォルトする特別なエンコーディングであり、より高いサイクル数でCORRECTを報告する理由です。アセンブルされた制御コードを確認するためにcuobjdump -sassのようなツールを使用し、生成されたバイナリをGPUで直接実行しました。
「最も友好的な依存関係」の罠
注意点:FFMAフロアの4という値は、最も友好的な依存関係の形状、つまりコンシューマが単一のライブレジスタと2つの折りたたみ可能な即値1.0fオペランドを読み取るFFMA→FFMAチェーンから得られました。これはハードウェアがサービスする最も簡単なケースです。
真のレイテンシフロアは、プロデューサ単体のプロパティではありません。それはstall(producer_op, consumer_op, operand_layout)の関数です。実際のワークロードで必要なストールを高くするメカニズムがいくつかあります。
- コンシューマオペレーションクラスの読み取りステージ。 異なるコンシューマオペレーションは、異なるパイプラインステージでソースオペランドを読み取ります。
FADDコンシューマは、別のFFMAコンシューマよりも早くFFMAの結果を利用できる必要があります。 - オペランドコレクタとレジスタバンクの圧力。 競合するバンクで3つの異なるライブレジスタを読み取るコンシューマは、追加のオペランド収集サイクルを必要とします。上記のプローブは1つのレジスタと2つの即値を読み取るため、このコストは発生しません。
- オペランド
.reuseフラグ。 同種のスロットチェーンは、ptxasが.reuseタグを付けるものです。ラッチからサービスされるオペランドは、コールドギャザーとは異なるタイミングを持つため、プローブチェーンは実際の(非リユース)命令ストリームでは許容されない、人工的に低いフロアを見ることができます。
スケジューラは正しさ優先です:実際のコンシューマのいずれかがストール5を必要とし、モデルが4を発行した場合、結果はサイレントな誤答バグになります。安全なアプローチは、コンシューマオペレーションクラスとオペランドレイアウト全体をスイープし、モデルのスカラーレイテンシを最大観測フロアに設定することです。単一のプロデューサ→コンシューママイクロベンチマークを孤立して信頼しないでください。
可変レイテンシと未カバーのスコアボード
固定レイテンシは、決定論的なALU操作にのみ適用されます。しかし、GPUワークロードの大部分は、可変レイテンシ操作を含みます。
LDG(グローバルメモリロード)LDS(共有メモリ操作)ATOM(アトミックメモリ操作)MUFU(マルチファンクションユニット)
これらの命令は、キャッシュヒット、TLB状態、および構造的ハザード(ハードウェアパイプラインのリソース競合)に応じて実行時間が変化します。
これらの操作では、静的なストールカウントは完全に不十分です。代わりに、アーキテクチャはスコアボードを使用します。
スコアボードメカニズム
可変レイテンシ命令が発行されると、ハードウェアスコアボードにスロットが割り当てられます。コンパイラは、命令の制御フィールドにバリア識別子(例:スコアボードインデックス0〜5)を明示的にエンコードする必要があります。コンシューマ命令は、発行前にその特定のスコアボードバリアを待機するようにエンコードする必要があります。
stateDiagram-v2
[*] --> IssueProducer
state IssueProducer {
direction LR
Decode --> AllocateBarrier : "e.g., Barrier 0"
AllocateBarrier --> DispatchToMemory
}
DispatchToMemory --> MemorySubsystem : Cache Miss
state MemorySubsystem {
direction LR
L1 --> L2
L2 --> HBM
}
MemorySubsystem --> Writeback : Data Returns
Writeback --> ClearBarrier : "Clear Barrier 0"
state ConsumerWait {
direction LR
DecodeConsumer --> WaitBarrier : "Wait on Barrier 0"
WaitBarrier --> IssueConsumer : Barrier Cleared
}
IssueProducer --> ConsumerWait : Compiler encodes dependency
ClearBarrier --> WaitBarrier : HW Signal
アセンブラがこれらの制御バリアを削除すると、パイプラインの一貫性が壊れます。コンシューマは、可変レイテンシメモリの結果が着陸する前に宛先レジスタを読み取ります。
これは不正な数学的結果につながります。さらに重要なのは、古いデータが後続のアクセスでメモリアドレスとして使用された場合、CUDA_ERROR_ILLEGAL_ADDRESSが発生することです。
検証には、さまざまなカーネルのストリップされたバイナリを生成し、それらが不正な結果を計算するかクラッシュする必要があるとアサートすることが必要です。これは、完全にアセンブルされたバイナリのスコアボードバリアが、正しさを保証する唯一のメカニズムであることを証明します。
クラッシュ増幅ロード・ユースハザード
上記で説明した固定レイテンシのアンダースタールは、近くにある有効だが数学的に間違った値を読み取ることで、サイレントなデータ破損を引き起こします。しかし、ロード・ユースハザードは、決定論的な、大きな失敗を提供するように意図的に増幅することができます[6]。
これは、バイナリのパス/フェイルクラッシュ信号が、ヒューリスティックな出力差分よりもトリアージしやすい継続的インテグレーション(CI)システムにとって非常に望ましいです。
ロード・ユースハザードは、ロードが完了する前に、メモリアドレスとして使用される値が読み取られた場合に発生します。
これを保証されたクラッシュに増幅するために、インデックスレジスタを明示的にポイズニングしました。実際のロードが発生する前に、レジスタにワイルド定数(例:0x40000000、メモリで+4 GiBオフセットに変換)をロードしました。コンパイラのデッドコード削除(DCE)パスが最適化できないように、ランタイムで不明なガードを介してこのポイズン値のライブネスを維持しました。
// 1. ターゲットレジスタを、マップされていないメモリ空間を指す既知のポイズン値で初期化します。
uint32_t addr_reg = 0x40000000; //
// 2. 有効なアドレスでレジスタを上書きするために、グローバルメモリロード(可変レイテンシ)を発行します。
// 正しい実行では、このロードは後続の読み取りの前に完了してレジスタを更新する必要があります。
addr_reg = load_actual_address(); //
// 3. レジスタをポインタまたはアドレスオペランドとして即座に消費します。
// コンパイラがスコアボード待機を発行できなかった場合、この命令は古いレジスタ状態(0x40000000)を読み取り、MMUフォルトを引き起こします。
execute_memory_operation(addr_reg); //
増幅のトレードオフ
このテスト手法は、大きな価値を提供します。
- スケジュールが正しい場合、ロードが着陸し、有効なポインタが使用され、実行はクリーンに成功します(
ok)。 - スケジュールがレイテンシをカバーしなかった場合、ハードウェアはポイズンされたレジスタを読み取り、決定論的なMMUフォルト(
CUDA_ERROR_ILLEGAL_ADDRESS)が発生します。
これは回復可能なソフトウェアフォルトであることに注意することが重要です。MMUとCUDAドライバは、不正なメモリアクセスを安全に封じ込めます。物理的なハードウェア損傷を引き起こすことはありません。最悪の場合でも、プロセス再起動またはnvidia-smi --gpu-resetを必要とするデッドCUDAコンテキストになります。
主な利点は、CIログで議論の余地のない、自己完結型の最小限のスコアボードハザード形式を提供することです。
今後の道:シリコンを信頼する
信頼性の高いコンパイラと命令スケジューラを構築するには、ハードウェアを究極の真実の情報源として扱う必要があります。ソフトウェアモデルは理論的ですが、シリコンは絶対的です。
より複雑なアーキテクチャにスケールアップするにつれて、高レベル言語と物理パイプラインの間の抽象化ギャップは深まります。静的解析または内部グラフカバレッジメトリクスのみに依存することは、根本的に不十分です。
ターゲットを絞った最小限のハードウェアハザードのレジストリを体系的に構築し、実際のシリコン上で継続的に実行することで、コンパイラエンジニアは、パイプラインの揺るぎない現実に反して、スケジューリングロジックが健全であることを保証できます。
参考文献
免責事項:AI支援(Gemini 3.1 Pro、Claude Opus 4.8)で調査・作成されました。方向性、技術的判断、最終編集は私によるものです。すべての主張は上記の引用元に追跡可能です。
- NVIDIA RTX Blackwell GPUアーキテクチャ: Blackwell Streaming Multiprocessor設計の技術説明。(リンク)↩︎
- マイクロベンチマークによるGPUマイクロアーキテクチャの解明: Henry Wong他、ISPASS 2010。文書化されていないGPUパイプライン特性をプローブするためのマイクロベンチマーク方法論を確立した基礎的な研究。(リンク)↩︎
- 最新NVIDIA GPUコアの分析: Rodrigo Huerta他、arXiv:2503.20481、2025。最新のNVIDIA GPUが、従来のハードウェアスコアボードではなく、ソフトウェアベース(コンパイラ駆動)の依存関係管理を使用していることを実証しています。(リンク)↩︎
- マイクロベンチマークによるNVIDIA Volta GPUアーキテクチャの解体: Zhe Jia他、arXiv:1804.06826、2018。GV100の命令レイテンシ、パイプライン深度、およびスコアボードバリアエンコーディング。(リンク)↩︎↩︎2
- Nvidia Hopper GPUアーキテクチャのベンチマークと解体: Weile Luo他、IPDPS 2024 / arXiv:2402.13499。H100の命令レイテンシやメモリ階層を含む、多層的なマイクロアーキテクチャ分析。(リンク)↩︎
- NVIDIA CUDAドライバAPI — 仮想メモリ管理: MMUメモリ保護フォルトおよび
CUDA_ERROR_ILLEGAL_ADDRESSをカバーするリファレンスドキュメント。(リンク)↩︎