LLDBをCPUとGPUにまたがるアプリケーションのデバッグに拡張
Extending LLDB to Debug Applications That Span CPUs and GPUs (engineering.fb.com)
要約
Metaは、CPUとGPUにまたがるアプリケーションのデバッグを可能にする、lldb-server向けのベンダーニュートラルなアクセラレータプラグインアーキテクチャを開発しました。このアーキテクチャは、CPUとGPUを別々のデバッガプロセスとして表現しつつ、単一のデバッグセッションでそれらを統合して表示します。これにより、開発者はハードウェア固有のデバッグAPIをLLDBの既存の抽象化にマッピングすることで、複雑なAIアプリケーションのデバッグを効率化できます。
全文翻訳
LLDBをCPUとGPUにまたがるアプリケーションのデバッグに拡張
- CPUとGPUにまたがるアプリケーションのデバッグのため、lldb-serverにベンダーニュートラルなアクセラレータプラグインアーキテクチャを構築しました。これにより、共有デバッガインフラストラクチャとハードウェア固有のデバイス制御が分離されます。
- この設計では、CPUとGPUを別々のデバッガプロセスとして表現しつつ、それらを単一のデバッグセッションで提示します。
現代のAIアプリケーションが単一の場所で実行されることは稀です。ワークロードは、高レベルフレームワークで開始され、ネイティブCPUコードとGPUで実行されるカーネルの間を行き来することがあります。バグがこれらの境界を越える場合、開発者はホストアプリケーションとデバイスをまとめて理解する必要があります。
これは、従来のデバッガを別のプロセスにアタッチするよりも困難です。CPUとGPUは、異なる命令セット、レジスタ、メモリ空間、実行モデルを使用する可能性があります。また、GPUはホストプロセス内のランタイムとドライバを通じて制御されるため、デバイスのデバッグにはCPUとの慎重な連携がしばしば必要となります。
歴史的に、GPUベンダーはAMDのROCgdbやNVIDIAのCUDA-GDBなど、デバイス固有のデバッガを構築してきました。これらのツールはそれぞれのプラットフォームに対して深いサポートを提供しますが、共通のデバッガ機能はしばしば個別に実装・保守する必要がありました。
Metaでは、LLDBに対して異なるアプローチを開発してきました。それが、lldb-serverにおける共通のアクセラレータプラグインアーキテクチャです。この投稿では、「GPU」は具体的なデバイスと例を指し、「アクセラレータ」はLLDBのより広範でベンダーニュートラルなプラグイン抽象化を指します。このアーキテクチャは、Metaおよびアクセラレータエコシステム全体のエンジニアからの貢献を通じて進化してきました。これにより、共有デバッガは特定のGPUに依存せず、ハードウェアベンダーはデバイス固有の動作を実装するための集中された場所を得ることができます。
なぜGPUデバッグは従来のデバッガモデルに課題を突きつけるのか
従来のデバッガは一般的に、1つのプロセスが1つのアーキテクチャを持ち、スレッド、レジスタ、メモリの一貫したビューを持つことを前提としています。GPUプログラムは、これらの仮定のすべてに異議を唱えます。
ホストプロセスはx86-64で実行されるかもしれませんが、そのカーネルは完全に異なる命令セットを使用する可能性があります。CPUスレッドには馴染みのあるレジスタコンテキストがありますが、GPUはレーンのグループをロックステップで実行する場合があります。ホストとデバイスのポインタは、異なるアドレス空間を参照する可能性があります。GPUは数千の実行レーンを公開できますが、これらはほとんどのコマンドラインおよびグラフィカルデバッガが提示するスレッドモデルにきれいにマッピングされません。
これらすべての状態を1つの人工的なプロセスモデルに統合すると、デバッガはより複雑になります。すべての操作は、まずCPUまたはGPUに適用されるかどうかを判断する必要があります。レジスタ処理、メモリ読み取り、ブレークポイント、ステップ実行、停止イベントはすべて、選択されたハードウェアに応じて条件付きになります。単一のプロセスモデルはまた、CPUとGPUを1つの統合されたメモリマップに強制しますが、それらのアドレス空間は独立している可能性があります。例えば、アドレス0x1000は、CPUとGPUのプロセスで異なる場所を参照する可能性があります。
LLDBのアクセラレータアーキテクチャは、これらの違いを隠すのではなく、明確な境界を与えます。
GPUデバッグのためのlldb-serverにおけるプラグインサポート
LLDBは、プログラムを起動またはアタッチし、低レベルのデバッグ操作を実行するために、lldb-serverと呼ばれるコンパニオンプロセスを使用します。LLDBクライアントは、メモリの読み取り、レジスタの検査、実行の制御、ブレークポイントの設定などの操作コマンドプロトコルであるGDBリモートプロトコルを通じてサーバーと通信します。
lldb-serverは既にネイティブプロセスを制御しているため、アクセラレータランタイムと連携するのに適切な場所でもあります。新しいプラグインインターフェイスにより、ハードウェア固有のバックエンドが通常のCPUデバッガと連携して動作できます。バックエンドは、ベンダーのデバイスデバッグAPIを、プロセス、スレッド、レジスタ、メモリ、モジュール、停止理由などのLLDBが既に理解している概念に変換します。
この分離により、LLDBクライアントはベンダーニュートラルに保たれます。コマンドライン、リモートプロトコル、シンボル処理、IDE統合に対する一般的な改善は、すべてのアクセラレータに利益をもたらすことができます。同時に、各ベンダーは、そのハードウェアおよびドライバスタックに固有の詳細について責任を負います。
GPUデバッグサポートは、デバッグ対象のアプリケーションがサポートされているGPUランタイムを使用している場合にのみアクティブになります。CPU専用アプリケーションの場合、LLDBとlldb-serverは、ランタイム計算オーバーヘッドを発生させることなく、既存のネイティブデバッグパスを通じて続行します。
2つのターゲット、1つのデバッグエクスペリエンス
このアーキテクチャは、CPUとアクセラレータを別々のLLDBターゲットとして表現します。
各ターゲットは独自のアーキテクチャを持ち、スレッド、レジスタ、アドレス空間、実行状態を維持するデバッガプロセスに関連付けられています。CPUはLLDBの確立されたネイティブデバッグパスを引き続き使用します。アクセラレータが利用可能になると、プラグインは2番目の接続を提供し、LLDBはこれを使用してデバイスターゲットを作成します。
デバッガにとって、2つのターゲットは技術的に独立したままです。開発者にとっては、1つのLLDBまたはIDEセッションで表示できます。これにより、互換性のないCPUとGPUの概念を単一のプロセスに強制することを避けつつ、統合されたワークフローをサポートできます。
[画像: LLDBサーバー内のプラグインがホストとデバイスのデバッグを調整する間、CPUとGPUは別々のLLDBターゲットのままです]
ホストとデバイスの連携
典型的なデバッグセッションは、少数のステップに従います。
- LLDBはlldb-serverに接続し、利用可能なアクセラレータプラグインを検出します。
- プラグインは、ホストプロセスに内部ブレークポイントを設定するようにLLDBに要求できます。これらのブレークポイントは、GPUデバッグセッションを開始できる時点など、重要なランタイムイベントを識別します。
- ホストがそれらのポイントの1つに到達すると、lldb-serverはプラグインに通知します。プラグインはベンダーデバッグAPIを初期化し、アクセラレータデバッグエンドポイントを準備します。
- LLDBはアクセラレータ用の2番目のターゲットを作成し、それに接続します。その後、デバイスのスレッド、レジスタ、メモリ、モジュール、ブレークポイントは、LLDBの既存の抽象化を使用できます。
構造化されたアクションが両側を調整します。プラグインはCPUブレークポイントを要求したり、接続情報を提供したり、デバイスモジュールを報告したり、ホストとデバイスの実行を同期したりできます。共通プロトコルは、ベンダー固有のAPI詳細をLLDBクライアントに公開することなく、デバッガが行う必要があることを記述します。
また、特殊なハードウェアなしでこのフローを実行するモックアクセラレータプラグインも構築しました。これにより、LLVMテストスイートは、検出、ブレークポイント調整、接続作成、および基本的なデバイス状態を検証できます。これは、特定のGPUに依存せずにレビューおよびテストできる共有インフラストラクチャの開発にとって重要でした。
典型的なGPUワークフロー
vector dot-product HIPサンプルは、この抜粋されたセッションを生成しました。
(lldb) target list
Current targets:
target #0: gpu_demo (x86_64, stopped)
* target #1: amd_memory_kernel[...] (amdgcn, stopped)
(lldb) b compute_element
Breakpoint 1: no locations (pending).
(lldb) c
(lldb) target select 0
(lldb) c
Launching kernel: 2 blocks x 32 threads
1 location added to breakpoint 1
Target 1 stopped.
(lldb) target select 1
(lldb) bt
* frame #0: compute_element(..., idx=32) at gpu_demo.hip:26
frame #1: vector_dot_kernel(..., n=64) at gpu_demo.hip:35
保留中のブレークポイントは、GPUモジュールがロードされると解決され、バックトレースはGPUターゲットから取得されます。
ハードウェアベンダー間の共通プラグインフレームワーク
プラグインの境界は、特定のGPUプラットフォームの概念ではなく、デバッガ操作に基づいて意図的に設計されています。これにより、命令セット、ランタイムAPI、実行モデルが大きく異なるデバイス全体で有用になります。
このフレームワークは、ライブセッションだけでなく、ポストモーテムGPUデバッグもサポートします。GPUコアダンププラグインは、LLDB統合のための共通の基本クラスを使用し、ベンダー実装はデバイス固有のスレッド、レジスタ、メモリ、モジュール状態を提供します。
MetaのGPUデバッグの取り組みは、既にこのアーキテクチャを活用しています。私たちは多様なGPUフリートを運用しており、異なるハードウェアとソフトウェアスタックを持つため、これらの取り組みが同じモデルを使用していることは、設計の重要な検証となります。共通のLLDBレイヤーは安定したままで、各バックエンドは独自のデバイスを正確に表現できます。
執筆時点では、共通フレームワークの大部分をLLVMにアップストリームしました。これには、lldb-serverプラグインインターフェイス、プラグイン検出、初期化、ランタイムイベント調整、GPU接続作成のためのGDBリモートパケット、CPUとGPUのデバッガプロセスを関連付け、それらの独立したアーキテクチャを維持するためのサポート、複数のアドレス空間のサポート、およびハードウェアに依存しないモックテストが含まれます。残りの部分もまもなくアップストリームされる予定です。
今後
次に、残りの共通インフラストラクチャのアップストリームを完了し、その上に構築されたベンダー統合を拡張する予定です。私たちの目標は、新しいハードウェアをLLDBに統合する際に、個別のデバッガを構築・保守する必要がなく、ベンダー固有のプラグインのみが必要になることです。
謝辞
Metaのデベロッパーインフラストラクチャリーダーシップチーム、特にShane Nay、Todd Fiala、Ale Contentiの皆様の直接的なサポートに感謝いたします。この作業を可能にしてくれたのは彼らです。
また、デバッグ&ツーリングチームのJacob Lalonde、David Young、Alexandre Perez、Zhiyuan Li、Piyush Jaiswal、Philip DePetroの皆様の協力とサポートにも感謝いたします。
最後に、オープンソースコミュニティ、特にJonas Devlieghere、Jim Ingham、David Spickett、Jason Molendaの皆様に、RFCとアップストリームプルリクエストのレビューをしていただいたことに感謝いたします。