デバッガをゼロから書く
Writing a Debugger from Scratch (timdbg.com)
要約
著者はRustをより深く学ぶため、そしてデバッガの仕組みを理解しやすくするために、独自のデバッガをゼロから作成しています。この記事では、Windows API(DebugActiveProcess、WaitForDebugEventExなど)を使用して、プロセスへのアタッチとデバッグイベントの監視という、デバッガの基本的な構造に焦点を当てています。
全文翻訳
デバッガをゼロから書く - DbgRs Part 1 - プロセスへのアタッチ
私はMicrosoftのデバッガプラットフォームチームを二度離れましたが、そのたびに自分でデバッガを書き始めました。デバッガが本当に好きなのかもしれません。今回は、新しいデバッガを書く理由が二つあります。一つ目は、Rustをより深く学びたいからです。すでにかなり理解しているものを作るのが、学習の良い方法だと思いました。二つ目の理由は、デバッガがどのように機能するかを人々が学びやすくすることです。Rustを使うことは、シンボルや逆アセンブルなどを処理してくれるクレートが多く、デバッガ作成のコアアイデアに集中できるという点でも役立ちます。
私はRust初心者です。もしRustをより良く学びたいと思っているなら、https://www.rust-lang.org/learn から始めることをお勧めします。Rustのコードについてあまり説明しようとは思いませんが、主要な概念とAPIは言語を横断して適用できます。Rustの知識があまりなくても、ついていけるはずです。これを読んで、私よりもRustに詳しい方は、GitHubリポジトリにIssueを作成していただくか、さらに良いことにプルリクエストを送ってください!この最初のパートのコードは "part1" というブランチにあり、完全なコードはこちらで見ることができます。もし一緒に進めたい場合は、リポジトリ全体をローカルにクローンし、rust-analyzerプラグインを備えたVS Codeのような優れたIDEで表示することをお勧めします。
デバッガとは何か?
まず、デバッガとは何でしょうか?「デバッグツール」と呼ばれるツールはたくさんありますが、ほとんどの人が「デバッガ」と聞くと、実行中のシステムまたは静的なスナップショット(コアファイル、クラッシュダンプ、VMスナップショットなど)を分析できるツールを思い浮かべるでしょう1。GDB、LLDB、Visual Studio、WinDbgのようなほとんどのデバッガは、これらの両方の機能を提供できます。ここでは、Windows上でライブユーザモードデバッグをサポートするデバッガを作成することから始めます。コアとなる概念はほぼすべてのOSに適用できますが、主な違いはプロセスのデバッグに使用されるOS APIと、特定の概念に使用される用語です。
Windowsでは、デバッガの実装に必要な機能を提供するAPIはごくわずかです。これらのほとんどは、MSDNのデバッグ関数のページに記載されています。これらは、Visual StudioやWinDbgのようなデバッガによって使用されるAPIであることに注意してください。WinDbgのコアエンジンはDbgEngと呼ばれ、独自のAPIセットを持っており、これはIDebugClientインターフェースおよび関連APIを通じてアクセスできます。これらの高レベルAPIは非常に強力で、スタックアンワインド、シンボル解析、フロー制御、逆アセンブリ、スクリプティングなど、その他の多くの機能を備えています。デバッグタスクを自動化したい場合は、こちらの方が良いAPIです。しかし、この投稿シリーズで行うのはそれではありません。OSが提供する最も基本的なAPIを使用して、ゼロからデバッガを実装していきます。
実行中のプロセスと対話するために必要な他の関数もいくつかありますが、これらのAPIはデバッグ固有のものではありません。それらは遭遇したときにカバーします。
基本構造
ライブデバッグセッションの中心にはイベントループがあります。デバッガは、ターゲットプロセスに「アタッチ」することによって、ターゲットプロセスからのデバッグイベントを登録します。発生するイベントごとに、OSはターゲットプロセスをフリーズし、デバッグイベントに関する情報でデバッガに通知します。デバッガはその後、ターゲットプロセスの状態を検査または操作する機会を得ます。その後、デバッガはデバッグイベントから続行します。
ここには多くの複雑さが埋め込まれていますが、その複雑さのほとんどは、ターゲットプロセスの状態の検査と操作にあります。ここでは、プロセスにアタッチし、デバッグイベントを監視し、それらから続行してプロセスが正常に実行できるようにするデバッガを作成することから始めます。その部分は比較的簡単で、上に構築できる他の機能の基盤を提供します。
Windowsでは、プロセスにアタッチするには主に二つの方法があります。アタッチしたいプロセスがすでに実行されている場合は、DebugActiveProcess APIを使用できます。これは、デバッグしたいプロセスのIDを単一のパラメータとして取ります2。このAPI呼び出しの結果としてハンドルやその他の情報は返されません。代わりに、ターゲットプロセスとデバッガプロセスの間に暗黙的な接続が作成されます。デバッグを停止するには、DebugActiveProcessStopを呼び出します。これもまた、プロセスIDを単一のパラメータとして取ります。
プロセスにアタッチする二つ目の方法は、アタッチされた状態でプロセスを作成することです。これを行うには、通常デバッグに使用するのと同じCreateProcessW関数を使用し、dwCreationFlagsパラメータの一部としてDEBUG_ONLY_THIS_PROCESSまたはDEBUG_PROCESSフラグを含めます(プロセス作成フラグの一部として文書化されています)。これらのフラグの違いは、起動した特定のプロセスのみをデバッグしたいのか、それともそのプロセスとそのすべての子プロセスをデバッグしたいのかということです。
プロセスをデバッグするためにCreateProcessWを使用します。
105 let mut si: STARTUPINFOEXW = unsafe { std::mem::zeroed() };
106 si.StartupInfo.cb = std::mem::size_of::<STARTUPINFOEXW>() as u32;
107 let mut pi: PROCESS_INFORMATION = unsafe { std::mem::zeroed() };
108 let ret = unsafe {
109 CreateProcessW(
110 null(), // lpApplicationName
111 command_line_buffer.as_mut_ptr(), // lpCommandLine
112 null(), // lpProcessAttributes
113 null(), // lpThreadAttributes
114 FALSE, // bInheritHandles
115 DEBUG_ONLY_THIS_PROCESS | CREATE_NEW_CONSOLE, // dwCreationFlags
116 null(), // lpEnvironment
117 null(), // lpCurrentDirectory
118 &mut si.StartupInfo, // lpStartupInfo
119 &mut pi, // lpProcessInformation
120 )
121 };
CreateProcessWには多くのパラメータがありますが、オプションのパラメータは最初無視できます。後で、このデバッガのユーザーに特定の側面をカスタマイズする機能を提供したいかもしれませんが、今のところは渡されたコマンドライン全体をlpCommandLineとして使用します。コマンドラインを起動する方法については、このプロジェクトのGitHubリポジトリのparse_command_lineを参照してください。また、dwCreationFlagsパラメータの一部としてDEBUG_ONLY_THIS_PROCESSフラグを渡します。コンソールアプリをデバッグする際にコンソールを共有しないようにCREATE_NEW_CONSOLEも指定しました(CDB/NTSDはターゲットとコンソールを共有し、私はそれが常に混乱を招き、ほとんど役に立たないと感じていました)。最後に、lpProcessInformationパラメータの一部として重要な情報を受け取ります。これは出力パラメータです。
CreateProcessWが返されると、プロセスは最初に中断されます。デバッガプロセスがデバッグイベントの処理を開始するまで、コードは実行されません。次にそれを行います。
デバッグイベントの監視
Windowsでデバッガのイベントループを駆動するには、二つの関数が使用されます。一つ目はWaitForDebugEventEx関数3です。二つ目はContinueDebugEvent関数で、イベントを処理した後、ターゲットプロセスを再開します。これらの関数はmain_debugger_loopから呼び出します。
56 loop {
57 let mut debug_event: DEBUG_EVENT = unsafe { std::mem::zeroed() };
58 unsafe {
59 WaitForDebugEventEx(&mut debug_event, INFINITE);
60 }
ここで興味深い点として、WaitForDebugEventEx関数はプロセス識別子を受け取りません。プロセスが複数のターゲットプロセスにアタッチされている場合、WaitForDebugEventExへの呼び出しはすべてのアタッチされたプロセスのイベントを監視します4。INFINITEパラメータは、デバッグイベントが受信されるまで無期限に待機することを意味します。イベントはDEBUG_EVENT構造体として記述されており、スレッドID、プロセスID、およびイベントコードのフィールドがあります。各イベントタイプには独自のデータ構造があり、構造体は共用体として格納されます。共用体のどの構造体が有効かを判断するためにイベントコードを使用します。
typedef struct _DEBUG_EVENT {
DWORD dwDebugEventCode;
DWORD dwProcessId;
DWORD dwThreadId;
union {
EXCEPTION_DEBUG_INFO Exception;
CREATE_THREAD_DEBUG_INFO CreateThread;
CREATE_PROCESS_DEBUG_INFO CreateProcessInfo;
EXIT_THREAD_DEBUG_INFO ExitThread;
EXIT_PROCESS_DEBUG_INFO ExitProcess;
LOAD_DLL_DEBUG_INFO LoadDll;
UNLOAD_DLL_DEBUG_INFO UnloadDll;
OUTPUT_DEBUG_STRING_INFO DebugString;
RIP_INFO RipInfo;
} u;
} DEBUG_EVENT, *LPDEBUG_EVENT;
これらのデータについては、後ほど詳しく説明します。今のところは、受信したイベントを出力するだけです。
62 match debug_event.dwDebugEventCode {
63 EXCEPTION_DEBUG_EVENT => println!("Exception"),
64 CREATE_THREAD_DEBUG_EVENT => println!("CreateThread"),
65 CREATE_PROCESS_DEBUG_EVENT => println!("CreateProcess"),
66 EXIT_THREAD_DEBUG_EVENT => println!("ExitThread"),
67 EXIT_PROCESS_DEBUG_EVENT => println!("ExitProcess"),
68 LOAD_DLL_DEBUG_EVENT => println!("LoadDll"),
69 UNLOAD_DLL_DEBUG_EVENT => println!("UnloadDll"),
70 OUTPUT_DEBUG_STRING_EVENT => println!("OutputDebugString"),
71 RIP_EVENT => println!("RipEvent"),
72 _ => panic!("Unexpected debug event"),
73 }
デバッグイベントを処理するために無限ループしますが、EXIT_PROCESS_DEBUG_EVENTを受け取った場合は、単一のプロセスのみをデバッグしているため、ループを抜けることができます。
75 if debug_event.dwDebugEventCode == EXIT_PROCESS_DEBUG_EVENT {
76 break;
77 }
イベントの処理が完了したら、ContinueDebugEventを呼び出します。これにより、ターゲットプロセスは実行を再開できます。この関数は、プロセスID、スレッドID、および「続行ステータス」の三つのパラメータを取ります。最初の二つは単純で、DEBUG_EVENTのフィールドであるプロセスIDとスレッドIDを使用するだけです。続行ステータスは少し不明瞭です。これは、DBG_EXCEPTION_HANDLEDを渡すことで、通常の例外処理動作を抑制するために使用できます。今のところ、これについては気にせず、常にDBG_EXCEPTION_NOT_HANDLEDを渡します。
79 unsafe {
80 ContinueDebugEvent(
81 debug_event.dwProcessId,
82 debug_event.dwThreadId,
83 DBG_EXCEPTION_NOT_HANDLED,
84 );
85 }
まとめ
cargo buildでプロジェクトをビルドし、dbgrs cmdとして実行すると、現在のウィンドウにいくつかの出力が表示され、新しいコマンドウィンドウが開くのがわかります。そのウィンドウを閉じると、さらに数行の出力が表示され、ExitProcessで終了します。私の場合、それは次のように見えました。
D:\git\dbgrs\target\debug>dbgrs.exe cmd
Command line was: 'cmd'
CreateProcess
LoadDll
LoadDll
LoadDll
LoadDll
CreateThread
LoadDll
LoadDll
LoadDll
CreateThread
Exception
LoadDll
LoadDll
LoadDll
LoadDll
UnloadDll
UnloadDll
UnloadDll
ExitThread
ExitThread
ExitProcess
これらの各行は、WaitForDebugEventExから返された単一のイベントを表します。これらの各イベントは、デバッガがプロセスの状態を検査する機会でもあります。まだ各イベントの特定の情報(ロードされたDLLの名前など)を確認していませんが、WinDbgがsxe ldのようなコマンドをどのように実装するかを見ることができます。このコマンドでは、デバッガはモジュールがロードされるとすぐに「ブレークイン」できます。ライブデバッグ中のプロセスで「ブレークイン」するとは、単にContinueDebugEventを呼び出す前に待機することです。これらのイベントのいずれかが返された後、インタラクティブなユーザーにプロセスを検査するコマンドを実行させることができます。ユーザーが完了し、gのようなコマンドを実行して実行を続行すると、デバッガはContinueDebugEventを呼び出し、次に再びWaitForDebugEventExを呼び出して次のイベントを待ちます。
これらのイベントのほとんどはかなり妥当に見えます。多くのDLLがロードされ、いくつかのスレッドが作成され、最終的にいくつかのDLLがアンロードされてスレッドとプロセスが終了することを期待します。その中間に隠れているイベントが一つあります。それは例外です。それはntdll!LdrpDoDebuggerBreakからの初期ブレークポイントです!プロセスの起動の一部として、ntdllはx86で明示的なint 3を持つブレークポイント例外をトリガーします5。
例外イベントをどのように処理するかは、ライブプロセスのデバッグにおいて最も重要な部分の一つとなるでしょう。ブレークポイント、ステップ実行、アプリケーションクラッシュなど、すべてが例外イベントを通じて管理されます。それを正しく処理することを確認するために時間を費やす必要がありますので、次の投稿に譲ります。それまで、Twitter (https://twitter.com/timmisiak) または Mastodon (https://dbg.social/@tim) での感想をお聞かせください!
フッター
1 多くのデバッガは、「タイムトラベルデバッグ」という形式とも統合されており、実行のトレースがさまざまな粒度でキャプチャされます。ここで説明する多くの概念はタイムトラベルデバッグにも適用されますが、簡潔さのためにここでは省略します。
2 このAPIを使用すると、呼び出し元プロセスが要求されたプロセスにアタッチするための十分な権限を持っているかどうかがチェックされます。通常、昇格されていないプロセスから昇格されたプロセスや他のユーザーのために実行されているプロセスにアタッチすることはできません。昇格された管理者プロセスでさえ直接アタッチできない特定のプロセスもあります。ドキュメントでは、「PROCESS_ALL_ACCESSを開くことができる必要がある」と説明されています。
3 WaitForDebugEvent関数("Ex"なし)もありますが、この関数はOutputDebugStringWから生成されたUnicode文字列を正しく受信できません。Unicode文字列が必要なので、「Ex」バージョンを使用します。
4 これは、単一のプロセスから二つの別々のモジュールが二つの別々のターゲットをデバッグすることが不可能であることを意味します。これらはプロセス全体の状態に依存する非常に古いAPIであり、任意のプロセスにロードされることを期待するモジュールでは決して使用できません。幸いなことに、実際にはこれはほとんど問題になりません。
5 このブレークポイントは、プロセスがデバッグされている場合にのみトリガーされます。これは、PEBの "BeingDebugged" フラグをチェックすることで検出されます。初期ブレークポイントの前にプロセスにブレークインし、そのフラグを "0" に設定すると、初期ブレークポイントはスキップされます。