Kuna: コーディングエージェント時代のデコンパイラ開発
Kuna: Decompiler Development in the Age of Coding Agents (noelo.org)
要約
本記事は、LLM(大規模言語モデル)によってほぼ全てのコードが書かれた実験的なデコンパイラ「Kuna」のリリースについて紹介しています。Kunaは、IDA Proのような業界標準と比較して、Cプログラムの制御フロー構造化において同等の性能を示し、LLMが過去数年で登場した新しい指標に基づいて自律的に改善する能力を示しています。このプロジェクトは、科学的洞察に基づいた自動改善によるツール開発の可能性を探る実験です。
全文翻訳
Kuna: コーディングエージェント時代のデコンパイラ開発
Kunaのリリースに関する背景、動機、および考察。Kunaは、自律的洗練のために設計された新しいエージェントファーストのデコンパイラです。
本日、私はKunaをリリースします。これは、空軍研究所(AFRL)での客員教員研究員およびMetalwareでの研究フェローとして勤務中に、夏の間開発してきた実験的なデコンパイラです。しかし、私が開発してきたと言うとき、このプロジェクトのほぼ全てのコードはLLMによって書かれたことを明確にする必要があります。
それでも、現状では、このデコンパイラはCプログラムにおける制御フロー構造化において、業界標準であるIDA Pro(9.2)に匹敵します。最近のベンチマーク結果では、Kunaは関数の44.4%で完璧な構造化を達成しており、IDAの45.7%と比較しています。これは主に自律的洗練によって達成されました。LLMは、IDA Proよりも基本的な指標でパフォーマンスが劣る例を研究します。これらの指標はここ数年で登場したばかりです。この戦略を使用することで、LLMは試行錯誤を通じて、他のデコンパイラが難しい問題をどのように解決するかを効果的に学習できます。
IDA Proだけがこの改善プロセスで研究されたデコンパイラではありませんでした。この大規模な洗練実験には、Ghidraとangrデコンパイラも関与しました。私は博士課程の全期間を後者のコア開発者として過ごしました。この学習方法により、LLMはKunaで、angrから20以上の基本的な機能を再実装することができました。これらの機能は、デコンパイラにおける科学的進歩を通じて設計するのに数年かかりました。このプロジェクトが単なるひどいものではなく、自動的に改善される科学的に興味深いツールを開発するための真に実験的なアプローチであることを明確にするために、これらすべてを強調します。
KunaとHex-Raysからのスニペットで、人気のangrスイッチ機能を示す
[画像: KunaとHex-Raysからのデコンパイルコードの比較]
これらすべてを踏まえた上で、このアプローチの限界と、この研究が研究コミュニティに与える影響についても認識しておきたいと思います。
第一に、Kunaは、デコンパイラ研究を進歩させてきた科学者やエンジニアの数十年にわたる努力があって初めて可能になりました。Kunaは、実際にはNSAのGhidraのRustポートであり、angrのパイプラインにより近くなるように改変されています。それも私がangrデコンパイラをすぐに離れる予定がない理由です。angrデコンパイラは、デコンパイラにおける最先端のアルゴリズムを開発する際に、私が最初に向かう場所であり続けています。なぜなら、それはそのために設計されたからです。
一方、Kunaは、高レベルの科学的フィードバックだけで何ができるかを見るための実験です。現時点では、Kunaで手書きで何かを書くことは大幅に難しくなっています。Kunaはangr(およびその他のオープンソース研究)を必要としており、私の希望は、さらに時間が経てば、angrがKunaを必要とするようになることです(実験が成功した場合)。
第二に、Kunaは「自動」洗練を開始するためにも科学的洞察を必要とします。これが、おそらく他のデコンパイラが(私が知る限り)これを行っていない理由でしょう。この段階に到達するには、新しい基本的な指標を発見し、人間のリバースエンジニアリングの価値観と一致するものを研究し、意味のあるベンチマークに必要なデータを理解するために長年の洞察を集める必要がありました。要するに、これも自動的な研究ではありません。人間主導の研究が必要です。
第三に、そして最後に、このデコンパイラにはまだ大幅な進歩が必要です。構造化については順調ですが、デコンパイラは構造化だけではありません!型、最適化、再コンパイル可能性、変数識別などを改善する必要があります。お分かりの通りです。これは結局のところ、Kunaを開発するために使用しているフレームワーク内で、これらすべてを達成することが可能かどうかを見るための実験です。そして、私(私たち)は皆さんの助けを本当に必要としています。
Kunaの内部構造、プロジェクトの目標、または自動改善がどのように機能するかについて興味がある場合は、コードをチェックするか、より技術的なフォローアップ投稿をお待ちください。いつものように、私のアイデアを洗練し、研究を前進させるのを助けてくれた人々に感謝したいと思います。私の博士課程の指導教員であるFishとYanは、私の研究の最大のインスピレーション源です。また、私の研究をインパクトのあるものにするのに役立つMetalware、AFRL、および国防総省からの洞察にも感謝しています。
実験の次のチェックポイントで皆さんにお会いしましょう!