抽象化の引退
Retire the Abstractions (hazyresearch.stanford.edu)
要約
この記事は、AIエージェントの台頭により、従来のCUDA DSLのようなソフトウェア抽象化レイヤーが不要になる可能性を示唆しています。複雑なタスクをAIエージェントが曖昧な指示から直接コードを生成できるようになり、開発者は抽象化レイヤーを管理する代わりに、AIにその役割を委ねるようになっています。これにより、コードベースの価値や、知識伝達における抽象化の役割について再考が促されています。
全文翻訳
抽象化の引退
[画像: Happy Retirement のバナーの下でシャッフルボードをする猫]
TL;DR: CUDA DSLは引退に向かっていると考えています。
昨年、私たちはメガカーネルを作成しようとしました。しかし、メガカーネルの実装は非常に苦痛を伴うことがあります。複雑なデータ構造、広範なスレッド/SM/GPU間の同期、深くネストされた制御フローなどが必要です。それを頭の中で保持することはできなかったため、私たちはコンピュータサイエンスが70年間行ってきたこと、すなわち抽象化レイヤーを構築しました。それを使っても、Llamasが驚異的な速度で実行されるようになるまで、数ヶ月間レースコンディションやデッドロックと格闘しなければなりませんでした。
今年は、MoEメガカーネルを作成しましたが、抽象化を削除しました。エージェントを使用することで、複雑さを直接処理し、ゼロからターゲットに最適化されたコードを構築することができました。中間的なC++抽象化レイヤーは必要ありませんでした。
では、これは何を意味するのでしょうか?
オフローダーのオフロード
過去四半期で興味深いパターンに気づきました。すでに抽象化なしで実行できたタスク(例: 最適化されたGEMMカーネルの作成)は、適切なプロンプトがあればほぼ自動化されています。現時点では、エージェントにどのPTX命令を使用するか、ウォープの特殊化設計などを指示する必要がありますが、それでも最先端の性能に非常に迅速に到達します。
残念ながら、抽象化を必要としたタスク(例: メガカーネルの作成)は自動化されていません。今日、メガカーネルをワンショットで作成することはできません。しかし、エージェントにより、抽象化を注意深く設計されたC++テンプレートではなく、不完全で乱雑な形式でプロンプトに入れることができるようになりました。昨年は管理不可能だった複雑さが、曖昧な指示を受け取ってコードを生成できる「コンパイラ」を持つことで、管理可能になりました。メガカーネルに込められたアイデアは依然として重要でしたが、それを表現することははるかに容易になりました。
認知オフローダーとしての抽象化の役割は、引退し始めています。エージェントがその役割を担っています。
次は何が来るか
帰納法により、CUDA DSLが引退リストの次に来ます。私たちの愛するThunderKittensも含まれます。1おそらく来年、あるいはもっと早くでしょう。これがどこまで進むかは分かりません。どこかで、抽象化が単なる契約であり、オフローダーではなくなり、そこで止まるという底があります。しかし、ここからは見えません。
これが挑発につながります。
プロンプトがスタックのすべてのレイヤーを生成できる場合、コードベースの価値は何でしょうか?
コードベースの魅力は精度です。それは曖昧さのない唯一の成果物であり、特定の機械が同じように二度実行するものです。しかし、精度にはコストがかかり、そのコストは脆さです。コードベースは、言語、フレームワーク、ハードウェアターゲット、そしてそのコードを書いたチームだけが本当に理解している一連の規約に縛られています。移植可能に見えますが、ほとんどそうではありません。
プロンプトはその逆です。それは曖昧ですが、伝達されます。同じ意図を異なるワーカー(人間または機械)に渡した場合、そのワーカーがギャップを正しく埋めるのに十分賢ければ、ギャップを事前に標準化することなく正しい結果が得られます。
それが興味深い点です。エージェントにより、指定不足の指示を読み取って正しいことを行うインテリジェントな実行者と、ダミーの実行者が判断を必要としないようにすべてのギャップを指定することとの間で競争が生まれています。DSLとフレームワークは、コードベースとして表現されたその仕様です。実行者がダミーでなくなるなら、DSLはその基盤を失います。
コードベースは不完全な媒体です。私たちはそれを愛していますが、それは巨大で、装飾的で、バグに満ちています。それを書いたエンジニアが不注意だからではなく、次の理由からです。
- 機械にとって十分に正確であること、
- 人間にとって十分に読みやすいこと、そして
- 将来に対して十分に柔軟であること
は、トークンの文字列が満たすにはほぼ不可能な制約です。
そして、私たちは以前にも不透明な変換を受け入れてきました。実際に実行されるアセンブリを書く人はほとんどいません。コンパイラは、チームの誰も指摘できない方法で、並べ替え、インライン化、ベクトル化し、実行されるものを変更します。コンパイラが私たちよりも正しいことが多かったため、私たちはその取引を受け入れました。インテリジェンスはすでに意図と機械の間に存在しています。問題は、それをより高く配置することが、程度の差なのか、種類の差なのかということであり、私たちはそれが種類ではないと考えています。
適格性
確かに、私たちは抽象化の役割について少し軽率でした。それを手放す前に考慮すべきことはもっとあります。
第一に、抽象化は単に認知負荷を管理する方法ではなく、アプリケーション、再利用、レビューが付着する共有サーフェスです。それがなければ、検証課題のカンブリア爆発が起こります。10チームがThunderKittensの同じタイルセマンティクスをテストし、それが時間とともに蓄積されます。10チームがカスタムメイドのメガカーネルを生成すると、10個の断片化された問題セットができ、それらは階層化されません。
第二に、共有されたオラクルはありません。メガカーネルの場合、テストが契約であり、作業です。誰がそれらを書き、何がそれらをチェックするのでしょうか?フレームワークを削除したとき、私たちはオラクルを保持しました。参照実装、数値許容誤差、プロファイルされたGanttチャートがどのようになるべきかという私たちの直感などです。それが、引退する抽象化が後に残したものです。オラクルがそれを超えるまで、レイヤーを引退させることはできません。誰もオラクルが何であるかを知らないドメインでは、これのどれも適用されず、足場を維持します。
最後に、私たちは単一の、偏ったサンプルです。私たちは深く理解しているドメインで抽象化を削除しました。抽象化は、まだそれを持っていない人々に知識を伝達するためにも存在します。エージェントが私たちにとってギャップを埋めることが、ウォープの特殊化について初めて聞く人にとっても埋めるかどうかは分かりません。おそらくエージェントはオンボーディングレイヤーを時代遅れにするでしょう。あるいは、人間はまだそれらを必要としており、私たちは訓練された人々のための快適な位置を説明しただけかもしれません。
年金
いずれにせよ、変革は避けられないように見え、愛するフレームワークを手放さなければならないかもしれません。
では、何を保持するのでしょうか?意図、不変条件、テスト、そして現在ThunderKittensの抽象化の中にあり、ハードウェア上でそれらを正しく保っている、苦労して得たドメイン知識です。ライブラリは消えるかもしれませんが、CUDAやHIPなどが手作業で調整される代わりに再生成されるというだけで、その知識は蒸発しません。
そして、何が変わるのでしょうか?信頼は一段階上に移動します。 diffではなく、仕様とオラクルを精査します。実装は使い捨てになります。特定のコンパイルのキャッシュであり、真実の情報源ではありません。コードベースは消えません。単に、「プロジェクト」と言うときに私たちが意味するものではなくなります。
抽象化は引退します。アイデアは残ります。
- 私たちはThunderKittensを更新、保守、そして愛し続けます。Vera Rubinカーネルがまもなく登場します!↩