HN 日本語サマリー

← 一覧へ戻る
プログラミング

バインドレスGPU抽象化レイヤーの作成

Writing a bindless GPU abstraction layer (kevin-gibson.com)

54 pointsby surprisetalk6 コメント

要約

この記事では、Sebastian Aaltonen氏の「No Graphics API」というブログ記事に触発され、既存のAPI上に「Loon GPU」というバインドレスGPU抽象化レイヤーを開発した経験が語られています。このレイヤーは、バッファオブジェクトの廃止、GPUポインタの多用、テクスチャとサンプラーのバインドレス処理などを特徴とし、CPU側とGPU側のコードを大幅に簡素化することを目指しています。

全文翻訳

[画像: The Loon GPU library logo, a line drawing of the head of a common loon.]

2025年12月、Sebastian Aaltonenは「“No Graphics API”」と題したブログ記事を公開しました。この記事はGPUハードウェアの進化の歴史をたどり、現代のハードウェア上で現代のグラフィックスAPIをどのように簡素化できるかについての意見を提示していました。多くのグラフィックスプログラマーと同様に、私もSebastianの記事を読んで非常に楽しみました。この記事に触発され、既存のプラットフォームAPIの上にレイヤーを重ねることで、彼が説明したAPIにどれだけ近づけるかを試してみることにしました。その結果、「かなり近い」ことがわかりました。その成果が、私がLoon GPUと呼んでいるプロジェクトであり、Githubで公開しています。このライブラリはまだ粗削りで、テストも不十分で、間違いなくバグだらけですが、使用可能であり、他の人が興味を持つかもしれないので早期に共有したいと思いました。現在、Vulkan 1.3とMetal 4のバックエンドを備えており、ここではAPIデザインがそれらのバックエンドにどのようにマッピングされるかを高レベルで解説します。

要約すると、APIは以下のようになります。

  • バッファオブジェクトはなく、代わりにどこでもGPUポインタを使用します。
  • 頂点バッファはありません。代わりに頂点プーリングを使用します。これははるかにシンプルです。
  • テクスチャとサンプラは、大きなテクスチャヒープオブジェクトへのインデックスとして、バインドレスに扱われます。
  • 明示的なバインドグループはありません。代わりに、シェーダーにデータを提供するためにデバイスポインタを渡します。

ポインタはファーストクラス

APIでは、mallocからGPUメモリを取得し、freeで解放します。マッピング先のバックエンドとは異なり、「バッファ」オブジェクトという概念は明示的にはなく、単なるメモリです。デフォルトでは、CPUに永続的にマッピングされ、CPUからの書き込みに最適化されたメモリを取得しますが、GPUローカルメモリやCPUからの読み出しに最適化されたマッピングメモリを要求することもできます。

元のブログで説明されているAPIからの変更点として、APIはGPUデバイスポインタを返します。これは3つのメモリタイプすべてがマッピングされる唯一のポインタであり、mallocを呼び出すとデバイスポインタが得られ、必要に応じてget_host_pointer()を呼び出すことでCPU側のポインタに変換できます。

GPUで作業を行うためにdraw()またはdispatch()関数を呼び出す際に、GPUポインタを提供してシェーダーに引数を渡すことができます。Metalではこれは簡単です。APIは任意のGPUポインタを引数テーブルにバインドするサポートを提供しています。Vulkanでは、これらをプッシュコンスタント経由でシェーダーに渡します。

内部的には、バッファオブジェクトを作成します。Vulkanでは、すべての割り当ては、割り当てられたメモリ範囲全体にバインドされたVkBufferを取得します。Metalでは、MTLHeapを作成し、同様に範囲全体をカバーするバッファを作成します。両方の基盤APIで、GPUポインタからバッファ+オフセットのペアにマッピングし直す必要がある場合があるため、割り当てられたGPUポインタのソート済みリストを格納し、必要に応じてバイナリサーチを行います。このライブラリを開発している間に、新しいVulkan拡張機能VK_KHR_device_address_commandsが公開されました。これは、利用可能になれば、このマッピングのほとんどの必要性を排除するはずです。一般的に、割り当てをかなり重いものとして扱い、ユーザー空間アロケータは必要なすべてのオブジェクトに対して割り当てるのではなく、それらを基盤として構築することを目的としています。これにより、ルックアップ配列のサイズは小さく保たれ、理想的にはルックアップが必要なときに高速になります。

大きな違いはないように思えるかもしれませんが、APIが単にポインタを提供してくれるだけで、CPU側のコードははるかに自然に感じられます。C言語のオブジェクトのように、より簡単に複雑なデータ構造を作成でき、人間工学に基づいたリングバッファを使用すれば、描画引数の構築は簡単です。CPU側のコードだけでなく、GPU側のコードも大幅に簡素化されるように感じられます。バインドレステクスチャと組み合わせることで、パイプラインレイアウト、バインドグループ、またはVulkanのバインディングモデルの複雑さについて心配する必要がなくなります。

シェーダー

このラッパーはシェーダーの見た目について意見を持っており、それが生のVulkanやMetalよりも使いやすい理由の一部です。アイデアは、すべてのGPUデータがバインドレスであり、シェーダーは単一のポインタから入力を受け取るというものです。これを機能させるためには、シェーディング言語が必要です。

この実験を開始したとき、Slangを使用することにしました。ポインタのサポートがあり、SPIRVやMetalにコンパイルでき、私のユースケースに適しているように見えました。そして、それはほとんどうまくいっています!しかし、残念ながら、これを使用する際の最も困難な部分となっているいくつかの複雑さがあります。

難しさを理解するために、達成したいことから始めましょう。Vulkanでは、各シェーダーに単一のポインタを含むプッシュコンスタント範囲を持たせたいと考えています。Metalでは、各ステージに単一のバッファをバインドしたいと考えています。Loonでは、現在のところ以下のようになっています。

ステージVulkan プッシュコンスタント範囲 (バイト)Metal バッファインデックス
Compute[0, 8)0
Vertex[0, 8)0
Fragment[8, 16)1

構文の面では、Slangはシェーダー引数をプッシュコンスタントにマッピングするための非常に良い方法を提供します。次のような構文でシェーダーステージ(例: Vertexステージ)を宣言できます。

[shader("vertex")] 
VertexStageOutput vertexMain(uniform InputData* args, uint32_t vertexIdx : SV_VertexID)

Slangはuniform InputData*パラメータをプッシュコンスタントに変換します。残念ながら、これらのプッシュコンスタントのレイアウトを制御する方法はありません。すべてのプッシュコンスタントは0から始まる範囲を取得します。これにより、Vulkanは描画呼び出し内のすべてのシェーダーでプッシュコンスタント範囲を共有するため、VertexシェーダーとFragmentシェーダーに個別の引数を渡すことが事実上不可能になります。これはgithubのissueで追跡されていますが、一般的なケースでSlangが解決するのは簡単な問題ではありません。回避策として、代わりにグローバルスコープで次のようなことを行います。

struct Args {
	VertexInput* vert;
	FragmentInput* frag;
};

[[vk::push_constant]] uniform Args args;

ただし、コンピュートシェーダーの場合、エントリーポイントパラメータ構文はうまく機能します。

残念ながら、Metalの状況はかなり悪いです。SlangのMetalサポートは実験的であり、VulkanとMetalバックエンド間でシェーダーを共有することを困難または不可能にするいくつかの問題に遭遇しました。問題や問題があります。将来的にはこれが改善されることを期待しており、修正できると思われるものについてはいくつかのPRを提出しましたが、それまでの間、SlangシェーダーをMetalに手動で変換し、実行時にそれらを切り替えています。これもSlangへの批判ではありません。Metalは明らかに主要なターゲットではなく、一般的なバインディングソリューションとしては機能しない奇妙な方法で使用しようとしています。理想的な解決策は、このバインディングモデル用に設計されたカスタムシェーダーコンパイラまたはトランスパイラかもしれませんが、それは現時点では私の範囲外です。カスタム言語は魅力的なウサギの穴ですが、今はベースライブラリの改善に時間を費やしたいです。

ここで言及する価値のあるもう一つの問題点は、Metalでスレッドグループサイズを計算することです。VulkanやDirectXではスレッドグループサイズはシェーダーアノテーションによって決定されますが、Metalはディスパッチ時に設定します(パイプライン作成時に最大サイズが決まります)。これにより、クロスプラットフォームAPIが困難になります。Metal 4は、required_threads_per_threadgroup()アノテーションの追加により、これが修正可能になるという希望を与えてくれましたが、現時点ではCPU側からこの値を取得する方法がありません。現在、Loonはコンピュートシェーダーにこのアノテーションを要求し、アノテーション値をハック的に解析してAPIに適切に渡しています。醜いですが、機能します。将来のリリースで、このアノテーション値がパイプラインステートオブジェクトを通じて公開されることを願っています。
Mesaの新しいKosmicKrispドライバーが改善されるにつれて、専用のMetalバックエンドを持つことへの関心が薄れるかもしれません。現在のところ、変換のパフォーマンスはそれほど良くありませんが、KKプロジェクトもまだ非常に初期段階であり、ここから改善されるはずです。

描画

これは些細な点ですが、標準的なグラフィックスAPIとは異なります。頂点バッファはありません。代わりに、シェーダー内の頂点データへのポインタを使用し、頂点インデックスを使用して必要なものをフェッチします。これにより、APIサーフェスが大幅に削減されます。インデックスバッファは引き続き使用されますが、これもGPUポインタを介して指定されます。

バインドレステクスチャとサンプラ

Metalでは、バインドレステクスチャとサンプラはAPIによってネイティブにサポートされています。Loon APIから取得するTextureViewおよびSamplerオブジェクトは、Metalが公開するGPUResourceID値にすぎず、シェーダーデータ構造に配置して期待どおりに使用できます。

Vulkanでは、1つの大きなバインディングセットを作成し、ディスクリプタインデックスを使用します。以下のテーブルは、Slangが生成するものに基づいたバインディングレイアウトを説明しています。

リソースタイプバインディングスロット
Samplers0
Sampled Images2
Read/Write images3

Slangでは、SamplerおよびTextureViewタイプはDescriptorHandle<T>にマッピングされ、バインディングレイアウトを気にせずにシェーダーからリソースにアクセスするために使用できます。

イメージレイアウトなし

イメージレイアウトとレイアウト遷移は、Vulkanで私が最も嫌いな部分の1つであり、それらを必要としないようにしたかったのです。Metalにはそれらがまったくありません。したがって、APIにそれらを含めることは純粋にVulkanのためになります。さらに悪いことに、それらはVulkanのバリアに結びついているため、APIで明示的なイメージ遷移を要求すると、Metalバックエンドで不要なパイプラインストールが発生し、パフォーマンスが低下する可能性があります。

イメージレイアウト遷移を通じて行われる、ほぼ直交する2つのことがあります。

  1. キュータイムラインでの初期化
  2. さまざまな用途に最適なレイアウトへの遷移

1番目は必須です。VulkanイメージはVK_IMAGE_LAYOUT_UNDEFINEDで作成され、使用する前に別のレイアウトに遷移する必要があります。これを回避するために、初期化されていないテクスチャのグローバルリストを用意し、次のコマンドバッファ送信時に、現在初期化されていないすべてのイメージをVK_IMAGE_LAYOUT_GENERALに遷移させる小さなコマンドバッファを記録します。これは単一キューでは問題ありませんが、複数のキュー(例: 非同期コンピュート用)があるシナリオでは、バインドレスの性質上、テクスチャがいつ使用されるかわからないため、これらのキュー間で同期ポイントが発生します。このイメージ初期化コマンドバッファが完了するまで、どのキューも作業を実行できません。

最適なレイアウトへの遷移については、基本的に無視します。Vulkanは最近VK_KHR_unified_image_layoutsを導入し、最新のNVidiaカードはこれをサポートしており、一般的なレイアウトをどこでも使用してもパフォーマンスが低下しないことを示唆しています。残念ながら、少なくともWindowsでは他のベンダーはこの拡張機能をサポートしていないようです。歴史的に、特定のイメージレイアウトを使用する理由は、AMDのDelta Color Compression(DCC)などのさまざまな最適化を可能にすることでした。これらの機能に関するハードウェアの詳細の多くは公開されていない(または見つけるのが難しすぎる)ため、Mesaドライバーのソースツリーを調べたところ、最新のAMDチップ(RDNA3以降)では、マルチサンプリングテクスチャを除いてイメージレイアウトは関係ないようです。したがって、パフォーマンスの一部を犠牲にする可能性があるとしても、APIサーフェスを完全に削除するためにこのトレードオフを行うことを嬉しく思います。将来的には、より多くのドライバーがVK_KHR_unified_image_layoutsをサポートし、一般的なレイアウトがどこでも問題なく使用できると確信できることを願っています。

できないこと

このプロジェクトを開始したとき、最初のステップは文字通りSebastianのブログ記事のAPIをテキストエディタにコピー&ペーストすることでした。実装中にいくつかの変更を加えましたが、現在の基盤APIではまったく実装できなかったのはほんの数点でした。

  • ブログにはgpuSetBlendState()関数があり、ブレンド状態をパイプラインから分離しています。VulkanではVK_EXT_extended_dynamic_state3でこれが可能になるかもしれませんが、Metalでは現在サポートされていません(その結果、VK_EXT_extended_dynamic_state3はMoltenVKまたはKosmicKrisp経由でAppleデバイスでサポートされていません)。今のところ、ブレンド状態はパイプライン作成の一部として残しています。
  • 元のデザインの分割バリアは、gpuSignalAfter()/gpuWaitBefore()を使用し、メモリ位置の値で待機します。これはfutex APIに似ています。残念ながら、既存のAPIにはこれに似たものはなく、簡単にエミュレートする方法もありません。簡略化された分割バリアAPIを考案したいと思いますが、それはかなり異なるものになるでしょう。
  • テクスチャヒープは不透明なオブジェクトです。元のブログでは単なるメモリ内のポインタでしたが、VK_EXT_descriptor_heap拡張機能を使用すれば技術的に可能でした。その拡張機能はまだ非常に新しく、Metalには実際の同等物がないため、不透明なオブジェクトとして残しています。

次のステップ

1.0リリースとして快適に呼べるようになる前に、サポートしたい機能がたくさんあります。APIの形状と人間工学には概ね満足していますが、より多くの例を書いて使用するにつれて変更されると予想しています。まだ安定性は期待しないでください!

現在、デバッグ可能性に取り組んでおり、デバッググループ、GPUキャプチャ、およびより良いエラー処理のサポートを追加しています。これは、ドライバーがあまり役立たないバインドレスアプローチではさらに重要になります。また、既存機能のテストカバレッジを向上させるために、例を拡張したいと考えており、多くのバグが平然と隠れていると予想しています。将来的には、メッシュシェーダーとハードウェアレイトレーシングのサポートもリストにありますが、コアがより安定するまでは優先度は高くありません。実装面では、VK_EXT_descriptor_heapとVK_KHR_device_address_commandsのサポートを追加することで、最新デバイスでのパフォーマンスが向上する可能性があります。

この記事を書いている時点で、シアトルを離れて家族とカナダに戻ることにしたので、仕事の合間にいます。この結果、今後しばらくはこのライブラリにかなりの時間を費やすことになるでしょう。失業により、私にとって良すぎるほどの自由時間があります。コンピュータグラフィックス、ガウシアン スプラッティング、またはコンピュータビジョンでの経験を持つC++開発者を探している場合は、ご連絡ください。主にトロント地域で探していますが、リモートワークにも非常にオープンです。

Loonに興味がある場合やフィードバックがある場合は、BlueSkyまたはMastodonでご連絡ください。

投稿に戻る