HN 日本語サマリー

← 一覧へ戻る
プログラミング

Triton: QEMU向けのDirectX 11ドライバー

Triton: DirectX 11 Driver for QEMU (blog.getutm.app)

186 pointsby electricant40 コメント

要約

本記事では、QEMU仮想マシンでWindowsゲスト向けのグラフィックスアクセラレーションを実現する新しいWindowsドライバー「Triton」を紹介します。Tritonは、既存のNeptuneレイヤーと連携し、DirectX 11の完全なサポートを提供します。これにより、従来のDLL差し替え方式の課題であったパフォーマンスの低下や互換性の問題を解決し、よりネイティブに近いグラフィックス体験を目指します。

全文翻訳

Introducing Triton: QEMU向けDirectX 11ドライバー

前回の記事では、VirtIO向けのDirect3Dプロトコル転送レイヤーであるNeptuneを紹介しました。Neptuneにより、ハイパーバイザー境界を越えてDirect3D APIコールをシリアライズできるようになり、Linuxホスト上でLinuxゲストOSのWineゲームを、ゲストOS内でDXVKを直接使用するよりも高速に実行できるようになりました。確かに、その時点での成果はそれほど劇的ではありませんでしたが、私たちの真の目標である、Windowsゲスト向けの最新グラフィックスアクセラレーションへの基盤が築かれました。Tritonと呼ばれる全く新しいWindowsドライバーを開発することで、これを達成しました。TritonはNeptuneと連携し、QEMU仮想マシンに完全なDirectX 11サポートをもたらします。

画像: macOSホスト上のQEMUで実行されているゲームのスクリーンショット

macOS上のQEMUで仮想化されたWindows 11 ARM64で実行されているCrash Bandicoot Trilogy (x64)

Tritonとは?

NeptuneがDirect3D APIコールをシリアライズでき、WindowsがDirect3Dを使用しているなら、もう完了ではないかと疑問に思うかもしれません。WineでDirect3Dが動作するなら、Windowsでも動作するはずですよね?結局のところ、Wineとは何でしょうか?それはWindowsエミュレーターではありませんか?短い答えは、ある程度は可能です。Neptune Mesaドライバーはd3d11.dllとdxgi.dllをビルドし、Direct3D APIセットを完全に実装しています。そのため、これらのファイルをゲームの実行可能ファイルと一緒に配置すれば、Windows自身のドライバーの代わりにロードされ、その方法でいくつかのゲームを実行できるようになります。これは以前の試みでも行われたアプローチであり、DXVK→Vulkan→Venusを使用してゲストOS内でDirect3Dをローカルで実行していました。このアプローチにはいくつかの欠点があります。まず、そして最も重要なこととして、ウィンドウコンポジター(DWM)がフレームを画像として「認識」するため、GPUイメージバッファを正しいウィンドウ位置にコピーするためにCPUのブライティングを使用する必要があるため、良好なパフォーマンスを得ることができません。フルスクリーンのアプリケーションではネイティブにスキャンアウトするためのトリックを使用できるかもしれませんが、スムーズなデスクトップエクスペリエンスを得ることは決してできません。第二に、d3d11.dllとdxgi.dllはWindowsのコアコンポーネントであるため、システムファイルを置き換えてもWindowsが引き続き機能することを期待することはできません。たとえそれが機能したとしても、このような変更を検出するアンチチートを備えた多くのゲームをプレイすることはできません。そのため、DLLをロードできるのはアプリケーションごとに限られます(互換性は変動します)。これが最後の点につながります。グラフィックスアクセラレーションを機能させたい各アプリケーションにファイルをコピーする必要があるのは、ユーザーフレンドリーな体験ではありません。正しいアプローチは、DirectX APIを実装することではなく、DirectX DDI(Device Driver Interface)を実装することです。

DDI

ユーザーモード アプリケーション Direct3D 11 (d3d11.dll) ユーザーモードドライバー (DDI) DXGI (dxgi.dll) カーネルモード カーネルモードドライバー ハードウェア / 仮想化

Windowsでは、アプリケーションはシステムのDirect3DおよびDXGIライブラリと通信します。d3d11.dll(および古いバージョン)は、状態追跡の複雑な作業を行い、DDIを実装するユーザーモードドライバー(UMD)により整理されたコマンドストリームを送信します。アプリケーションは、グラフィックスアダプターの初期化、スワップチェーンの設定などを行うためにdxgi.dllとも通信します。UMDはDXGIを介してカーネルモードドライバー(KMD)とも通信します。KMDはグラフィックスベンダー(私たち)によって実装され、実際のハードウェア(または私たちの場合は仮想ハードウェア)を駆動します。Wineの場合、カスタムd3d11.dllとdxgi.dllを実装してAPIコールをインターセプトしましたが、Windowsの場合は、UMDとKMDを実装する必要があります。

したがって、課題は、DirectX DDIインターフェースを持つUMDを実装し、VirtIOデバイスと通信するKMDとのプライベートインターフェースをセットアップすることです。

幸いなことに、後者はすでに解決されています。anonymix007とarehnmanは、独立してVenus(Vulkan)用のKMDに取り組んでいました。Vulkanは完全に独立したグラフィックスAPIであるため、DirectX DDIを実装する必要はなく、そのUMDは「d3d11.dllを置き換える」アプローチに似ており、KMDと直接通信してQEMUにコマンドを送信します。NeptuneはVenusをモデルにしているため、高レベルのカーネルインターフェース(DMA、コマンドバッファなど)は非常に似ており、UMDとKMD間のインターフェースはまったく同じです。最終的に、anonymix007のブランチをベースとして選択しました。なぜなら、彼らの実装はKMD側でより多くの機能が動作していたからです。

これで難しい部分が残りました。DirectX 11のDDIを実装する必要があります。新しいシステムを設計する際には、先行者が同様の問題をどのように解決したかを理解することが常に賢明です。残念ながら、参考になるオープンソースのDDI実装はあまりありません。Windowsグラフィックスドライバーは非常にニッチな分野であり、専門家のほとんどは少数のグラフィックスハードウェアベンダーのいずれかで働いています。これが、QEMUがWindows GPUアクセラレーションで決して大きく進歩しなかった理由の一つです。

幸いなことに、私たちが学ぶことができる2つの動作するオープンソース実装があります。まず、MesaにはDirectX 10 UMDがあります。前回の記事を読んでいない方のために、要約すると、MesaはLinuxでOpenGLを実装しています。MesaはOpenGLの状態追跡を行い、Gallium APIコールを発行します。Mesa DirectX 10 UMDは、同じGallium APIコールを発行するOpenGLの代替手段です。その後、Galliumバックエンドドライバー(AMD、Intel、VirGLなど)がそれらをネイティブグラフィックスドライバーAPIに変換します。アップストリームのMesaはDirectX 10のソフトウェアラスタライザーバックエンドのみをサポートしていますが、VirGLで動作させるための最近の作業がありました。残念ながら、macOSのvirglrendererは、このUMDが必要とする多くの機能をサポートしていないため、macOSホストのグラフィックスアクセラレーションを取得する実行可能な方法ではありません。しかし、Mesaコードベースとの統合は、Tritonを統合するためのクリーンな例を提供してくれます。

VirtualBoxには、唯一の動作するオープンソースDirectX 11 UMDがあります。しかし、このドライバーを私たちの用途に「採用」することはできません。彼らのドライバーの動作方法は、DDIコールを中間バイトコードに変換し、ホスト側でそのバイトコードをDirectX APIコールに解釈することです。このバイトコードエミッターとインタープリターをQEMUに移植するのは(AIの助けを借りて)簡単かもしれませんが、いくつかの理由で私たちはそれを避けました。第一に、DDIからバイトコードへの変換、そしてそのバイトコードをDirectX APIに戻すという変換は、互換性を制限するバグにつながる可能性があると考えています。実際、オンラインのフォーラムスレッドを読むと、多くのゲームがこの理由でVirtualBoxで動作しないようです。変換エンジンに欠落している機能やバグがある場合、修正には多くの積極的なメンテナンス作業が必要となり、私たちはOracleに依存したくありません。第二に、VirtualBoxのGPLv3とvirglrendererのMITライセンスまたはQEMUのLGPLv2の間にはライセンスの非互換性があります。VirtualBoxのコードを統合することはできませんが、そこから貴重な洞察を得ることができました。実装されたDDIプロトタイプのリストとエラーを返したプロトタイプのリストは、動作する実装の最小要件として使用されます。この情報はMSDNドキュメントからは容易に入手できず、すべてのプロトタイプを実装しようとすると、範囲が膨大になります。彼らのDXBC署名アルゴリズムも理解するのに役立ちます。なぜなら、Microsoftはそれをどこにも公開していないからです。

中間トランスポート形式を使用してDDIコールを行うVirtualBoxのアプローチを取りたくなかったので、より良いことができます。d3d11.dllを、DirectX APIコールをUMD DDIコールに大まかに変換するコンポーネントとして想像すると、私たちのUMDに期待することは、DDIコールをAPIコールに戻すことです。これはなぜ有用なのでしょうか?なぜなら、新しいトランスポートを考案することなく、テスト済みの動作するNeptuneプロトコルを使用できるからです。ホスト側では、これらのコールを実行するために追加の作業を行う必要はありません。VirtualBoxはゲストにエミッターとトランスポートレイヤー、そしてホストにインタープリターとディスパッチャーを必要とします。各ステップは遅延を追加し、エラーや非互換性を導入する可能性があります。ゲストにはまだエミッターとトランスポートが必要ですが、ホスト側ではインタープリターは必要ありません。なぜなら、デシリアライズされたNeptuneコマンドはDirectX 11 APIコールであり、追加の解析なしにディスパッチできるからです。変換ステップが1つ減るということは、間違いの機会が減るということです。DDI→API変換のもう1つの利点は、D3D11のほとんどのDDIコールにはAPIの同等物があることです。つまり、変換は一部のAPIハンドルをデバイスハンドルにマッピングし、API→DDI列挙型の違いをルックアップするだけで済みます。しかし、最大の利点は、物語の中で最も複雑な部分でもあるDXBCシェーダーコードです。

DXBC

DXBC(DirectX Byte Code)は、Microsoftのシェーダーコンパイラー(FXC)が出力するIRコードです。具体的には、古い(DirectX 12以前の)形式であり、DirectXが使用するシェーダー言語であるHLSLからコンパイルされます。TritonはDDIからAPIへの逆変換として機能するため、このシェーダーバイトコードを逆アセンブルして変換する必要はありません。これは、複雑さと互換性の観点から私たちにとって大きなメリットです。残念ながら、バイトコードをホストにそのまま渡すほど単純ではありません。

アプリケーション作成者 HLSLシェーダーソース HLSLソース FXC HLSL → DXBC シェーダーコンパイラーが出力 DXContainerヘッダー + パーツ ヘッダーマジック、バージョン、パーツテーブル SHDR DXBCバイトコード ISGN 入力シグネチャ(メタデータ) OSGN 出力シグネチャ(メタデータ) … その他のメタデータパーツ ID3D11Device::CreateVertexShader はコンテナ全体を渡す d3d11.dll Direct3D 11ランタイム pfnCreateVertexShader は SHDR パーツのみを渡す UMD (Triton) ユーザーモードドライバー

コンパイラー(FXC)は、DXBCバイトコードを他のメタデータと共に発行します。d3d11.dllはこのメタデータを期待して消費します。DDIが呼び出されると、バイトコードのみが渡されます。これは、APIコールへの有効な「逆変換」を行うために、バイトコードを解釈してすべてのメタデータを再構築する必要があることを意味します。最終的にはバイトコードをそのまま渡しますが、元のDXContainerファイルを見ないため、ホストのDirectXレンダラーが期待するフィールドを合成する必要があります。これはAIアシスタントが処理した多くの試行錯誤でしたが、私たちの実装の中で最も弱く、最もエラーが発生しやすい部分です。

ホストレンダラー

これまでのところ、以下のようになっています。

GUEST HOST ゲスト → ホスト境界 アプリケーション · DirectX / DXGI APIコール システムライブラリ · TritonへのDDIコール Triton · DXBC → DXContainer → Neptune Neptune UMD · リングバッファへのシリアライズ KMD · ホストへのVirtIOコマンド QEMUホスト · virglrendererへのコール Neptuneホスト · デシリアライズ → ホストDirectX ホストDirectX · フレームをレンダリング 1 2 3 4 5 6 7 8

  1. アプリケーションがシステムライブラリにDirectXおよびDXGI APIコールを行います。
  2. システムライブラリがDDIコールを通じてTritonを呼び出します。
  3. Triton DDIは、生のDXBCバイトコードをDXContainerに戻し、NeptuneへのDirectXおよびDXGI APIコールを行います。
  4. Neptune UMDはAPIコールをシリアライズし、KMDによって管理されるリングバッファを介して渡します。
  5. KMDはVirtIOインターフェースを使用してホストにコマンドを送信します。
  6. QEMUホストがコマンドを処理し、Neptuneコールをvirglrendererに渡します。
  7. virglrenderer内のNeptuneホストモジュールがAPIコールをデシリアライズし、ホスト側のDirectX実装に転送します。
  8. ホストDirectX実装がフレームをレンダリングします。

最後の点に焦点を当てましょう。DirectX APIコールがホストに到達したら、レンダリングする必要があります。Wine on LinuxのためにNeptuneを導入したとき、スワップチェーン画像をDMAbufリソースとしてエクスポートするためにDXVKをフォークしました。当時、共有テクスチャの問題を回避するために、ホスト側でスワップチェーンを実装することにしました。内部的には、スワップチェーン画像はテクスチャとして表されますが、これらのテクスチャは特別であり、ホストはそれらを見つけて最終フレームを画面に表示するために使用する必要があります。私たちのWine DXGIライブラリは、すべてスワップチェーンAPIコールをホストに直接転送するため、ホストはどのテクスチャがバックバッファとして使用されるかを「知って」います。その後、個別のVirGLコマンドを使用して、テクスチャブロブをVMウィンドウにスキャンアウトできます。これは、ゲストドライバーの単純さとDXVKの最小限の変更と引き換えに、ホストvirglrendererプロセスでのスワップチェーンロジックの複雑さを犠牲にします。

Tritonを導入する際に、ホスト側でのスワップチェーン処理は間違いだったと気づきました。Windowsでは、DXGIはUMDと通信するシステムコンポーネントです。DXGIはバックバッファの作成、フレーム間隔、モード切り替えなどを処理します。UMDは(ほとんどの場合)DXGIに特別な扱いをしないため、DDIコールをAPIコールに戻す「逆変換」という私たちの方法は、DXGIでは実際には機能しません。これは、ホスト側に追加したすべてのスワップチェーンロジックが大幅にバイパスされることを意味します。デスクトップコンポジター(DWM)は共有テクスチャ上で動作します。あるプロセスのDXGIは、独自のバックバッファにコンテンツをレンダリングし、そのバックバッファはデスクトップ、ウィンドウクロムなどを描画するDWMプロセスと共有されます。DWMが構築する最終フレームは、スキャンアウト用に設定されます。これは、DMAbufエクスポートに加えて、DXVKでもDMAbufインポートを実装する必要があることを意味します(個別のゲストコンテキストは個別のホストコンテキストに対応します)。インポートとエクスポートの両方を実装すると、ホスト側のスワップチェーンロジックは不要になるため、Wineドライバーをより統一するために、すべてのスワップチェーンロジックをゲストのNeptuneドライバーに移動しました。この移動の追加の利点は、Venusの設計により密接に追従するため、virglrendererがクリーンに保たれることです。

画像: Ubuntuホスト上のQEMUで実行されているWindowsのスクリーンショット

Ubuntu上で実行されているQEMU KVMでのDXVK共有テクスチャと連携するWindows DWMコンポジット

macOS

macOSでvirglrendererを動作させるにはいくつかの課題がありますが、VenusがmacOSで動作するようになったため、バックエンドの課題のほとんどは解決されました。残りのタスクは、Neptuneをホスト側のDirectXレンダラーに接続することです。macOSでのDirectXの目標を達成できる3つの主要なプロジェクトがあります。しかし、それらはすべてWineの実行を主なターゲットとして設計されています。NeptuneとTritonが必要とする共有テクスチャと共有フェンス機能が不足しています。

DXVK + MoltenVK

DXVKはLinuxホストで使用したプロジェクトです。D3D11 APIをVulkan APIに変換し、ホストのVulkanドライバーを使用してレンダリングを行います。Linuxでは、Vulkanはファーストクラスの市民であり、すべての最新グラフィックスハードウェアは現時点で優れたVulkanドライバーを備えているため、これはうまく機能します。しかし、macOSでは、Vulkanは別の変換レイヤーであるMoltenVKによって処理され、Vulkan APIをMetal APIに変換します。前回の記事で、DXVK + MoltenVKを動作させることのユニークな課題について話しましたが、要約すると、それは不安定であり、互換性のためにさらに多くの作業が必要です。

画像: パッチ適用されたMoltenVK + Venusで実行されているCrash Bandicoot

パッチ適用されたMoltenVK + Venus + DXVK(ゲスト)で実行されているCrash Bandicoot

DXMT

Vulkanの問題を回避するため、DXMTはD3D11を直接Metal(D3D12も近日対応予定)に変換します。DXVKと同様に、このプロジェクトは主にWineを念頭に置いて設計されているため、最初のステップはライブラリのネイティブバリアントを実装することでした。私たちのフォークでは、DXMTはmacOS共有ライブラリとしてビルドでき、テクスチャとフェンスのインポート/エクスポートのための追加のエクスポートを公開します。

画像: DXMTバックエンドでのFireStrike結果のスクリーンショット

DXMTバックエンドを使用してmacOSホストで実行されているWindows 11 ARM64用のFireStrike (x64)

共有テクスチャ

dxmt-nativeの設計における主要な障害の1つは、プロセス境界を越えることができる共有テクスチャの実装です。virglrendererはレンダラーコンテキストごとにヘルパープロセスを起動するため、ほぼすべてのゲストD3Dコンテキストが個別のvirgl_render_serverプロセスに対応するため、プロセス境界を越える必要があります。この厳密なプロセス分離により、レンダラーがクラッシュしてもVM全体がダウンすることはありません。古いスレッドベースの分離モデルを強制し、標準のMTLTextureハンドルをレンダラーコンテキスト境界を越えて使用できます(そして、最終的なiOSポートではそれが必要になります)が、アップストリームメンテナーはこれをサポートしたくありません。プロセス間でMetalリソースを共有するのは難しい場合がありますが、いくつかの「十分にサポートされている」方法があります。

  1. MTLSharedTextureHandle + XPC: これはAppleが推奨する方法ですが、XPCを導入する必要があります。これはそれ自体が厄介な問題です。QEMUとvirglrendererはファイルディスクリプタとSCM_RIGHTSを使用してプロセス間でハンドルを渡しますが、MTLSharedTextureHandleはこれをサポートしていません。最高のパフォーマンスを得るためには、最終的にはvirglrenderer、QEMU、SPICE全体でこれを採用すべきですが、この最初の導入では、プロジェクト全体に大きなアーキテクチャ変更を加えたくありません。
  2. IOSurface: IOSurfaceにレンダリングし、グローバルハンドルを他のプロセスと共有できます。これはUTMでアクセラレーテッドレンダリングを実装する方法ですが、Appleによって非推奨となった技術を使用しています。また、IOSurfaceへの追加のGPUブライトのペナルティを支払う必要があり、virglrendererにレンダリングパイプラインを設定する必要があるため、複雑さが増します。
  3. CALayerHost: Chromeやその他の古いmacOSアプリで使用されるプライベートAPIで、レンダリングは別のプロセスで行われます。これは遅延の点でIOSurfaceよりも(CoreAnimationはグラフィックススタックの上位にあるため)著しく悪く、逆方向(CALayerからMTLTextureへ)はさらに複雑です。この手法はオフラインレンダリングには有効かもしれませんが、コンポジットする必要がある共有テクスチャには機能しません。

これらのいずれも、SCM_RIGHTSを使用して異なるプロセス間でテクスチャを共有するための良い方法を提供しませんが、新しいアイデアが(Venusの議論中に)@Drakulix(macOSへのWayland導入に取り組んでいた)によって提案されました。彼のアイデアは、shm_open()を使用して共有メモリオブジェクト(SCM_RIGHTSで機能するファイルディスクリプタとして表すことができる)を作成し、それをnewBufferWithBytesNoCopy:length:options:deallocator:を使用してMTLBufferにマッピングすることです。これにより、CPUとGPUの両方から見える単一のメモリ領域が得られ、他のプロセスでも同様に繰り返すことができます。これらすべては、UMA(Unified Memory Architecture)のおかげでApple Siliconで機能します。つまり、CPUとGPUは単一の物理アドレス空間を共有します。唯一の欠点は、メモリ効率の悪い線形テクスチャでのみこれを行うことができることです。しかし、共有テクスチャの数が少ない限り、これは問題にならないはずです。

共有フェンス

異なるプロセス内の異なるコンテキスト間でテクスチャを共有することは、方程式の半分です。もう半分は同期です。プロデューサープロセスAが共有テクスチャに描画し、コンシューマープロセスBがすべての共有テクスチャを最終的なスキャンアウト画像にコンポジットする場合、Bがコンポジットを開始したときにAが描画中であると、ティアリングが発生します。これを防ぐには、プロセスAがBが描画中にブロックし、BがAが描画中にブロックできるようにするフェンスが必要です。さらに複雑にするために、GPUはCPUと非同期に実行するため、GPUフェンスが必要です。理想的には、BのGPUプロセスは、AのCPUプロセスによるポーリングなしにAのGPUフェンスを消費できる必要があります。これを達成する唯一の方法は、XPCを必要とするMTLSharedEventHandleを使用することです。しかし、2つの事実に依存することで、エミュレートされたフェンスで大部分を達成できます。

  1. ほとんどの共有フェンスイベントは、フレーム完了境界で発生します。これは、CPU側の待機による追加遅延が、フレームあたり1つのフェンスに制限されることを意味します。
  2. フェンスイベントプロデューサーはGPU上で実行でき、コンシューマーはCPUで待機する必要があります。これは、片側だけでCPUサイクルを無駄にするだけでよいことを意味します。

CPU GPU プロデューサープロセス (A) コンシューマープロセス (B) プロデューサーCPU 1 · 描画 + フェンス書き込みを送信 ClearUnorderedAccessViewUint コンシューマーCPU 4 · CPU上で共有メモリをスピンポーリング — GPUポーリングなし(Apple) 5 · コンポジットを送信(確認後) プロデューサーGPU 2 · すべての描画を実行 3 · 描画後に順序付けられたタイムライン値を書き込み ⇒ 描画完了 コンシューマーGPU 6 · 最終的なスキャンアウト画像に共有テクスチャをコンポジット 安全 — 描画はすでに完了 共有メモリ UMA · 両方でマッピングされたタイムライン値 フェンス 共有テクスチャ レンダリングされたピクセル

エミュレートされたフェンスの動作は次のとおりです。プロデューサーは、コンシューマープロセスによってマッピングされた共有メモリバッファのアドレスを持つID3D11DeviceContext::ClearUnorderedAccessViewUintを呼び出します。このAPIコールにより、共有メモリに任意の整数を書き込むことができ、タイムライン値を書き込むために使用します。書き込みはGPUによって行われるため、Aの他の描画コールと順序付けられます。つまり、GPUでタイムライン値の書き込みが発生したときに、すべての描画が完了したことがわかります。コンシューマーは共有メモリをポーリングする必要があります(これはCPU上で行う必要があります。Apple GPUにはメモリ値ポーリング命令がないため)。更新されたタイムライン値を確認すると、描画が完了したこと、およびテクスチャを消費しても安全であることがわかります。コンシューマーCPUは、フェンスイベントを確認するまで描画コールをキューイングできないため、GPUが次の送信を待機してアイドル状態になる可能性がある間に遅延が発生します。

D3DMetal

macOS向けの最後のDirectX API実装は、AppleがGame Porting Toolkitのために作成したものです。元々は開発者がApple SiliconでWindowsゲームをテストするために設計されたGPTには、Metal上のD3D11およびD3D12の実装であるD3DMetal.frameworkと、DXBC/DXIL(MicrosoftのプロプライエタリGPUシェーダーバイトコード形式)からAIR(AppleのプロプライエタリGPUシェーダーバイトコード形式)へのトランスパイラーが含まれています。DXMTと同様に、Wineと連携するように設計されています。DXMTと同様に、共有テクスチャや共有フェンスはサポートしていないため、同様の方法でエミュレートする必要があります。ただし、DXMTとは異なり、オープンソースではないため、APIコールをインターセプトして出力を変更するために、スウィズリングとvtableパッチングを使用する必要があります。

これがd3dmetal-nativeで行ったことです。これはD3DMetal.frameworkのラッパーであり、Wine外で動作させ、これらの追加機能をサポートできるようにします。APIインターフェースをDXMTと互換性があるように設計したため、virglrendererで両方のインターフェースを簡単に切り替えることができます。その結果、DXMTよりもパフォーマンスが大幅に向上しました。

画像: D3DMetalバックエンドでのFireStrike結果のスクリーンショット

D3DMetalバックエンド(Rosetta)を使用してmacOSホストで実行されているWindows 11 ARM64用のFireStrike (x64)

D3DMetalはx86_64スライスしか持たないため(Wineとの使用を想定していたため)、virgl_render_serverプロセス全体をRosettaで実行する必要があります。それでも、ネイティブARM64で実行されるDXMTよりも優れたパフォーマンスを発揮します。

残念ながら、D3DMetalのライセンス条件では、「Appleブランド製品で使用するためのビデオゲームの開発、テスト、または評価のみを目的とする」場合を除き、使用が明示的に禁止されており、配布できるのは「非商用目的のみ」です。これは、D3DMetalをバンドルアプリケーションの一部として含めることができないことを意味します。興味深いことに、CrossOver、商用WineディストリビューションはD3DMetalをバンドルしています。彼らはAppleと特別な契約を結んでいると聞きました。この取り決めについてご存知の方がいれば、ご連絡ください。パフォーマンスの向上により、UTMにD3DMetalを含めたいと考えています。

試してみてください

ここで説明されているすべての作業はオープンソースです。もしあなたがいじくり回すのが好きなら、試してみてフィードバックを提供してください。これらの変更の多くをアップストリームに積極的に取り組んでおり、まもなくUTMを更新してこれらの機能をサポートする予定です。これにより、誰もがコンパイルせずに試すことができます。

ヒント: AIにこのページを指し示し、セットアップするように依頼してください。

コード

ビルド(macOS)

すべてが1つのステージングプレフィックスにインストールされ、そのプレフィックスのpkgconfigディレクトリを通じて各コンポーネントが見つけられるため、まずこれらを設定し、セッション全体で維持してください。

export SRC=/path/to/checkouts       # gitリポジトリがある場所
export PREFIX=/path/to/prefix       # ステージングインストールルート: bin/ lib/ libexec/ share/
export ANGLE_INC="$SRC/WebKit/Source/ThirdParty/ANGLE/include"
export ANGLE_LIB="$PREFIX/ANGLE.xcarchive/Products/usr/local/lib"

Xcode(Metalツールチェーン付き)、コマンドラインツール、Meson 1.3+、Ninja、pkg-config、CMake、そしてDXMT用のLLVM 15のインストール(正確なメジャーバージョン、ヘッダーと静的ライブラリ付き)が必要です。

ANGLEとlibepoxy

QEMUの-display cocoa,gl=esパスとvirglrendererのGLバックエンドは、WebKitツリーがビルドするANGLE-on-Metalを経由し、それにディスパッチするlibepoxyが追加されます。これはVenusの作業から変更されていませんが、他のすべてに前提条件となります。

git clone --filter=tree:0 --no-checkout https://github.com/utmapp/WebKit.git "$SRC/WebKit"
git -C "$SRC/WebKit" sparse-checkout init
git -C "$SRC/WebKit" sparse-checkout set Source/ThirdParty/ANGLE Configurations Tools/ccache
git -C "$SRC/WebKit" checkout 6a7f464047e2f6f2b65fe315aaad5d1ff3229cb7
cd "$SRC/WebKit/Source/ThirdParty/ANGLE"
xcodebuild archive \
  -archivePath "$PREFIX/ANGLE" \
  -scheme ANGLE \
  -sdk macosx \
  -arch arm64 \
  -configuration Release \
  WEBCORE_LIBRARY_DIR=/usr/local/lib \
  NORMAL_UMBRELLA_FRAMEWORKS_DIR="" \
  CODE_SIGNING_ALLOWED=NO \
  MACOSX_DEPLOYMENT_TARGET=11.0
git clone -b macos-venus https://github.com/utmapp/libepoxy.git "$SRC/libepoxy"
meson setup "$SRC/libepoxy/build" "$SRC/libepoxy" \
  "-Dc_args=-I$ANGLE_INC" \
  -Degl=yes \
  -Dx11=false \
  "--prefix=$PREFIX"
meson install -C "$SRC/libepoxy/build"
DXMT

DXMTはデフォルトでWineクロスビルドとしてビルドされます。クロスファイルなしで渡すとネイティブビルドになり、すべてのモジュールを単一のlibdxmt-native.dylibにリンクし、D3D11/DXGIエントリポイントと、Neptuneレンダラーサーバーが使用する埋め込みAPI(Win32スタイルのイベントと共有テクスチャ)をエクスポートします。

export LLVM15=/path/to/llvm@15   # arm64 LLVM 15インストールルート
git clone https://github.com/utmapp/dxmt.git "$SRC/dxmt"
cd "$SRC/dxmt"
meson setup build-native \
  "-Dnative_llvm_path=$LLVM15" \
  --buildtype=release \
  "--prefix=$PREFIX"
meson install -C build-native

Homebrewのllvm@15は$LLVM15で動作します。DXMTのdocs/DEVELOPMENT.mdにもソースからのビルド方法が記載されています。

d3dmetal-native

D3DMetal.frameworkはx86_64のみで提供されるため、このライブラリとそれをロードするすべてのプロセスはx86_64である必要があります。-arch x86_64を選択するクロスファイルはリポジトリにあり、Rosetta 2は結果(テストスイートを含む)を透過的に実行します。

git clone https://github.com/utmapp/d3dmetal-native.git "$SRC/d3dmetal-native"
cd "$SRC/d3dmetal-native"
meson setup build \
  --cross-file build-macos-x86_64.txt \
  -Dtests=disabled \
  "--prefix=$PREFIX"
meson install -C build

フレームワーク自体はバンドルされていません。AppleのGame Porting Toolkitから入手し、実行時にD3DMETAL_FRAMEWORK_PATHでライブラリを指定してください(またはフォールバックとして-Ddev_framework_path=...でコンパイルしてください)。macOSがそれを検疫した場合、xattr -dr com.apple.quarantine D3DMetal.frameworkを実行してください。

virglrenderer

これは興味深い部分です。なぜなら、単一のQEMUプロセスがネイティブarm64ライブラリと、どちらかのアーキテクチャとして実行されるレンダラーサーバーを駆動する必要があるからです。これは同じソースツリーの2つのMeson構成です。

  1. ネイティブarm64 — QEMUがリンクするlibvirglrendererと、VenusおよびNeptune DXMTバックエンドをホストするレンダラーサーバーの両方を生成します。これはインストールされる唯一の構成です。
  2. x86_64クロスビルド — Neptune D3DMetalバックエンド用の同じレンダラーサーバーで、フレームワークがx86_64であるためx86_64である必要があります。これはvirglrendererを静的にリンクし、決してインストールされません。

その後、2つのサーバーはlipoを使用して単一のユニバーサルバイナリに融合されます。実行時に親プロセスはコンテキストごとにワーカーのスライスを選択します(Venusコンテキストはarm64スライスを取得し、NeptuneコンテキストはデフォルトでRosetta下のx86_64/D3DMetal、またはNPT_BACKEND=dxmtでarm64/DXMTを取得します)。そのため、設定する必要があるレンダラーサーバーパスは1つだけであり、ビルド時に焼き付けられたものです。

git clone -b macos-next https://github.com/utmapp/virglrenderer.git "$SRC/virglrenderer"

1. ネイティブarm64(ライブラリ + レンダラーサーバー)。

meson setup "$SRC/virglrenderer/build-arm64" "$SRC/virglrenderer" \
  "-Dc_args=-I$ANGLE_INC" \
  -Dvenus=true \
  -Dneptune=true \
  -Drender-server-worker=process \
  -Dcheck-gl-errors=false \
  "--pkg-config-path=$PREFIX/lib/pkgconfig" \
  "--prefix=$PREFIX"
meson install -C "$SRC/virglrenderer/build-arm64"
cp "$PREFIX/libexec/virgl_render_server" "$SRC/virglrenderer/virgl_render_server.arm64"

インストールされたサーバーを保存します。ビルドツリー内のものではありません。インストールされたコピーのみが$PREFIX/lib/libvirglrenderer.1.dylibへのinstall_name付きパスを運び、lipoがそれを上書きしようとしています。

2. Rosetta x86_64 レンダラーサーバー。 これは、d3dmetal-nativeリポジトリのクロスファイルを使用してクロスコンパイルされます。-Ddefault_library=staticはvirglrendererをサーバーにリンクするため、融合されたバイナリはx86_64 dylibを必要としません。また、-Dvtest=falseはGLを取り込む唯一のターゲットを削除します(プレフィックスのlibepoxyはarm64のみです)。同じ理由で、x86_64構成はEGLを使用しようとすべきではないため、EGLを無効にした独自のpkg-configディレクトリを与えます。

cp -R "$PREFIX/lib/pkgconfig" "$PREFIX/lib/pkgconfig-x86_64"
sed -i '' 's/epoxy_has_egl=1/epoxy_has_egl=0/' "$PREFIX/lib/pkgconfig-x86_64/epoxy.pc"
meson setup "$SRC/virglrenderer/build-x86_64" "$SRC/virglrenderer" \
  --cross-file "$SRC/d3dmetal-native/build-macos-x86_64.txt" \
  "-Dc_args=-I$ANGLE_INC" \
  -Dvenus=false \
  -Dneptune=true \
  -Dvtest=false \
  -Drender-server-worker=process \
  -Dcheck-gl-errors=false \
  -Ddefault_library=static \
  "--pkg-config-path=$PREFIX/lib/pkgconfig-x86_64" \
  "--prefix=$PREFIX"
meson compile -C "$SRC/virglrenderer/build-x86_64"

コンパイルのみ。この構成をインストールすると、ステップ1のネイティブライブラリが上書きされます。

3. 2つのスライスを融合します。

lipo -create \
  "$SRC/virglrenderer/virgl_render_server.arm64" \
  "$SRC/virglrenderer/build-x86_64/server/virgl_render_server" \
  -output "$PREFIX/libexec/virgl_render_server"
lipo -archs "$PREFIX/libexec/virgl_render_server"   # 出力は x86_64 arm64 である必要があります

どちらのバックエンドもリンクされていません。レンダラーサーバーは、libdxmt-native.dylib(arm64スライス)またはlibd3dmetal-native.dylib(x86_64スライス)をプレーン名でdlopenするため、両方とも実行時にダイナミックローダーパスからアクセス可能である必要があります(実行を参照)。どちらもビルド依存関係ではありません。ビルド時に欠落している場合、実行時にそのバックエンドが失われるだけで、それ以上の問題はありません。

QEMU

Neptune固有のものを設定時に有効にする必要はありません。virglrendererはpkg-configを通じて検出されるため、PKG_CONFIG_PATHをインストールしたプレフィックスに設定してください。

git clone -b utm-edition https://github.com/utmapp/qemu.git "$SRC/qemu"
mkdir -p "$SRC/qemu/build" && cd "$SRC/qemu/build"
PKG_CONFIG_PATH="$PREFIX/lib/pkgconfig" ../configure \
  "--extra-cflags=-I$ANGLE_INC" \
  "--extra-ldflags=-L$ANGLE_LIB" \
  "--prefix=$PREFIX" \
  --target-list=aarch64-softmmu
make -j"$(getconf _NPROCESSORS_ONLN)" install

設定サマリーにはvirglrenderer: YESとCocoa: YESと表示されるはずです。virglrendererが見つからない場合、以下の-device virtio-gpu-gl-pci行は不明なデバイスエラーで失敗します。make installはUEFIファームウェアも$PREFIX/share/qemuに配置します。VMのビルドディレクトリにあるpc-bios/edk2-arm-vars.fdからVM独自の書き込み可能なコピーを作成してください。

ビルド(Windowsドライバー)

WindowsドライバーをビルドするにはWindowsマシン(またはVM)が必要です。完全な手順はこちらにあります。UMDにはbuild-mesaを使用するとビルドプロセスが簡素化される場合があります。ドライバーをテストしたいだけであれば、事前にビルドされた署名付きドライバーが利用可能です。注意:これらのドライバーはまだ非常に不安定であり、大切にしているVMにはインストールしないでください!

実行

Windows ARM64ゲストが必要です(イメージのビルド方法については他の場所で説明を見つけるか、UTMを使用してディスクイメージをコピーできます)。sudoはブリッジ(vmnet)ネットワーキングでのみ必要です。ユーザーネットワーキングではQEMUは特権なしで正常に実行されます。

export VM=/path/to/vm                    # ディスクイメージ + EFI変数ストア
export D3DMETAL=/path/to/D3DMetal.framework
D3DMETAL_FRAMEWORK_PATH="$D3DMETAL" \
DYLD_FALLBACK_LIBRARY_PATH="$PREFIX/lib:$ANGLE_LIB" \
ANGLE_DEFAULT_PLATFORM=metal \
VIRGL_LOG_LEVEL=debug \
"$PREFIX/bin/qemu-system-aarch64" \
  -machine virt \
  -accel hvf,ipa-granule-size=0x1000 \
  -cpu host \
  -smp cpus=4,sockets=1,cores=4,threads=1 \
  -m 4096 \
  -nodefaults \
  -vga none \
  -device virtio-ramfb-gl,hostmem=8G,blob=true,venus=true,neptune=true \
  -display cocoa,gl=es \
  -drive if=pflash,format=raw,unit=0,file.filename="$PREFIX/share/qemu/edk2-arm-code.fd",readonly=on \
  -drive if=pflash,unit=1,file.filename="$VM/efi_vars.fd" \
  -device nvme,drive=disk,serial=disk,bootindex=1 \
  -drive if=none,media=disk,id=disk,file.filename="$VM/windows.qcow2",discard=unmap,detect-zeroes=unmap \
  -device nec-usb-xhci,id=usb-bus \
  -device usb-tablet,bus=usb-bus.0 \
  -device usb-kbd,bus=usb-bus.0 \
  -device virtio-net-pci,netdev=net0 \
  -netdev user,id=net0,hostfwd=tcp::2222-:22

グラフィックスに影響する引数:

  • -device virtio-ramfb-gl,hostmem=8G,blob=true,venus=true,neptune=true — neptune=trueはNeptuneキャップセットを広告します(venus=trueはゲストVulkanのためにVenusも広告します)。blob=trueとhostmemウィンドウの組み合わせは必須です。
  • -accel hvf,ipa-granule-size=0x1000 — HVFは指定された粒度でゲストメモリをマップします。4KiBページはVenusに必須で、Neptuneにはオプションです。
  • -display cocoa,gl=es — Cocoaウィンドウは、Tritonのスキャンアウトブロブが有効になるまでANGLE/Metalを介してスキャンアウトします。
  • virtio-ramfb-glはUTMのQEMUフォークにのみ存在するデバイスで、ドライバーがインストールされる前に使用できるPOSTディスプレイをWindowsに提供します。バニラQEMUに移植する場合、ramfbを使用し、ドライバーをインストールしてからvirtio-gpu-gl-pciに変更して再起動できます。
環境変数
変数効果
DYLD_FALLBACK_LIBRARY_PATHQEMUがlibvirglrendererを見つける方法、およびレンダラーサーバーがlibdxmt-native.dylib / libd3dmetal-native.dylibを見つける方法。どちらもプレーン名でdlopenされるため、プレフィックスのlibディレクトリはこのパス上にある必要があります。
RENDER_SERVER_EXEC_PATHレンダラーサーバーバイナリをオーバーライドします。デフォルトはビルド時に焼き付けられたlibexecパスです。
NPT_BACKENDd3dmetal(デフォルト)またはdxmt。これにより、Neptuneワーカーがスポーンされるユニバーサルレンダラーサーバーのスライスが選択されます。D3DMetalの場合はRosetta下のx86_64、DXMTの場合はネイティブarm64です。
D3DMETAL_FRAMEWORK_PATHlibd3dmetal-native.dylibがD3DMetal.frameworkを検索する場所。これがない場合、dylibの隣と兄弟のFrameworksディレクトリで検索します。
NPT_D3D11_LIBRARY_PATH, NPT_DXGI_LIBRARY_PATH, NPT_D3D12_LIBRARY_PATH各D3Dインターフェースのバックエンドdylibをオーバーライドします。ビルドツリーをインストール済みコピーにポイントするのに便利です。
NPT_WA_FLAGSホスト側のワークアラウンドセット(シェーダー署名合成など)を強制するビットマスク。NPT_WA_FLAGS=0はすべて無効にし、生のバックエンド動作を確認します。
VIRGL_LOG_LEVEL / VIRGL_LOG_FILEホストレンダラーのロギング。debugはNeptuneホストモジュールからのnpt:行を表面化します。ログファイルが設定されていない限り、QEMUの標準出力に出力されます。
DMN_LOG, DXMT_LOG_LEVELd3dmetal-nativeおよびDXMTのバックエンドごとのロギング。
VK_DRIVER_FILESMoltenVK ICD。Tritonと同時にVenus(ゲストVulkan)も動作させたい場合にのみ必要です。