HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Apple SiliconとmacOS VMにおけるLlama.cppでのLLM推論が11~16倍高速化

Apple Silicon and macOS VMs: 11–16× Faster LLM Inference with Llama.cpp (github.com)

286 pointsby frabonacci43 コメント

要約

Cuaは、macOS VM内でApple SiliconのMetal高速パスを有効にする互換性レイヤーをリリースしました。これにより、llama.cppを使用したLLM推論が、特にTinyLlamaやGemmaモデルにおいて、従来のVM構成と比較して11~16倍高速化されます。この技術は、VM内のGPU機能の報告を調整することで、より高速なカーネルパスをアプリケーションが選択できるようにします。

全文翻訳

gpu-passthrough-macos-vms.md

Apple SiliconとmacOS VM:llama.cppでLLM推論が11~16倍高速化

Published on August 11, 2026 by Francesco Bonacci and Johnny Franks

Cuaの初期から追っている方なら、Lume、すなわち当社のmacOS仮想化スタックのShow HNローンチから始まったことを覚えているかもしれません。

AppleのVirtualization.frameworkを通じて実行されるmacOSゲストは、ホストのApple GPUにバックアップされた仮想GPUを使用します。標準のTahoe VMでは、そのデバイスは控えめなMetalケーパビリティプロファイルを示していました。アプリケーションはこれらの情報を使用してカーネルやレンダリングパスを選択するため、llama.cppはGPUコードの実行速度が大幅に遅くなっていました。

私たちは、1つのゲストプロセスに対して選択されたケーパビリティ情報を変更する、プロセススコープの小さな互換性レイヤーを構築しました。これにより、llama.cppがより新しいMetalカーネルを選択できるようになります。これは、Lumeの仮想化基盤をCua DriverおよびCua Spacesの背後にあるローカルコンピューター利用環境に接続するという、より広範な取り組みからの最初の成果です。

私たちはこの成果を、LumeおよびCuaと同じ寛容なライセンスの下でリサーチリリースとして本日公開します。これにより、他の人々も結果を再現し、どのApple Siliconチップ、macOSリリース、およびMetalワークロードが恩恵を受けるかをマッピングするのに役立ちます。

[画像: Apple Silicon macOS VM LLM推論ベンチマークで、プロンプト処理が7.2倍、トークン生成が14.5倍高速化されたことを示す。]

M1 Ultra上で、llama.cpp経由で実行されたTinyLlama 1.1Bは、同じ標準VMでの同じワークロードと比較して、プロンプト処理が11.08倍、トークン生成が16.36倍高速でした。プロンプト処理は、ベアメタル結果の98%に達しました。ソースコード、ビルドスクリプト、ケーパビリティプローブ、および生のベンチマークログが含まれているため、結果を検査して再現することができます。

今年リリースされたGoogleのGemma 4 12B QAT Q4_0(6.98 GBのモデル)で実験を繰り返しました。同じレイヤーにより、プロンプト処理が7.20倍、トークン生成が14.54倍向上しました。アンロックされたVMは、ベアメタル速度のプロンプト処理で99.59%、生成速度で94.82%に達しました。

次に、64 GiBのゲストでMetaの公式Muse Glimmer 30B Q4_K-M GGUFをテストしました。llama.cpp b10359経由で、アンロックされたVMは、標準ゲストと比較して512トークンのプロンプト処理が7.55倍、128トークンの生成が8.87倍高速でした。これはテキストのみのllama.cppテストであり、Ollama、マルチモーダルプロジェクター、またはドラフターは使用していません。

同じケーパビリティギャップが、他のVirtualization.frameworkフロントエンドでも表面化しています。macOS仮想化CLIであるTartにも、macOSゲスト内のグラフィックスとLLMパフォーマンスに関する「No GPU passthrough in macOS guest?」(https://github.com/openai/tart/issues/1032)という未解決のイシューがあります。

macOS VM内のケーパビリティギャップ

AppleのVirtualization.frameworkは、macOSゲストに仮想グラフィックスデバイスを提供します。ゲストは、専用のGPUドライバーを通じてMetalワークを送信し、Appleのホストスタックがそれを物理GPUで実行します。この構成はパラバーチャライゼーションであり、ホストがハードウェアの制御を維持し、ゲストは仮想化を認識したデバイスを使用します。

これは、QEMUとKVM上に構築された他の仮想化スタックとは異なります。x86 Linuxホストでは、VFIOがIOMMUを介して互換性のある物理PCIデバイスまたはハードウェア機能をVMに割り当て、ゲストにそのデバイスへの直接アクセスを許可できます。これは通常、GPUパススルーと呼ばれるモデルです。

標準のTahoe VMでは、パラバーチャライズされたデバイスは、Apple 5世代ファミリー、最大スレッドグループメモリ32 KB、および利用不可として報告されるSIMDグループ行列サポートを示していました。最新のMetalソフトウェアはこれらの情報を使用してカーネルを選択するため、llama.cppはデバイスがより新しいカーネルを実行できるにもかかわらず、遅いパスを選択していました。

AppleはGPUファミリーと機能テーブルを通じてGPUケーパビリティを文書化しており、実行時にデバイスをクエリすることを推奨しています。これにより、報告されるケーパビリティの境界は重要になります。アプリケーションはプラットフォームが指示したとおりに正確に動作するためです。

[画像: Apple GPUケーパビリティの階層図:標準のmacOSゲストは古いケーパビリティ帯域を示しますが、テストされたプロファイルはSIMDグループ行列演算、bfloat16、および64 KBスレッドグループメモリを含む新しいMetalパスを公開します。]

ソリューション:プロセススコープのMetalケーパビリティシム

私たちは、1つのゲストプロセス内で実行される小さなMetalケーパビリティシム(アプリケーションとAPIの間に挿入される互換性レイヤー)を構築しました。これは、選択されたMetalケーパビリティクエリをインターセプトし、そのプロセスに返される回答を変更します。Metalアプリケーションはこれらの回答を使用してカーネルを選択するため、テストされたAppleファミリーとスレッドグループメモリの値を返すことで、llama.cppがより新しいGPUパスを選択できるようになります。テストされたプロファイルでは、シムは以下のことを行います:

  • supportsFamily:への回答をAppleファミリー9(1009)までとします。
  • 報告される最大スレッドグループメモリを32 KBから64 KBに引き上げます。

これにより、テストされたllama.cppビルドは、新しいSIMDグループ削減、SIMDグループ行列、およびbfloat16パスを選択できるようになりました:

ケーパビリティ標準ゲストテスト済みプロファイル
supportsFamily:1009falsetrue
SIMDグループ行列offon
SIMDグループ削減offon
bfloat16offon
最大スレッドグループメモリ32 KB64 KB

テストされたプロファイルは、Appleファミリーの回答とスレッドグループメモリの制限という2つの報告値を変更します。一般的な値、Mac、Metal、およびワーキングセットサイズの値は、ベンチマーク中に標準設定を維持します。元のリサーチフックのプライベート機能プロファイルフック、クロックおよびタイミングのインターセプト、メッシュ置換、レイトレーシングオーバーライド、引数レイアウトガード、およびパイプラインコンパイルフォールバックを削除しました。そのソースコードは十分に小さいため監査可能であり、不正な設定や欠落した設定はプロセスを標準のケーパビリティパスに留めます。

[[画像: 標準のケーパビリティ回答からより高速なMetalカーネルへ:ホストApple GPU、Virtualization.frameworkブリッジ、およびゲストパラバーチャライズドGPUは変更されませんが、プロセススコープのケーパビリティクエリは、標準のApple 5および32 KBパスまたはテスト済みのApple 9および64 KBパスのいずれかを選択します。]]

ワークロードはAppleのVirtualization.frameworkグラフィックスパス上に留まり、ホストのApple GPUで実行されます。ケーパビリティの変更は、注入されたゲストプロセスにスコープされます。

物理GPUの割り当て、生のPCIまたはVFIOパススルー、およびカーネルの変更は、このメカニズムの外部にあります。報告されるファミリーは、テストでカバーされるパスを表します。追加のMetal APIごとに個別の検証が必要です。

このシムは、Appleの既存の仮想GPUパス上でMetalケーパビリティをアンロックします。VMユーザーは、しばしば「GPUパススルー」という名前で、より広範な制限に遭遇します。

最小限のアーティファクトからの新しい結果

48コアGPUとmacOS 26.6.1を搭載した1台のApple M1 Ultraでテストしました。ゲストは、Lume 0.5.1で実行されている現在の公開Tahoe Cuaイメージ(macOS 26.5.2、8 vCPU、16 GiB)でした。3回の実行すべてで、公式のllama.cpp b10167リリースと、同じTinyLlama 1.1B Chat Q4_K_Mモデルを使用しました。

コマンドは以下の通りです:

llama-bench -m tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf \
  -p 512 -n 128 -r 10 -t 8 -ngl -1 -o json

以下の値は、各ベンチマーク行で生成された10個のサンプルの中央値です:

ワークロードベアメタルホスト標準ゲストアンロックゲストゲストでの高速化アンロック/ホスト
プロンプト処理、512トークン4,871.99 tok/s431.86 tok/s4,786.70 tok/s11.08×98.25%
トークン生成、128トークン286.71 tok/s12.63 tok/s206.60 tok/s16.36×72.06%

プロンプト処理はホストの結果にほぼ達しました。生成はホスト速度の72.06%に達し、測定可能なVMギャップが残りました。この向上率は、ホストGPU、ゲストバージョン、アプリケーション、およびワークロードの形状に依存します。

TinyLlamaの生結果と環境記録には、正確なイメージダイジェスト、モデルとバイナリのハッシュ、コマンド、JSON出力、標準エラー出力、およびチェックサムが含まれています。これらのリリース候補の結果は、この投稿で使用された削減されたシムを証明するものです。

現在の12Bモデル

TinyLlamaは、高速に実行され、Metalパスを明確に公開するため、有用な制御されたベンチマークとなります。開発者が現在選択する可能性のあるより大きなモデルも必要だったため、Googleの公式Gemma 4 12B命令チューニング済みQAT Q4_0 GGUFを同じllama.cppバイナリで実行しました。

ホスト、VM、シム、ベンチマーク形状、および10サンプル方法は同じでした。スペキュラティブデコーディングを無効にし、マルチモーダルプロジェクターをロードしないままにして、比較を同じMetal推論パスに維持しました:

ワークロードベアメタルホスト標準ゲストアンロックゲストゲストでの高速化アンロック/ホスト
プロンプト処理、512トークン517.88 tok/s71.66 tok/s515.76 tok/s7.20×99.59%
トークン生成、128トークン52.38 tok/s3.41 tok/s49.67 tok/s14.54×94.82%

Gemma 4の証拠には、GoogleのモデルリビジョンとSHA-256が最終的な生サンプルとともにピン留めされています。ホストの別のコンピューティングワークロードを検出した後、予備の標準シリーズを破棄して再実行しました。保持された標準、アンロック、およびベアメタルのファイルは、同じ競合のないウィンドウから取得されており、タイトなサンプル範囲を示しています。

64 GiBゲストでの30Bテキストモデル

Muse Glimmerにより、より大きなモデルで同じケーパビリティパスをテストできました。Metaの公式16.76 GB Q4_K-M GGUFを使用し、Tahoeゲストを64 GiBに引き上げ、llama.cppをb10359に更新しました。プロンプト処理と生成は、8スレッドと完全なGPUオフロードを使用して、別々の新しいプロセスとして実行されました:

ワークロード標準ゲストアンロックゲストゲストでの高速化標準範囲アンロック範囲
プロンプト処理、512トークン25.8328 tok/s194.971 tok/s7.55×25.7641-26.0987194.565-195.331
トークン生成、128トークン2.37551 tok/s21.0823 tok/s8.87×2.14729-2.4139121.0729-21.0954

これらの値は、3つのllama-benchサンプルのメディアンです。組み込みの同じプロセスウォームアップが各行の前に実行され、サンプルからは除外されています。4つのプロセスすべてが正常に終了しました。各アームの前後に、ゲストは98%の空きメモリ、ゼロスワップ、およびゼロコンプレッサー使用量を報告しました。標準のエラー出力はAppleファミリー5と、新しいSIMDグループおよびbfloatパスが無効になっていることを報告しました。アンロックされたエラー出力はAppleファミリー9と、それらのパスが有効になっていることを報告しました。

ホストは別のVMと共有されており、断続的なCPUアクティビティが見られたため、Muse Glimmerの証拠はその境界を保持しています。pp512サンプルはタイトであり、標準のtg128メディアンは以前の独立した実行と5.6%以内で一致しました。公開されている証拠には、公式モデルのリビジョンとSHA-256、llama.cppとシムのハッシュ、パスがサニタイズされた生のJSON、ケーパビリティログ、正確な引数、テレメトリサマリー、およびチェックサムが含まれています。

この結果は、llama.cpp経由のテキストのみのGGUFに適用されます。Ollamaのスループットや、Muse Glimmerのマルチモーダルおよびスペキュラティブデコーディングコンポーネントの結果として解釈されるべきではありません。

また、MLX 0.32.0でMLX-LM 0.31.3とmlx-community/Llama-3.2-3B-Instruct-4bitもテストしました。MLX-LMは標準VMで既に高速だったため、パフォーマンスは横ばいでした:

ワークロード標準ゲストアンロックゲスト比率
プロンプト処理、512トークン1,656.55 tok/s1,665.47 tok/s1.005×
トークン生成、128トークン172.09 tok/s170.86 tok/s0.993×

この横ばいの結果は、リリースプロファイルを定義するのに役立ちました。アブレーション中にMTLGPUFamilyMetal3を宣伝したところ、MLXはパラバーチャライズドデバイスでは利用できないレジデンシーセットを要求しました。リリースシムの変更は、Appleファミリーの列挙値への回答を変更し、Metal 3を標準値に維持します。関連するMLXブランチは、そのMetalレジデンシー実装で確認できます。

Appleプラットフォームとの位置づけ

これは、AppleのVirtualization.frameworkで出荷されているパラバーチャライズドGPUパスを通じて、完全にAppleハードウェア上で実行されます。シムは、1つのゲストプロセスによって読み取られる選択された値に影響を与えます。ホスト、ゲストカーネル、他のゲストプロセス、コンテンツ保護状態、およびライセンス状態は、既存の設定を維持します。

この技術は、ゲストのMetal実装におけるプライベートでバージョンに依存する動作に依存しています。AppleはmacOSのリリース間でこれを変更する可能性があるため、ホストとゲストの各組み合わせを個別にテストします。サポートされていないメソッドはプロセスを標準パスに留め、追加のAPIごとに独自の仮想化テストが必要です。

パラバーチャライズドグラフィックスの無制限の機能レベルの意図された動作とサポート可能性について、Appleからの明確化を歓迎します。MetalまたはVirtualization.frameworkに取り組んでいるAppleのエンジニアは、vz@trycua.comまでご連絡ください。

Lume VMで試す

ソースコードはlibs/lume/metal-capability-shimにあります。アーキテクチャ固有のdylibの両方をビルドして検証してください:

cd libs/lume/metal-capability-shim
./Scripts/build.sh
./Scripts/verify.sh

VMを停止し、macOSユーザーによって起動されたVMの無制限機能レベルを有効にしてから、再起動してください:

lume stop my-vm
defaults write com.apple.gpusw.ParavirtualizedGraphics \
  ForceUnrestrictedDeviceFeatureLevel -bool true
lume run my-vm

一致するdylibとプローブまたはワークロードをゲストにコピーし、そのプロセスにアクティベーションをスコープしてください:

lume ssh my-vm \
  "DYLD_INSERT_LIBRARIES=/path/to/LumeMetalCapabilities-arm64.dylib \
   LUME_METAL_APPLE_FAMILY_MAX=1009 \
   /path/to/metal-capabilities 1009"

長時間実行される推論サーバー、レンダラー、またはワーカーの場合は、ワークロードごとのLaunchAgentを使用してください。ログインセッションが標準のままであるように、そのワークロードの環境でDYLD_INSERT_LIBRARIESを設定してください。Lumeガイドには、完全なテンプレート、チェックサムと検証手順、およびロールバック手順が含まれています。

環境変数を削除してワークロードを再起動すると、標準の動作に戻ります。ホストのプリファレンスを復元するには、VMを停止し、ForceUnrestrictedDeviceFeatureLevelを削除して、VMを再度開始してください。

制限事項

  • 実験的でバージョンに依存します。 シムは、macOSのどのリリースでも変更される可能性のある、プライベートなゲストMetal実装の詳細を使用します。
  • プロセスごとです。 これは注入されたワークロードとその子プロセスにのみ影響します。強化された、またはプラットフォームで保護された実行可能ファイルは、ライブラリの注入を拒否する可能性があります。
  • 設定されたケーパビリティプロファイル。 テストでカバーされるAppleファミリー値を報告します。物理GPUのケーパビリティ検出は、その範囲外です。
  • 狭い検証。 現在の証拠は、ケーパビリティプローブ、3つのllama.cppモデル、およびリストされたM1 UltraホストとTahoeゲストでの1つのMLX-LM互換性実行をカバーしています。追加のチップ、ゲストリリース、モデル、およびMetal APIには、個別のテストが必要です。
  • まだVMです。 既存のVirtualization.frameworkレンダリングおよび仮想化の制限は残っています。

まとめ

ゲストの控えめな回答は、驚くほど高性能なGPUパスを隠していました。テストマシンでは、2つの狭くスコープされたケーパビリティ変更により、TinyLlamaのプロンプト処理が432から4,787トークン/秒に向上しました。Gemma 4 12Bでは、プロンプト処理が71.66から515.76トークン/秒に、生成が3.41から49.67に向上しました。Muse Glimmer 30Bのプロンプト処理は25.83から194.97トークン/秒に、生成は2.38から21.08に向上しました。各ワークロードは、Appleの既存のGPUブリッジ上に留まりました。

Lumeは、macOS VMを開発者にとって実用的なものにするための方法として始まりました。この成果は、より多くのApple Silicon世代、ゲストリリース、およびMetalワークロードでテストするための基盤を提供します。

協力していただけますか?GitHubでCuaをスターすると、お使いのセットアップでシムをテストしてください。イシューを開くには、ホストチップ、ホストおよびゲストのバージョン、正確なワークロード、および標準とアンロックの両方の結果を含めてください。新しい組み合わせを検証したり、シムを改善したりした場合は、プルリクエストを送信してください。