なぜ自社でCおよびC++推論エンジンを開発するのか
Why we write our own C and C++ inference engines (localai.io)
要約
LocalAIは、既存のPythonベースの推論エンジンをラップするのではなく、独自のC/C++推論エンジンを開発する理由を説明しています。これにより、デプロイサイズの劇的な削減、メモリ使用量の予測可能性、そして多くの場合、同等またはそれ以上のパフォーマンスを実現します。このアプローチは、大規模なPython依存関係やCUDA専用スタックを回避し、ポータビリティを向上させます。
全文翻訳
なぜ自社でC/C++エンジンを開発するのか
ほとんどのLocalAIバックエンドは、他者が開発したエンジンをラップしています。llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLXなどは、これらのモデルにフルタイムで取り組んでいる人々によってメンテナンスされており、それらをラップするにはDockerfileとgRPCシムが必要になるだけです。可能な限り、私たちはそれを行っています。
私たちのバックエンドの18個は、何もラップしていません。これらは、私たちがゼロから作成したCまたはC++のポートであり、それぞれが、アップストリームエンジンをラップすることが、私たちが提供できないもの(マルチギガバイトのPythonインストール、ユーザーの半数のマシンで動作しないCUDA専用スタック、あるいは場合によってはラップするC++実装が存在しないモデル)を配布することになるため、存在しています。以下に、そのうち4つの数値と、それらを維持するために必要なものを示します。
vllm.cpp: 9.1 GiBではなく66 MiB
Python推論スタックをデプロイするということは、ターゲットマシン上で、そのマシンが持つCUDAやglibcに対して、インストール時に依存関係ツリーを解決することを意味します。ggmlポートをデプロイするということは、共有ライブラリとGGUFファイルをコピーすることを意味します。
vllm.cppは、vLLMのV1サービングアーキテクチャのC++20ポートです。vLLMをインストールすると9.1 GiBのvirtualenvが生成されます。vllm.cppをインストールすると66 MiBのバイナリが生成されます。これは、Python、PyTorch、ggmlを推論時に一切使用せずに、オリジナルのPython実装と同じ機能(ページ化されたKVキャッシュ、連続バッチ処理、プレフィックスキャッシュ、スケジューラ、サンプラなど)を実装しています。
問題は、スループットにどのような影響があるかです。NVIDIA GB10上でQwen3.6-27BをNVFP4で、プロダクションでグラフ化された構成のvLLM(--enforce-eagerではなく)に対して、グリッドサーチで実行した場合:
| Concurrency | 1 | 2 | 4 | 8 | 16 | 32 |
|---|---|---|---|---|---|---|
| vllm.cpp tok/s | 86.05 | 159.68 | 292.34 | 508.77 | 801.76 | 1095.01 |
| vLLM tok/s | 82.32 | 158.03 | 290.31 | 505.46 | 789.16 | 1076.25 |
| Ratio | 1.045x | 1.011x | 1.007x | 1.007x | 1.016x | 1.017x |
これらは同等です。私たちの実行ごとのノイズバンドは0.5%であり、コンカレンシー2から32は0.7%から1.7%の間に収まるため、これらの5つのポイントはノイズ内か、無視できるほど近い位置にあります。単一ストリームの場合のみ、4.5%で、明らかに外れています。出力は、カーブ上のあらゆる点でvLLMとトークン単位で同一であり、ピークホストメモリは28.18 GiBに対して24.88 GiBです。
インストールサイズは9.1 GiBから66 MiBに削減され、スループットは目標としていたレベルを維持しています。
同じGGUFファイルを使用したCPU上のllama.cppと比較すると、プリフィルは1.18倍高速(177.3 tok/sに対して223.8 tok/s)で、デコードはllama.cpp自身の範囲内でのタイであり、トークンはグリッドサーチデコードと完全に一致します。Apple M4上のMLX-LMと比較すると、最初のトークンまでのプリフィル時間は1.5%速く、ウォーム状態の総スループットはMLX-LMの97.6%であり、実際の2.4%のギャップは完全にデコードにあります。
depth-anything.cpp はCPUで高速
depth-anything.cppは、ByteDanceのDepth Anything 3のポートであり、通常の写真からメートル単位の距離情報、ピクセルごとの信頼度、カメラの内部・外部パラメータ、およびバックプロジェクションされた点群を提供します。CPUでは、同じモデルでPyTorchよりも高速に動作します。
| Engine | Quant | Model MB | Load ms | Infer ms | Peak RAM MB | vs PyTorch |
|---|---|---|---|---|---|---|
| PyTorch | f32 | 516 | 749 | 416.9 | 1328 | 1.00x |
| C++/ggml | q8_0 | 142 | 40 | 319.4 | 363 | 1.31x |
これはRyzen 9 9950X3Dで、504x336解像度、16スレッドでの結果です。C++ビルドは同じモデルを1.31倍高速に実行し、RAMを1328 MBに対して363 MB使用し、ロード時間は749 msではなく40 msです。量子化されたq4_kビルドは99 MBのファイルで、ほぼロスレスです。出力は37のパリティテスト全体で参照フォワードパスと1.0で相関します。
私たちはPyTorchよりも優れた行列乗算カーネルを開発したわけではありません。2つの位置埋め込み、DPTヘッドのUV埋め込みとバックボーンのバイキュービック位置埋め込みが、入力ジオメトリにのみ依存し、呼び出しごとに同一であるにもかかわらず、シングルスレッドのスカラーsin、cos、バイキュービックループで、すべてのフォワードパスで再計算されていました。これらをキャッシュすることで、フォワードパスあたりのホストサイドオーバーヘッド約95 msが削除され、これがギャップの大部分を占めています。PyTorchは同じ埋め込みをベクトル化された操作でビルドしており、このオーバーヘッドは最初から存在しませんでした。
重いGEMMはほぼ同等です。なぜなら、誰もが同じクラスのBLASカーネルを呼び出しているからです。残りは、Python参照実装が決して最適化しなかったホストサイドの作業と、推論のためにインタプリタとフレームワークをロードしないことです。GPUでは、これは同等に戻ります。GB10上のggml CUDAバックエンドとフラッシュアテンションを使用すると、depth-anything.cppは47.3 ms/フォワードでPyTorchのチューニング済みcuDNNとタイになり、コールドスタートでのみ勝利し、ロード時間は1.75倍から2.9倍速くなります。
遅い2つのケース
face-detect.cppとvoice-detect.cppは、LocalAIのPython insightfaceおよびspeaker-recognitionバックエンドを置き換えました。どちらもCPU上では置き換えたものより高速ではなく、それでも私たちはそれらをリリースしました。
face-detect.cppは、insightfaceのバッファローチェーン全体(SCRFD検出、112x112への5ランドマーク類似変換、ArcFace埋め込み)を、Pythonやonnxruntimeなしで、単一の自己完結型GGUFから実行します。検出器のボックスとランドマークは、1ピクセル以内でinsightfaceと一致し、認識埋め込みはどのスレッド数でもコサイン1.000000で一致します。CPU上ではonnxruntimeよりも遅いです。SCRFD検出は1スレッドで約0.83倍、8スレッドで0.69倍、ArcFace埋め込みは約0.61倍、0.84倍で実行されます。onnxruntimeのMLAS畳み込みカーネルはFMAポートピークにありますが、カスタムAVX2 Winogradパスがギャップを狭めましたが、閉じることはありませんでした。GPU上では、同じ畳み込みをcuDNNにルーティングすることでSCRFDは14.8 msから6.4 msになり、torch-cuDNNと同等になります。
voice-detect.cppはメモリ結果が異なります。WeSpeaker検証は、CPU専用Python、torch、onnxruntimeパスの約334 MBに対して、私たちのバイナリでは約62 MBでピークとなり、約5.4倍低くなりますが、結果は同一で埋め込みコサインは1.000000です。CPU上でのエンドツーエンドでは、モデルとスレッド数によってリードを交換しながら、10〜15%の範囲で同等であり、GPU上では畳み込みエンコーダーは参照と一致します。
生体認証パイプラインでは、速度よりも正確な一致を優先します。4番目の小数点以下で異なる埋め込みは、しきい値での検証決定を変更し、デプロイメント内のすべての登録済みテンプレートを再計算する必要があります。insightfaceと正確に一致させることで、ユーザーを再登録することなくバックエンドを切り替えることができます。
実現方法
すべてのポートは同じ4つのステップに従います。
まず、重みを1つのGGUFに変換します。これにはトークナイザー、ボキャブラリ、および補助モデルがすべて埋め込まれており、モデルのデプロイはファイルのコピーで済みます。
次に、グラフをポートし、元の実装からダンプされた参照テンソルに対してコンポーネントごとにチェックします。depth-anything.cppには、前処理、バックボーン、アテンション、DPTヘッド、深度、ポーズ、レイヘッド、レイからポーズへのソルバー、エクスポートをカバーする37個のctestケースがあります。parakeet.cppは、NeMoとのWER 0でのトランスクリプト一致をチェックします。face-detect.cppは、ピクセル単位のボックスとランドマークの距離、および埋め込みコサインをチェックします。このステップをスキップすると、数ヶ月後にユーザーから、あなたがすでに忘れていたモデルについて、ポートが間違っていることが判明します。
3番目に、プロファイラを使用して最適化します。これは、パリティチェックがパスした後のみ行います。parakeet.cppでは、トランスデューサーデコード時間の97%を占め、ほとんどが冗長だった予測ネットワークLSTMフォワードパスをキャッシュしたことが勝利でした。depth-anything.cppでは、上記の2つの位置埋め込みでした。どちらもカーネルの書き直しではなく、動作するベースラインなしでは見つからなかったでしょう。
最後に、フラットなC ABIを公開します。LocalAIはpuregoを介して共有ライブラリをdlopenし、そのABIを直接呼び出すため、サブプロセスやPythonサーバーへのgRPCホップ、サービングパスでのインタプリタは存在しません。
維持に必要なもの
各エンジンは、独自のCI、ベンチマークスイート、GGUF変換スクリプト、パリティベースラインを持つ独自のレポジトリであり、アップストリームはコンバータ作業が必要なチェックポイントをリリースし続けています。
GPUカーネルは弱点です。ggmlの汎用CUDA畳み込みおよびアテンションカーネルは、畳み込みが多いモデルではNVIDIAのチューニング済みcuDNNに劣るため、face-detect.cppがパリティに達するために明示的なcuDNNパスを必要とし、parakeet.cppのGPUマージンがNeMoを中央値1.25倍上回る一方で、CPUマージンはそれよりも広くなっています。
また、すべてにスケールするわけではありません。llama.cpp、vLLM、whisper.cpp、MLX、diffusersは、これらのプロジェクトが大規模で、速く変化し、すでに得意としているため、ラップされたままです。モデルにC++実装がない場合、Pythonの依存関係がモデル自体よりも重い場合、または必要なものがまだ存在しない場合に、エンジンを開発します。残りは、他の皆と同じようにインストールします。
ツリーを初めて読む人が混乱する点があります。LocalAIのコア自体はGoであり、各バックエンドはモデルのエコシステムが必要とするもので書かれているため、同じリポジトリ内にPythonの隣にC++が存在します。
上記のすべてのエンジンは、ベンチマークスイート、パリティチェック、およびその方法論を独自のレポジトリに保持しています。うまくいかなかった実行も含まれます。完全なリストは、LocalAI READMEの「Backends built by us」テーブルにあります。