14倍高速な埋め込み:ManticoreでONNXパスを再構築した方法
14× faster embeddings: how we rebuilt the ONNX path in Manticore (manticoresearch.com)
要約
Manticore Searchは、ONNX Runtimeを活用して埋め込み生成のパフォーマンスを大幅に向上させました。新しいONNXパスは、従来のSentenceTransformers/Candleパスと比較して平均14倍高速化され、特に大量のデータ挿入時のスループットが向上しました。この改善は、INTRA_OP_SPINNINGを無効にし、RustのORTラッパーでプラットフォーム固有のthreadingモデルを最適化することで達成されました。
全文翻訳
ManticoreにおけるONNXパスの再構築:埋め込み(Embeddings)が14倍高速化
Auto Embeddings — テキストカラムを個別のモデルサービスなしで自動的にベクトル化する機能 — をリリースした際、最も多かったフィードバックは速度に関するものでした。以前のパスは、Hugging Faceの純粋なRust製ML推論ランタイムであるCandle上でSentenceTransformersを使用していましたが、CPUリソースを十分に活用できていませんでした。ほとんどのワークロードは、どのようにデータを投入しても、1秒あたり数十ドキュメント(docs/sec)にとどまり、同時呼び出しは単一のモデルセッションでシリアライズされていました。
そこで、私たちはManticoreがONNXモデルを実行する方法を数週間かけて再構築しました。新しいONNX Runtimeバックエンドは、Manticore Search 27.1.5でリリースされました。ONNX(Open Neural Network Exchange)は、MiniLM、BGE、E5などの人気のあるオープンソース埋め込みモデルのほとんどが既に公開しているポータブルなモデルフォーマットです。その結果、同じハードウェア(平均的な安価な16コア/32スレッドサーバー)、同じモデル、同じ重みで、threads × batchのワークロードグリッド全体で平均したところ、以前のSentenceTransformers/Candleパスよりも平均で約14倍高速なバックエンドが実現しました。この優位性は、クライアントスレッドが1本でも32本でも維持されます。古いパスはグリッド全体で5〜11 docs/secの範囲にとどまっていましたが、新しいパスは70〜230 docs/secの帯域に達しています。
この記事はエンジニアリングログです。試したこと、驚いたこと、破棄したもの、そして最終的な設計がどのようになったかについて説明します。
TL;DR
- 同じボックス(16コア/32スレッド)、同じモデル、同じ重みで、
threads × batchのワークロードグリッド全体(1 / 2 / 4 / 8 / 16 / 32スレッド × バッチサイズ 1〜128)で平均して、以前のSentenceTransformers/Candleパスよりも平均約14倍高速です。 - Manticore Search 27.1.5でリリースされた新しいONNXパスは、現在、
.onnxファイルを出力するすべてのHuggingFaceモデルのデフォルトの高速パスとなっています。 all-MiniLM-L12-v2では、古いCandleパスは試したすべての構成で5〜11 docs/secにとどまっていました。新しいONNXパスは70〜230 docs/secの範囲に収まっており、クライアントスレッドが1本でも32本でも、同じ約14倍のマージンが維持されています。- テストボックスでの単一挿入レイテンシ:クライアントが1本の場合は約14 ms、8ウェイ同時負荷下では約56 ms — いずれもCandleが記録していた200 ms以上を大幅に下回っています。
- 最大のバルク取り込みスループットが必要ですか? 単一クライアントスレッドで高いバッチサイズ(32〜128)を使用してください。新しいバックエンドは内部で並列化しているため、クライアント側のファンアウトは調整オーバーヘッドを積み上げるだけです — ボックスでのピークは1スレッド + バッチ=64で233 docs/secでした。
- 最も重要だった2つの変更点は、
intra_op_spinningをオフにすること、そしてワーカー内でのバッチ推論を断念することです。 - ユーザーインターフェースの変更はありません。既にONNX対応の
MODEL_NAMEを指しているテーブルは、自動的に新しいパスを使用します。既存のテーブルを別のモデルに切り替えるのはワンライナーではありません — ManticoreはFLOAT_VECTORフィールドのMODEL_NAMEを変更することを許可していませんが、テーブル全体を再作成する必要もありません。新しいモデルを並べて新しいカラムを追加し、その埋め込みを再構築してから古いものを削除できます。
なぜこれが重要なのか
自動埋め込み機能により、データベース自体がINSERTごとにモデルを実行します。これは、埋め込み速度が挿入速度そのものであることを意味します — 取り込みスループットは、埋め込みステップがどれだけ維持できるかによって決まります。
古いSentenceTransformers/Candleパスは、パフォーマンスの機会を逃していました。同時実行性はロック競合にヒットし、バッチ呼び出しはパディングオーバーヘッドのためにプラトーに達し、呼び出し間ではランタイムがスレッドを駐車する方法が、次の呼び出しが前の呼び出しの場所を引き継ぐのを妨げていました。主な症状は単純でした:topコマンドは、何を投入してもボックスがフルロードを下回っていることを示していました。単一行挿入、128行バルク挿入、1クライアントスレッド、32クライアントスレッド — すべてが5〜11 docs/secにとどまっていました。なぜなら、どのようにデータを投入してもCPUをそれ以上使えなかったからです。
新しいONNXパスは、フロアを1桁以上引き上げ、ユーザーに意味のあるパフォーマンスチューニングオプションを提供します。単一スレッド、単一行の挿入は現在72 docs/secに達しており、これは既に古いCandleの天井の約7倍です。同時実行性やバッチサイズを追加すると、130〜230 docs/secの範囲に上昇し、グリッドのトップは単一クライアントスレッドでバッチサイズ=64の場合に233 docs/secになります。新しいパスは、threads × batchマトリックス全体で平均すると、古いパスの約14倍です。
なぜCandleではなくONNXなのか
Manticoreの埋め込みライブラリは、しばらく前からいくつかのバックエンドをサポートしています。Candleパスは正確性の面で優れており、出荷も容易です。しかし、MiniLMやBGEファミリーのような小さなエンコーダーモデルの本番推論においては、ONNX Runtimeは比類のないものです。
- ONNX Runtime(またはORT — ONNXモデル用のMicrosoft公式、手作業で調整されたC++推論エンジン)は、グラフ融合、定数折りたたみ、カーネル自動チューニングを行います。
- HuggingFaceで人気のある埋め込みモデルのほとんどは、
onnx/ディレクトリに事前に融合されたmodel.onnxを公開しています。ディスク上のファイルは、既にORTが望む形状になっています。
同じall-MiniLM-L12-v2の重みで、CPU上で、ONNXパスはCandleパスよりも顕著なステップアップです。同じ品質で、ドキュメントあたりの作業量が大幅に少なくなります。
ORTセッションは、少数の意見で作成されます。
let session = ort::session::Session::builder()?
.with_optimization_level(GraphOptimizationLevel::Level3)?
.with_intra_threads(0)? // ORTに選択させる (= 全コア)
.with_intra_op_spinning(false)? // 呼び出し間のビジーウェイトをしない
.with_flush_to_zero()? // アテンションソフトマックスでデノーマルをキルする
.with_approximate_gelu()? // 約10%高速な活性化、品質損失なし
.commit_from_file(&onnx_path)?;
これらのほとんどは議論の余地のない、「もちろんそれをオンにする」ノブです。1つはそうではありません:intra_op_spinning(false)です。これについては後で触れます — これは、ブランチ全体で最大の成果であり、実際にはORTの設定というよりはロードシェイプの決定です。
並列処理モデル — ほとんどの読者にとって新しい部分
Rust開発者に「ONNXを高速化する」という制約なしの指示を与えると、彼らは2つのパターンのいずれかに到達します。私たちは両方を試しました。どちらもこのワークロードには不適切でした。
パターン1:Mutexの背後にある単一の共有Session(Mutexはセッションに同時に1つのスレッドしか触れさせないロックです)。推論しやすい、正しく実装しやすい。同時実行下では、すべての呼び出し元がロックでシリアライズされるため、スループットが崩壊します。CLIツールには適していますが、多数の同時挿入を処理するデータベースには不向きです。
パターン2:セッションプール、CPUあたり1つのSession。ロック競合はなくなりますが、コールドスタート時間が倍増し、RAM使用量が増加し、小さな入力はセッションに着地するだけでディスパッチコストを支払います。開発ブランチにはこの作業版がありましたが、期待通りの結果は得られませんでした。
設計を解き放ったのは、ほとんどのRust ONNXラッパーが間違っていること:LinuxとmacOSでは、ORTのC Run() APIはスレッドセーフです。 ロックなしで多くの同時呼び出し元間で単一のSessionを共有できます。C++側は既に必要なシリアライズを行っており、ort Rust APIは、基盤となるライブラリが実際に許可していることと一致しないボローチェッカーのルールを隠しているだけです。
そこで、セッションを小さなプラットフォーム認識型タイプでラップします。
#[cfg(not(target_os = "windows"))]
struct SessionWrapper {
inner: std::cell::UnsafeCell<ort::session::Session>,
}
#[cfg(not(target_os = "windows"))]
unsafe impl Sync for SessionWrapper {}
#[cfg(not(target_os = "windows"))]
unsafe impl Send for SessionWrapper {}
impl SessionWrapper {
fn with_session<R>(&self, f: impl FnOnce(&mut Session) -> R) -> R {
f(unsafe { &mut *self.inner.get() })
}
}
はい、これはunsafeです。基盤となるライブラリが使用しているアクセスパターンで安全であることが文書化されているため、ボローチェッカーをループから外しています。これは意図的なunsafeであり、1行の正当化があり、誤った使用を防ぐものです。
Windowsでは、ORTのスレッドモデルには既知の問題があるため、MutexでRun()をシリアライズします。重要なのは、ロックは呼び出し全体ではなく、クロージャ全体で保持されることです — これがWindowsで発生したレースコンディションを修正したものです。1つのスレッドのSessionOutputsがまだ読み取られている間に、別スレッドが新しいrun()を開始していました。クロージャスコープのロックであり、呼び出しスコープではありません。
適応型並列処理 — 私たちが取った間違った道
この作業で最も時間がかかった部分です。なぜなら、すべての教科書が「ONNXを高速化するには、入力をバッチ処理しろ」と言っているからです。そのため、最初の試みは教科書に従いました。
私たちは8、16、32ドキュメントのチャンクを一度にトークン化し、max_lenまでパディングし、ワーカーごとに1回のフォワードパスを実行しました。スループットは、同じテキストを同じセッションで1つずつ処理するよりも低い数値になりました。もう一度実行しました。同じ結果です。それを証明しようと時間を費やしましたが、受け入れるしかありませんでした。元に戻されたコミット980b24b "Revert: perf(model): batch inference in worker threads"は、私たちが戦いをやめ、プロファイラーが常に伝えていたものに基づいて再構築した瞬間です。
この驚きの裏には2つの要因がありました。
パディングのコスト。 長さが異なるテキストのバッチは、すべての行を最も長い行にパディングします。モデルはその後、バッチ内の実際のコンテンツの量に関係なく、batch_size * max_len * hidden_dimに比例する作業を行います。実際のテキスト入力は長さが大きく変動します:ランダムな8つの文の典型的なバッチには、1つの60トークン外れ値と7つの8トークン行があるかもしれません。モデルは、パディングトークンをアテンションウェイトに乗算することにほとんどのサイクルを費やします。1ドキュメントのバッチでは、モデルはドキュメントの実際のトークン数に比例する作業のみを行います。ドキュメントあたりでは、「バッチ処理なし」は、入力長のばらつきが現実的であれば、「バッチ処理あり」よりも安価です。
スピニング。 ORTのイントラオペレーショナルトレッドプールは、ディスパッチ間でスピンするデフォルト設定です — スレッドは、次の作業チャンクを待つためにタイトなループでCPUを消費します。セッション呼び出しごとに1つの大きなバッチがある場合、これは見えません:スレッドは常に実際の作業で忙しいです。多くの同時小さな呼び出しがある場合、これは悲惨になります:すべてのワーカーのイントラオペレーショナルトレッドプールは、呼び出し間に100% CPUを消費し、他の何にもCPUが残っていません。topでこのパターンを正確に確認しました:すべてのコアが100%、スループットはスピニングオフよりも低い。これは間違っているように聞こえますが、システム全体がCPU時間を必要とすることを忘れないでください — トークナイザー、HNSWビルド、searchdの残りの部分。with_intra_op_spinning(false)をオンに切り替えることは、スループットを即座に向上させ、同時にCPU使用率を低下させた1行の変更でした。
したがって、最終的な形状は教科書のレシピの反対です。
- 単一の共有セッション、プールなし。
- 推論呼び出しあたり1ドキュメント、ワーカー内でのバッチ処理なし。
- 多数の同時呼び出し元、CPU数にスケーリング。
- 呼び出し間のスピニングなし — 礼儀正しい市民のようにCPUを譲る。
fn predict_pipelined(&self, texts: &[&str]) -> Result<Vec<Vec<f32>>, _> {
let bs = batch_size();
// 小さな入力 — 単一トークン化 + 推論、スレッドオーバーヘッドなし。
// これは1ドキュメントのINSERTが取るパスです。
if texts.len() <= bs {
return Self::tokenize_and_infer(&self.session, &self.tokenizer, texts, ...);
}
// 大きな入力 — ワーカー間で分割され、各ワーカーは
// 共有セッションを通じて1ドキュメントずつ処理します。これは意図的に
// ORTが最も得意とする多数の同時呼び出しパターンを模倣しています。
let num_workers = (texts.len() / bs).min(available_cpus()).max(1);
let docs_per_worker = texts.len().div_ceil(num_workers);
std::thread::scope(|s| {
for worker_texts in texts.chunks(docs_per_worker) {
s.spawn(move || {
for text in worker_texts {
Self::tokenize_and_infer(&session, &tokenizer,
std::slice::from_ref(text), ...)?;
}
Ok(())
});
}
});
// ...
}
2つのブランチ設計は意図的です。1行のINSERTはtexts.len() == 1で入ってきて、これは<= bsなので、スレッド生成、チャネル送信、調整オーバーヘッドゼロの高速パスを取ります。多数の行を持つバルクREPLACE INTOは並列ブランチを取り、スループットのメリットを得ます。安価なケースは安価なまま、高価なケースは並列のままです。
また、起動時にトークン化を有効にし(TOKENIZERS_PARALLELISM=true)、BPEの前に文字数で入力を事前切り捨てているため、100KBのテキストブロブがモデルがそれを見る前にトークナイザーでCPUを1秒間ピン留めすることはありません。
数値
すべての実行は、標準ベンチマークボックスで、all-MiniLM-L12-v2-onnxを使用し、実行ごとに1000ドキュメントを使用しました。manticore-loadで生成されました。
manticore-load --quiet --drop --batch-size=1 --threads=8 --total=1000 \
--init="CREATE TABLE t (
f text,
v FLOAT_VECTOR KNN_TYPE='hnsw' HNSW_SIMILARITY='l2'
MODEL_NAME='onnx-models/all-MiniLM-L12-v2-onnx' FROM=''
)" \
--load="INSERT INTO t(f) VALUES('<text/10/100>')"
同じコマンドで--batch-size=2、8、32、128、すべて8スレッドで実行しました。
--batch-size | docs/sec | avg call latency (ms) | per-doc latency (ms) |
|---|---|---|---|
| 1 | 143 | 55.9 | 55.9 |
| 2 | 113 | 141.6 | 70.8 |
| 8 | 91 | 703.3 | 87.9 |
| 32 | 146 | 1753.4 | 54.8 |
| 128 | 147 | 6966.0 | 54.4 |
同じ8スレッドでCandleと比較すると(これはすべてのバッチサイズで一様に10 docs/secでした)、バッチサイズによっては9倍から15倍のドキュメント/秒になります。「avg call latency」列は、ドキュメントあたりではなく、完全なINSERTステートメントが返されるまでの時間です。バッチサイズとドキュメントあたりのコストで割ると、55〜90 msの範囲になります。
テーブルを1クライアントスレッドに切り替えると(バルクロードに最適な構成であることが判明しました)、数値はさらに上昇します:バッチ1 / 2 / 8 / 32 / 64 / 128でそれぞれ72 / 76 / 93 / 175 / 233 / 222 docs/sec。グリッド全体のピークは1スレッド × バッチ=64で233 docs/secであり、ドキュメントあたりのレイテンシは約4.3 msです。
最大スループットのためのフィード方法
大量のデータをバルクでロードしており、最大docs/secを求めている場合、レシピは簡単です:多数の小さな挿入を多数のスレッドから行うのではなく、単一クライアントスレッドから大きなINSERT ... VALUES (..), (..), ...ステートメント(バッチ32〜128)を送信してください。新しいバックエンドは既に内部で並列化しています(上記のpredict_pipelinedコードを参照)。そのため、クライアント側のファンアウトは、ORTが既に実行していることの上に調整オーバーヘッドを積み上げるだけです — だからこそ、1スレッド × バッチ=64(233 docs/sec)は、8スレッド × バッチ=128(147 docs/sec)を明確に上回るのです。
ワークロードが本質的に1行ずつである場合(Webリクエスト、キューコンシューマー、MCPサーバーなど)は、単にINSERT INTOを使用してください。単一スレッド/単一行のフロアである72 docs/secは、既に古いCandleパスの約7倍であり、レイテンシが十分に低いため、これ以上最適化する必要のあるティアではありません。
グリッド全体での変更前と変更後
変更前後の比較を具体的に示すために、同じボックス、同じ重みで、古いCandle/transパスに対しても完全なthreads × batchグリッドをスイープしました。
[画像: スレッド数とバッチサイズ全体でのONNX vs CandleのスループットとCPU使用率]
各X軸のティックはbackend threads/batch-sizeです。左半分(trans …)は古いCandleパスです — スレッド数やバッチサイズに関係なく、docs/secはグリッド全体で5〜11にとどまり、CPUは既にピン留めされています。右半分(onnx …)は新しいパスです — docs/secはスイープ全体で1桁以上高くなっています。新しいパス内では:小さなバッチでは、クライアントスレッドの追加が役立ちます(1T/batch=1 = 72 → 8T/batch=1 = 143)。大きなバッチでは、単一クライアントスレッドが優位です(1T/batch=64 = 233がグローバルピークです)。
[画像: ONNX vs Candleの効率:構成全体でのCPU使用率あたりのdocs/sec]
同じスイープですが、効率(CPU使用率あたりのdocs/sec)をdocs/secとともにプロットしています。Candle(trans)側では、両方の線がフロアに張り付いています — ボックスはドキュメントを生成せずにCPUを消費しています。ONNX(onnx)側では、効率は1〜2スレッドで中程度のバッチサイズの場合に最も高くなります。このとき、CPUの1パーセントが最も多くの埋め込みを購入でき、スレッドを32に増やしても、古いパスよりもはるかに高い効率を維持しています。
今後の予定
この作業の後に控えていることがいくつかあります。
- GPUパス。 現在のONNXセットアップはCPU専用です。
_use_gpuパラメータは配線されていますが、まだORT CUDA実行プロバイダーに接続されていません。 - Windowsのパフォーマンス同等性。 現在、ORTのスレッドバグのためWindowsではシリアライズしています。そのバグがアップストリームで解決されれば、WindowsもLinux/macOSが既に持っているのと同じ共有セッション動作を得られるはずです。
- ONNXパスでのより多くのアーキテクチャ。 現在、ONNXはBERTファミリーエンコーダーのパスです。T5、causal-LM、および量子化されたGGUFモデルは、今のところCandleを経由します。
試してみる
既存のテーブルが既にONNX対応モデルを指している場合、Manticore Search 27.1.5以降にアップグレードすると、スキーマ変更や再取り込みなしで新しいパスが有効になります。INSERTが速くなるはずです。
まだONNXモデルを使用していない場合 — または新しいバックエンドを最大限に活用するために、より小さく/より高速なモデルに移行したい場合 — 既存のフィールドのモデルをスワップすることはできません。Manticoreは、既存のFLOAT_VECTORフィールドのMODEL_NAMEを変更することをサポートしていないため、インプレースでの移行はオプションではありません。セットアップで簡単な方に合わせて、2つの実用的なパスから選択できます。
オプションA — ダンプ、編集、リロード。 元のソースデータがなくても、既存のテーブルをmysqldumpでSQLファイルにダンプし、そのダンプのCREATE TABLEを目的のONNX最適化モデルを指すように編集し、ダンプを新しいテーブルにリプレイできます。Manticoreは、取り込み時にすべての行を新しいパスを通じて再埋め込みします。
オプションB — 新しいカラムを並べて追加し、再構築してから古いものを削除する。 SQLにとどまり、ダンプラウンドトリップを避けたい場合は、同じテーブルにONNXモデルを指す新しいFLOAT_VECTORカラムを追加し、ソーステキストからこのカラムのワンショット再埋め込みをトリガーします。
ALTER TABLE t ADD COLUMN v_new FLOAT_VECTOR KNN_TYPE='hnsw'
HNSW_SIMILARITY='l2'
MODEL_NAME='Xenova/all-MiniLM-L6-v2'
FROM='text_field';
ALTER TABLE t REBUILD EMBEDDINGS v_new;
-- v_new に読み込みを切り替えたら、古いカラムを削除します
ALTER TABLE t DROP COLUMN v_old;
正確な構文と制約については、ドキュメントの埋め込みの再構築セクションを参照してください。
全く新しいテーブルでは、これらは関係ありません — 最初からONNX最適化されたMODEL_NAMEを選択してください。
ONNX対応の埋め込みモデルを探すのに適した場所は、Hugging FaceのXenovaコレクションです — これらは既にONNXに変換されており、MODEL_NAME='...'にドロップインできます。リストをfeature-extractionタスクでフィルタリングして、埋め込みスタイルのモデルに絞り込んでください。いくつかの sensible な開始点があります。
Xenova/all-MiniLM-L6-v2— 小さく高速、384次元、優れたデフォルト。Xenova/all-MiniLM-L12-v2— この投稿でベンチマークしたモデル、384次元、品質が向上。Xenova/bge-small-en-v1.5— 強力な英語検索、384次元。Xenova/multilingual-e5-small— 多言語対応、384次元。
まだ自動埋め込みを使用していない場合は、元の発表で最初からSQLを説明しています。
📚 KNN検索ドキュメント
💬 Slackコミュニティ — 新しいパスがあなたのデータでどのように機能するか、ぜひお聞かせください。