Magnitude (YC S25) – エージェント向け自己最適化推論エンジン
Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agents (github.com)
要約
Magnitudeは、ローカルハードウェア上でエージェントの推論を高速化するために自己最適化する、Rust製のオープンソース推論エンジンです。既存のエンジンが抱えるパフォーマンスのトレードオフを解決し、オンデバイスコンパイル、動的メモリ割り当て、ハイブリッドページドアテンションなどの機能により、llama.cppと比較して最大2倍の速度を実現します。将来的には、エキスパートストリーミング、カーネルコンパイラ、マルチデバイス利用などの機能拡張が予定されています。
全文翻訳
皆さん、HNの皆さん、AndersとTomです。私たちはMagnitudeを開発しています。これは、エージェント向けの推論エンジンで、お使いのハードウェア上で可能な限り高速に実行するために自己最適化されます。Mac、Linux、Windowsのあらゆるハードウェアで動作し、llama.cppよりも最大2倍高速です。
私たちは二人ともソフトウェアエンジニアで、以前は4k以上のGHスターと10万ダウンロードを達成したオープンソースのブラウザエージェントを開発しました。ローカルモデルでそれを実行したいという思いが強くなりましたが、私たちのユースケースに合う推論エンジンが見つかりませんでした。
今日の推論エンジンは、すべてパフォーマンスのトレードオフを伴います。それらは以下のいずれかです。
- バッチ推論向けにデータセンターハードウェア用に構築されており、シングルセッションのパフォーマンスが犠牲になる(vLLM、SGLang)
- 特定のハードウェアに最適化するのではなく、幅広い互換性を目指している(llama.cpp、Ollama)
- 特定のハードウェアやモデルに特化しているが、エンジンの完全性が欠けている(oMLX、ds4)
さらに、ローカルでエージェントを実行するために設計されたものはありません。セッションは長く、しばしば複数同時に実行され、それでもコンピューターを他の用途にも使いたいからです。
Magnitudeは、お使いのハードウェアでの最大パフォーマンスとローカルエージェントの実行のために構築されています。
-
オンデバイスコンパイルとチューニング:カーネルは柔軟なパラメータで記述されており、モデルを実行する前にお使いのデバイスでチューニングされます。これにより、ハードウェア固有のカーネルと同じパフォーマンスの天井を維持しながら、幅広いハードウェア互換性を実現します。
-
ベストアーキテクチャへの注力:人気のあるオープンウェイトファミリー向けに、チューニング可能で非常に効率的なカーネルを記述しています。これにより、パフォーマンスを犠牲にして過度に一般化することなく、ハードウェアまたはモデルに特化したエンジンと同等以上のパフォーマンスを達成できます。
-
動的なメモリ割り当て:Magnitudeは、モデルウェイトを保持するために必要なメモリだけを事前に確保します。エージェントセッションが長くなるにつれて、メモリヒープは動的に増加し、エージェントが停止すると解放されます。エージェント実行中も、ハードウェアを他の用途に使用できます。
-
ハイブリッドページドアテンション:SGLangのようなエンジンから最適なアイデアを借用し、複数のセッションがプレフィックスキャッシュを共有できるようにしますが、メモリ隣接性を最適化して配置することで、シングルセッションのパフォーマンスが低下しないようにしています。
Magnitudeは完全にオープンソース(Apache 2.0)です。カスタムGPUカーネルランタイムとオートチューナーを含むRustで構築しました。パフォーマンスの天井に到達するために、学術界(例:FlashAttention、FlashInfer、TurboQuant)や他のエンジン(例:SGLang radix attention)からの最高の推論技術革新からインスピレーションを得ています。
llama.cppとのベンチマーク(Qwen 3.6 35B A3B (4 bit)、64kコンテキスト、スペキュラティブデコーディングなし):
-
Metal (Mac M4 Pro 48 GB)
- デコード速度が92%向上(30トーク/秒 → 57トーク/秒)
- プリフィル速度が9%向上(466トーク/秒 → 507トーク/秒)
- エージェントあたりのメモリ使用量が28%削減
-
CUDA (DGX Spark)
- デコード速度が19%向上(49トーク/秒 → 58トーク/秒)
- プリフィル速度が23%向上(2,033トーク/秒 → 2,507トーク/秒)
- エージェントあたりのメモリ使用量が27%削減
Magnitudeはデスクトップアプリとして提供され、既存のエージェント(Pi、OpenCode、Hermes、Codexなど)と簡単に接続できます。これらのエージェントが実際にモデルを必要とする際に自動的にモデルを実行し、非アクティブ時にはシャットダウンします。様子はこちらをご覧ください:Magnitude Demo
私たちはMagnitudeをさらに進化させ、同じハードウェアでより大きなモデルを実行できるようにし、パフォーマンスを継続的に向上させることに興奮しています。私たちの計画には以下が含まれます。
-
Expert streaming:エキスパートをRAMまたはディスクに保存し、必要に応じてロードします。これにより、GPUに収まらないような大きなモデルを実行できます。
-
Kernel compiler:現在のカーネルは、ハードウェアに適合するようにいくつかのパラメータを調整します。これをさらに進め、カーネルの融合方法や使用する実装を自動的に選択するカスタムコンパイラを開発し、ハードウェアへの適合性をさらに高めることができます。
-
Multi-device utilization:システム上のすべてのハードウェア(CPU、GPU、RAM、ディスク)を最大限に活用します。これらを検出し、最適なモデルレイアウトを自動的に解決します。
より多くの人に試してもらい、フィードバックを提供していただけることを楽しみにしています。お気軽にご意見をお寄せください。一日中対応いたします!