HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

MiMo v2.5 の推論最適化:ハイブリッド SWA 効率を極限まで追求

Inference Optimization for MiMo v2.5: Pushing Hybrid SWA Efficiency to the Limit (mimo.xiaomi.com)

103 pointsby theanonymousone39 コメント

要約

この記事は、MiMo-V2.5 モデルファミリーの推論効率を向上させるための最適化について論じています。特に、ハイブリッド Sliding Window Attention (Hybrid SWA) と sparse Mixture-of-Experts (MoE) が、計算コストとメモリ使用量を削減し、長文コンテキストやマルチモーダルシナリオでの効率を大幅に改善する仕組みを解説しています。KVCache 管理、階層型キャッシュ、スケジューリング戦略といったエンジニアリングの実践を通じて、理論上の効率を実際のプロダクション環境で実現することに焦点を当てています。

全文翻訳

MiMo-V2.5シリーズ向けフルパイプライン推論最適化:ハイブリッドSWA効率を限界まで引き出す

[画像: logo]

2026年5月30日

中文版 ›

MiMo-V2.5およびMiMo-V2.5-Proを含むV2.5モデルファミリーは、いくつかのアーキテクチャ設計上の選択を組み合わせています。ハイブリッド・スライディング・ウィンドウ・アテンション(Hybrid SWA)はKVCacheストレージをフルアテンションの約1/7に圧縮し、スパースMoE(Mixture-of-Experts)アクティベーションはモデル容量を維持しながらトークンあたりの計算量を削減し、マルチモーダルエンコーダーはビジョン、オーディオ、ビデオを横断するクロスモーダル理解を可能にします。これらの機能により、MiMo-V2.5シリーズはロングコンテキストおよびマルチモーダルシナリオにおいて、顕著なパフォーマンスと効率のポテンシャルを発揮します。

当初から、私たちの目標は明確でした。ロングコンテキスト推論において、強力かつ効率的なモデルをトレーニングすることです。これら二つの目標は本質的に相反します。強力な推論には長距離依存関係のモデリングが必要ですが、これは通常、より大規模なアテンション計算と高いKVCacheオーバーヘッドを要求します。従来のフルアテンションアーキテクチャでは、アテンション計算とKVCacheストレージの両方がコンテキスト長とともに急速に増加するため、ロングコンテキストのトレーニングと推論は法外に高価になります。ハイブリッドSWAは、レイヤー間でローカルなスライディング・ウィンドウ・アテンション(SWA)とグローバルなフルアテンションをインターリーブすることで機能します。ほとんどのレイヤーはローカルウィンドウ内でのみアテンションを計算し、少数のキーレイヤーがグローバルビューを維持します。理論上、この構造は長距離依存関係をモデリングする能力を維持しながら、アテンションの複雑さをほぼ線形に削減します。

しかし、理論的なアーキテクチャ上の利点が自動的にプロダクション効率に変換されるわけではありません。ハイブリッドSWAは、KVCacheヒット率の管理、プレフィックスマッチング、フルアテンションレイヤーとSWAレイヤー間のデュアルセマンティック整合性の維持において、新たな複雑さを導入します。実際のエンジニアリングシステムは、マルチレベルストレージ間のデータ移動、非同期プリフェッチとスケジューリングの不整合、分散キャッシュ状態の同期の困難さといったさらなる課題に直面し、理論的な利益が直接達成されるのを妨げます。

ハイブリッドSWAを超えて、MoEは分散スケジューリングとロードバランシングに大きな要求を課し、マルチモーダルエンコーダーは大規模画像および長尺ビデオシナリオにおけるスループットのボトルネックとなります。スケジューリング戦略とプリフィル/デコード実行パイプラインも慎重な最適化を必要とします。この記事では、MiMo-V2.5シリーズの推論システムのためのエンドツーエンドのエンジニアリング実践を紹介します。これには、KVCache管理、階層型キャッシュシステム、SWA対応プレフィックスキャッシュツリー、スケジューリング戦略、プリフィル/デコード実行パイプライン、およびマルチモーダル最適化が含まれ、プロダクションにおいてアーキテクチャの理論的な効率ポテンシャル(特にハイブリッドSWA)を体系的に実現します。

1. ハイブリッドSWA:推論効率の利点

具体的な最適化に入る前に、まずハイブリッドSWAの理論的な効率限界を定量化しましょう。これは設計上のアーキテクチャ的根拠であり、後続のすべての最適化の基準となります。

1.1 計算分析

MiMo-V2.5-Proを例にとると、モデルは合計70レイヤーを持ち、うち10レイヤーがフルアテンション、60レイヤーがSWAです。スライディングウィンドウサイズは128です。フルアテンションと比較した場合、ハイブリッドSWAの計算コストは以下の図に示されています。SWAレイヤーは全レイヤーの6/7を占めるため、ハイブリッドSWAアーキテクチャの総計算量はフルアテンションの約1/7です。チャンクドプリフィルシナリオでは、プリフィルが主に計算バウンドであるため、これはプリフィルコストの比例的な削減に直接つながります。

1.2 KVCacheストレージ分析

SWAレイヤーはシーケンス全体ではなく、スライディングウィンドウ内のKVのみを保持する必要があるため、KVCacheメモリ使用量も同様に約1/7に低下します。デコードフェーズは主にメモリバウンドであり、そのレイテンシはモデルパラメータとKVCacheの読み込みバイト数の合計に比例します。ロングシーケンスでは、KVCacheのボリュームがモデルパラメータを大幅に超える可能性があるため、KVCacheストレージの削減は、ロングシーケンスシナリオにおけるデコードコストの削減にほぼ直接的に変換されます。

KVCacheストレージはモデルアーキテクチャによって大きく異なり、アクセスパターンも異なります。以下に示すように、MiMo-V2.5-ProとMiMo-V2.5は、DeepSeek-V4-ProとDeepSeek-V4-Flashに次いで、KVCache効率で第2位にランクされています。

実際のコストの違いがKVCacheサイズの比率と厳密に対応しないことに注意してください。シーケンス長に依存しない固定の計算およびメモリアクセスコストが存在するためです。しかし、ロングコンテキストシナリオでは、全体的な傾向は変わりません。ショートシーケンスでは利点はわずかですが、シーケンスが長くなるほど、推論コストの利点は大きくなります。

2. KVCacheシステムの改修

MiMo-V2およびMiMo-V2.5シリーズは、ハイブリッドSWAアーキテクチャを最初に採用したモデルの一つでしたが、当時、主流のオープンソース推論フレームワークもキャッシュシステムも、完全なSWAサポートを提供していませんでした。MiMo APIをローンチした際、私たちはSGLang v0.5.5をサービングバックエンドコードベースとして選択しましたが、すぐに深刻な課題に直面しました。そのバージョンでは、SGLangのHiCacheはSWAをサポートしていませんでした。あるいは、初期のSWAサポートは互換性を維持するためにフルKVCacheを保存することで実装されていました。SWAをより使いやすくするためのいくつかの回避策はありましたが、私たちはより高いパフォーマンス上限と優れた使いやすさを持つKVCacheシステムを構築したいと考えました。

2.1 SWA KVCache管理
KVCacheデュアルプール設計

ハイブリッドSWAは、根本的なストレージの競合を引き起こします。フルアテンションレイヤーはフルシーケンスKV(O(N))を保存する必要があるのに対し、SWAレイヤーはスライディングウィンドウ内(O(W))のKVのみを維持する必要があります。従来のシングルKVプール設計では、システムはすべてのレイヤーに対してO(N)のGPUメモリを割り当てる必要があり、SWAのウィンドウ疎性を活用できず、事実上ほぼフルKVCache実装に退化してしまいます。

自然な解決策は、フルアテンションとSWAのためにKVCacheを二つの独立したプールに分割し、システムレベルで統一された抽象化を提供することです。

  • 物理レイヤー: 別個のフルKVプールとSWA KVプールを維持します。SWAプールはウィンドウサイズのみでサイズ設定され、ウィンドウに基づいた独立したエビクションをサポートし、SWAストレージを厳密にO(W)に制限します。このメカニズムはL2およびL3ストレージ階層にも拡張されます。
  • 論理レイヤー: 上位レイヤー(プレフィックスツリー、スケジューラー、トランスポートプロトコル)に単一のシーケンスビューを公開し、フルアテンションインデックスを権威ある参照とし、透過的な階層型ストレージのためにフル→SWAマッピングを維持します。
  • スケジューリング制約: システムは、リクエストを受け入れる際にフルKVとSWA KVの両方の容量制約を検証し、単次元チェックからのリソース誤割り当てを回避します。
  • データ移動: クロス階層転送はSWAマスクのみに基づいて実行され、有効なウィンドウデータのみが移動されることを保証し、冗長な帯域幅消費を回避します。

この設計により、SWA KVCacheはシステムレベルで厳密なO(W)ストレージ制約を達成し、全体的なKVCache容量効率を約7倍向上させ、ハイブリッドSWAの構造的利点を解き放ちます。主流の推論フレームワークも同様の実装アプローチを採用しています。

レイヤーごとのKVCacheプリフェッチ

SWA KVCacheストレージ最適化が完了すると、SWAレイヤーは最小限のKVCacheのみをプリフェッチすればよくなります。これにより、レイヤーごとのスケジューリングを通じて、ホストからデバイスへのKVCacheプリフェッチと計算のほぼ完全なオーバーラップが可能になり、推論中のキャッシュ読み込みコストをほぼゼロに近づけます。

[画像: レイヤーごとのKVCacheプリフェッチタイムライン:(a)KVCacheロードを待って計算ストリームが停止、(b)レイヤーごとのスケジューリングがロードバックと計算をオーバーラップさせ、GPUが待機せずに実行]

SWA対応プレフィックスキャッシュツリー

従来のRadixAttentionヒットルールは、「等しいトークンシーケンス → 等しいKV」という単純な仮定に基づいています。この仮定はフルアテンション下では成り立ちます。二つのリクエストが同じトークンIDを共有する限り、それに対応するKVはプール内に存在し、直接再利用可能であることが保証されます。

しかし、この仮定はSWA下では破綻します。その理由は、プレフィックスツリーの論理的なライフサイクルとSWA KVの物理的なライフサイクルが整合していないためです。プレフィックスツリーノードの長さはSWAウィンドウによって制約されません。ノードのシーケンス長はウィンドウより短い場合も、はるかに長い場合もあり、リクエストのマージ、分割、削除を通じてノードは継続的に変化します。その結果、プレフィックスツリーノードは論理的には完全なトークンシーケンスを表しているかもしれませんが、それに対応するSWA KVは、テール部分のみが残っているか、完全にエビクトされている可能性があります。プレフィックスツリーが依然として「トークン等価性 → ヒット」ルールに基づいた再利用長を提供する場合、スケジューラーはエビクトされたテールKVを持つ疑似ヒットを受け取る可能性があり、後続のアテンション計算は無効または上書きされたスロットを読み込み、モデルの正確性を直接低下させます。

SWA下でプレフィックス再利用を正確かつ効率的に保つために、プレフィックスツリーのセマンティクスを三つの方法で改訂する必要があります。

  1. マッチングルールを「ウィンドウセーフ長」にアップグレード: トークン等価性に加えて、最後のWトークンがSWAプール内に有効なスロットを持っている必要があります。マッチ長はこの新しい境界にクリップされます。それ以降はミスとして扱われます。これにより、ヒットセグメントから取得されたKVが常に有効であることが保証されます。
  2. エビクションをリクエストライフサイクルに紐付け: ロングプリフィルの各チャンクの完了、リクエストの終了、デコード中のNトークンごとが、ウィンドウ外のSWA解放をトリガーします。これにより、SWAプール使用量は、シーケンス長に関係なく、ロングコンテキスト/ロングアウトプットタスク中にWまたはチャンクレベルの大きさで一定に保たれます。
  3. ノードがデュアルインデックスを保持: 各プレフィックスツリーノードは二組の情報を記録します。フルアテンションセグメントインデックス(論理順序を決定し、フルアテンションレイヤー計算に参加)とSWAセグメントマッピング(ウィンドウセーフティを決定)。エビクションは個別に管理されます。ウィンドウ外のSWAセグメントは、フルアテンションセグメントを維持しながら(プレフィックスをフルアテンションレイヤーで再利用可能に保ちながら)個別にエビクトされるか、セグメント全体がエビクトされる可能性があります。

SWAによるKVボリュームの1/7への圧縮は容量レベルの利点であり、ヒット率は再利用レベルの利点です。これらが組み合わさって、実際のプリフィル計算コストカーブが決まります。「ウィンドウセーフ長」マッチングルールを導入した後、所定のトークン容量に対する生のヒット率はわずかに低下しますが、同じストレージ予算内に収まるトークン数は数倍に増加します。固定ストレージ予算に対して測定すると、実効ヒット率は劇的に向上します。

[画像: SWA対応プレフィックスキャッシュツリー:各ノードはトークンごとのフルアテンションステータスとSWAステータスを保持し、ウィンドウサイズは4。ノードは最後のトークンが有効なSWAスロットを持っているかどうかを追跡]

KVCacheヒット率最適化

HiCacheの3つの階層すべてがSWA対応に改修された後、デバイス、ホスト、ストレージバックエンドはそれぞれ「どの位置に有効なSWAがあるか」という状態を維持します。しかし、HiCacheのデータ移動パイプラインは非同期であり、デプロイメント間のキャッシュは異なり、セッション間の共有プレフィックス長も変動するため、階層間のフルアテンションキャッシュと有効なSWAインデックスは容易に同期ずれを起こします。SWA対応プレフィックスキャッシュツリーのマッチングルールによると、シーケンスがフルアテンションキャッシュにヒットし、SWAキャッシュでミスした場合、深刻なマッチ長トリケーションが発生します。トリケーションが多いほど、再計算が必要になり、SWAキャッシュの最適化効果は低下します。そのため、さまざまなシナリオで分散整合性とキャッシュヒット率を最適化しました。

  • デバイス完了、ホスト不足: L3→L2プリフェッチが帯域幅-レイテンシのトレードオフによりテールセグメントのみをプルする場合、またはL1プレフィックスツリーの再編成がL2/L3に同期されていない場合、このシナリオが発生します。プレフィックスツリーノードのマージやプリフィル完了などのタイミングで、デバイスとホスト間のSWA占有率の差を積極的にチェックし、ホストのSWAプールに追加スロットを割り当て、D2H転送経由でデバイスSWA KVを非同期に書き込みます。
  • ホスト完了、デバイス不足: 次のH2D転送で自然に整合します。アクティブな修復は不要です。
  • 高頻度シーケンスL3プレフィックスエビクション: L1/L2では高頻度アクセスによりロングシーケンスのヘッドが維持され、キャッシュアフィニティは同じプレフィックスのリクエストを同じノードにルーティングします。L3キャッシュは、直接アクセスがない長期間のため、ストレージエビクションポリシーによってエビクトされる可能性があります。これにより、グローバルに高頻度なシーケンスに対するL3キャッシュが早期に解放され、マシン間の再利用が著しく低下します。L1/L2キャッシュにアクセスする際に定期的にL3キャッシュをクエリして、早期エビクションを防ぎます。
  • 中・短シーケンスSWA保持戦略: ユーザーリクエストパターンに基づき、中・短シーケンスに対して固定長位置に比較的密なSWA KVキャッシュを保持します。SWA密度の上昇は全体的なKVCacheにおけるSWAの比率を増加させますが、マルチユーザー共有システムプロンプトのようなシナリオに直接利益をもたらします。

これらの最適化により、KVCache容量の拡張をより長い実効ヒット長に変換し、セッション間のロングプレフィックス再利用を可能にします。これは、ロングエージェントセッション、マルチユーザー共有システムプロンプト、および同じコードベースへの繰り返しツール呼び出しに特に有益です。

2.2 GCache:高性能分散キャッシュインフラストラクチャ

GCacheは、Xiaomiストレージチームによって開発された汎用の高性能キャッシュシステムであり、統合トレーニング-推論ストレージアーキテクチャの重要な部分を形成しています。早期に、トレーニングシナリオ中に、ストレージチームは一部のオープンソースキャッシュプロジェクトが分散ファイルシステムに対して限定的な高速化しか提供できず、パフォーマンスポテンシャルを十分に引き出せないことを認識し、社内ソリューションの開発を開始しました。その後、MiMo大規模モデルのリリースと推論サービスのローンチに伴い、チームはGCacheをモデル配布用および推論エンジンのL3 KVCacheとして独立したストレージ製品に適合させました。

GCacheは、ファイルおよびKVセマンティクス、メモリ/ディスク/リモート階層にわたるマルチレベルキャッシュ、共有メモリ永続化とフルパスゼロコピー、高並行ノンブロッキングIOとRDMA通信をサポートし、高スループットと低レイテンシに対する上位サービス要件を満たしながら、優れたスケーラビリティを維持します。

アーキテクチャ設計

[画像: GCacheアーキテクチャ:ユーザーThread (多言語SDK) → gcache SDK (Manager, Slice Dispatch/Collect, worker threads, LocalCache) → gcache Cluster (メタデータを持つgcache-servers、一貫性ハッシュで配置されたメモリ/ディスクキャッシュ)、Raft+rocksdb Master (サービスディスカバリとハートビート用)、オブジェクトストレージ (Ceph/HDFS) バックエンド]

GCacheにはいくつかの主要な機能があります。

  1. 分散メタデータ管理により、クラスタースケーリングが無限に可能になります。
    • キーの一貫性ハッシュにより、ストレージ場所が決まります。
    • MasterはRaftベースの高可用性デプロイメントを使用しますが、ハートビートとサービスディスカバリのみを管理します。IOパスはMasterを通過しません。
  2. サーバーサイドでのメモリとディスクキャッシュの両方のサポート。
    • メモリ内のコールドデータはディスクにエビクトされ、ディスク内のホットデータはメモリに昇格されます。このアプローチは推論シナリオに非常に有利で、アクティブなセッションのパフォーマンスを自動的に保証しながら、長期間アイドル状態のセッションのコストを削減します。
    • キャッシュエントリは共有メモリに永続化され、サービス再起動時にキャッシュ損失はありません。
    • キャッシュ損失なしでスムーズなスケールアップまたはスケールダウンをサポートします。
  3. リクエストのスライスとディスパッチ専用スレッドを備えた多言語SDK。
    • これらのスレッドはユーザーThreadのリソースを消費しません。スライスにより並行性が向上し、IOサイズがRDMAに適した範囲内に保たれます。
    • スレッドは柔軟なコールバック粒度(単一KVレベル、バッチレベル、またはCUDAストリームレベル)で非同期コールバックを使用します。
ネットワーク最適化

現在の主流GPUマシンには、8× 400G高性能NICが搭載されています。しかし、プリフィル-デコード(PD)分離デプロイメントであっても、現在の推論フレームワークはネットワーク帯域幅を飽和させるのに苦労しています。その結果、業界ではコスト削減のためにNIC仕様の削減が求められています。

高速ネットワークを最大限に活用するために、GCacheはフロントエンドNICよりもGPU NICを通信に優先し、NUMAバインディングや同レールアフィニティを含む通信モジュールで広範な最適化を行っています。ベンチマークでは、1MB IOサイズで、単一プロセスRDMA読み取りスループットは280μsのレイテンシで170 GB/sに達します。GDRシナリオでは、HBM帯域幅が高いため、単一プロセススループットは約350 GB/sに達し、推論フレームワークの通信要件には十分です。

ストレージコスト最適化

2026年には、ストレージコストに関する業界の懸念が高まっています。他のベンダーが専用ストレージマシンを使用しているのとは異なり、GCacheはGPUマシンとの共同デプロイメントを優先し、プリフィルおよびデコードノードのメモリの一部とマシンに内蔵されたNVMe SSDを引き継ぐことで、追加のストレージコストゼロを実現しています。

信頼性保証

共同デプロイメントのため、GPUマシンの高い障害率は信頼性の課題を提起します。ローンチ以来、GCacheはほぼ毎日ホストマシンの障害を経験しています。まず、チームは障害処理ロジックの強化に多大な労力を費やしました。第二に、キーは一貫性ハッシュによって完全に分散されているため、セッションIDを論理セットに事前にグループ化することで、関連セッションが異なるノードに分散され、単一ノード障害の爆発半径が縮小されます。第三に、基盤となるプラットフォームのハードウェア検出機能を利用することで、プロアクティブな障害検出と自動データ移行が可能になります。プロアクティブに処理できないまれな突然のクラッシュに対しては、短いSDKタイムアウトにより、推論フレームワークがミスを迅速に検出し再計算できるようになり、オンライン推論への影響をほぼ排除します。

これらの取り組みに基づき、GCacheは共同デプロイメント下で単一レプリカストレージを維持し、可用性のためにマルチレプリカ冗長性を必要としないため、ストレージコストの低減に重要な役割を果たしています。

2.3 キャッシュヒット率に関する議論

前述のSWA KVCache最適化のおかげで、ストレージフットプリントが削減され、大容量のGCacheがL3ストレージとしてより安定して利用できるようになり、キャッシュTTL(Time-To-Live)を大幅に延長し、KV Cacheヒット率を向上させることができました。KVCacheのエビクションは、根本的にはストレージ容量の制約に起因します。容量が飽和に近づくと、システムは新しいリクエストからのKV Cacheの保持を優先し、LRUライクなポリシーを使用して以前にアクセスされたエントリをエビクトします。これにより、数時間後に再利用されたコンテキストがミスになることがよくあります。SWAの最小限のストレージフットプリントにより、同じコストで数倍の同時リクエストキャッシュを保持できるようになり、大容量のL3は低コストで利用可能な容量をさらに拡大します。利用可能なストレージスペースが多いほど、KVCacheエビクションへのプレッシャーは少なくなり、保持期間は長くなります。TTLが長くなると、履歴コンテキストのヒットウィンドウが広がり、キャッシュヒット率もそれに応じて上昇します。さらに、SWAによる帯域幅転送オーバーヘッドの削減は、TTLに直接影響しませんが、階層間のデータ移動コストを大幅に削減し、キャッシュシステム全体の安定した効率的な運用を保証します。

モデルローンチ以来、サーバーサイドで継続的に観測されているのは、主流の高品質ハーネスフレームワーク下で、サーバーサイドKV Cacheヒット率は平均で93%です。持続的な高負荷使用のヘビーユーザーでは、このメトリックはさらに上昇し、95%以上に達します。今後もSWAのKV Cache管理ロジックのイテレーションを続け、ハーネスフレームワークとの協調設計をさらに進め、ヒット率の上限をさらに最適化していきます。

3. スケジューリング最適化

初期段階では、SGLangコミュニティのルーターサービスはまだ十分に成熟しておらず、インスタンス間で共有状態がありませんでした。ルーターサービスが予期せず失敗した場合や、リクエストが別のルーターインスタンスにルーティングされた場合、KVCacheスケジューリングは低下しました。この問題を解決し、大規模クラスターデプロイメントで高可用性を確保するために、XiaomiはLLM-Routerを開発しました。これはRedisを集中ストレージとして使用する、動的にスケーラブルなステートレススケジューラーであり、単一サービス障害後のKVCacheの低下を排除し、一貫してキャッシュヒット率を保証します。

3.1 KVCacheとロードアフィニティスケジューリング

HiCacheはL2ヒット率に非常に敏感です。L2キャッシュミスが発生すると、システムはL3からKVCacheを検索して取得する必要があり、フェッチが完了するまで推論を開始できません。ルーター側でのL2ヒット率の向上は、不要な同期待機を減らし、スループットを直接向上させます。

ルーターは、ディスパッチされたリクエストをRadixプレフィックスツリーで維持することにより、KVCacheアフィニティスケジューリングを実装します。複数のプリフィルインスタンスの中で、現在のリクエストのプレフィックスを既にキャッシュしているノードを優先し、同時に負荷を分散してホットスポットへの負荷偏りを避けます。デプロイメント後、この戦略はL2キャッシュヒット率を約25%、ノードあたりの入力スループットを約30%向上させました。コアとなる計算式は以下の通りです。

# 最もスコアの高いワーカーを選択:高いキャッシュヒット率 + 低負荷 = 高スコア = 優先度
score(worker) = matchWeight × prefix_match_percentage − normalized_load
3.2 TTFT最適化

モデルサービスがキューイングを経験する場合、従来のFCFS(First Come First Serve)戦略は、キャッシュヒット率の高いリクエストと低いリクエスト間の優先度関係を考慮しません。キャッシュヒット率が高いが計算量が少ないリクエストが、ヒット率の低いリクエストの推論完了を待つことになり、TTFT P99が異常に長くなり、平均スループットが低下します。

これを解決するために、ルーターは待機キューからのスケジューリング時に、キャッシュフレンドリーなリクエストが遅いリクエストにブロックされるのを防ぎ、結果的なP99の低下を防ぐために、キャッシュされていないトークン数が少ないリクエストを優先します。しかし、この戦略は特定のリクエストのスターベーションを引き起こす可能性があるため、スターベーションを軽減するために待機時間ペナルティメカニズムを追加しました。私たちの結果によると、この戦略は短いリクエストのサービス品質を低下させず、長いリクエストのTTFT P90を最大30%削減します。

[画像: 長いリクエスト(上)と短いリクエスト(下)のP50/P70/P90/P99におけるFCFS vs 当社のスケジューリング戦略のTTFT比較:長リクエストのP90は30.5%低下し、短リクエストのTTFTは実質的に変化なし]

4. プリフィル最適化

4.1 並列構成

理論的には、プリフィルステージでのEP(Expert Parallelism)が小さいほど、パフォーマンスとスループットが向上します。その理由は3つあります。クロス・マシン・フットプリントと通信オーバーヘッドが小さくなります。DP(Data Parallelism)インスタンスが少なくなり、DP間のアテンション負荷不均衡の影響が軽減されます。また、マシンあたりのエキスパート数が多くなり、MoEの負荷分散が改善されます。しかし、EPサイズはGPUメモリに制約されます。GPUメモリはモデルパラメータとKVCacheの両方を収容する必要があります。以前は、SWA KVCacheはすべてのトークンのKVCacheを保存する必要があり、EPを大きくする必要がありました。最適化後、SWAウィンドウ内のトークンのみを保存すればよくなったため、EPを元のサイズの半分に削減でき、エンドツーエンドパフォーマンスを約40%向上させました。今後も、ハイブリッドSWA構造のPP(Pipeline Parallelism)最適化を引き続き探求し、EPサイズをさらに削減し、全体のスループットを向上させていきます。

4.2 長さバケッティング戦略

MiMo-V2.5シリーズのハイブリッドアーキテクチャは、純粋なGQAと比較して計算効率を大幅に向上させますが、シーケンス長が増加するとスループットは依然として顕著に低下します。以下の図は、固定の16Kトークン計算チャンクとさまざまな長さのプレフィックスを持つチャンクドプリフィルにおけるスループットを示しています。

[画像: 固定16K計算チャンクとキャッシュシーケンス長に対する相対プリフィルスループット:プレフィックスがゼロに近い場合の1xから、1Mトークンのプレフィックスでの約0.12xまでスループットが低下]

エージェントシナリオでは、超ロングリクエストは主にマルチタームエージェントインタラクションから発生し、 substantialなプレフィックスキャッシュを伴います。大幅に異なる長さのリクエストが同じモデルインスタンスにスケジューリングされると、短いリクエストは長いリクエストによってボトルネックになり、全体のスループットが二つの主なシナリオで低下します。

  1. DP-アテンション同期: 各レイヤーのアテンション計算後、複数のDPはMoEステージに入る前に集団通信を通じて同期する必要があります。DP間で長いリクエストと短いリクエストが同じEPグループに混在する場合、短いリクエストは長いリクエストの計算によって遅延します。
  2. チャンクドプリフィル干渉: 異なるプレフィックス長のリクエストが同じチャンクにバッチ処理されると、短いプレフィックスリクエストは長いプレフィックスリクエストの計算によって引きずられます。

これらの負荷不均衡問題を軽減するために、3段階の長さバケッティング戦略(0~64K / 64K~256K / 256K~1M)を採用し、同様の負荷特性を持つリクエストを計算のために同じバケットに集約することで、平均プロダクションプリフィルスループットを大幅に向上させました。これを基盤として、動的なプロダクションワークロードに適応するための、よりきめ細かく柔軟なバケッティングメカニズムを現在探求しています。

4.3 MoE負荷分散

すべてのMiMo-V2.5シリーズモデルはMoEアーキテクチャを使用しており、プリフィルステージでのエキスパート負荷分散を考慮する必要があります。事前トレーニングフェーズで負荷分散トレーニング目標が導入され、トレーニングプロセスが比較的安定していたため、モデルはかなり均一なエキスパートルーティング戦略を学習しました。推論時、エキスパート負荷分散戦略を有効にしない場合でも、レイヤーあたりの平均エキスパート負荷係数(全ランクの平均トークン数と、そのレイヤーのいずれかのランクの最大トークン数の比率)は約0.85であり、既に良好な分散を示しています。したがって、現在エキスパート負荷分散戦略は組み込んでいません。このメトリックを監視し続け、進化するプロダクション負荷パターンに基づいて必要に応じて関連する最適化を導入します。

[画像: 全レイヤーにわたるレイヤーごとのエキスパートバランス(平均/最大トークン数比率)、平均0.8495で、完璧な値1.0に近い]

4.4 NUMA競合の解決

一部のUbuntuシステムにおけるnuma_balancingカーネルパラメータは、SGLangのnuma-node構成と競合し、モデル推論中に計算カーネル間で散発的に大きな実行ギャップを引き起こします。マルチノードマルチGPUデプロイメントでは、これらのギャップはランク間でランダムな位置に現れ、各ランク間の同期は最も遅いランクによってボトルネックになります。これにより、全体的な推論効率が著しく低下します。システムカーネルのnuma_balancingパラメータを無効にすることで問題が解決し、エンドツーエンドパフォーマンスが約10%向上しました。

5. デコード最適化

5.1 GPUメモリ最適化

エージェントシナリオでは、マルチターム会話によりコンテキストが継続的に成長するため、KVCacheのGPUメモリ使用量がデコードの主なボトルネックとなります。メモリがKVCacheで満杯になると、バッチサイズを拡張できず、GPU計算ユニットが飽和せず、デコードスループットが制限されるため、スループットを維持するためにノード数を増やす必要が生じ、推論コストが増加します。単一ノードの並行性を高めるために、複数のメモリ最適化を実装しました。

  1. デコードKVCache SWAサポート: KVCacheの実効容量が約5倍に増加しました。
  2. PD分離KVCacheプリ割り当て最適化: 着信リクエストのKVCacheのプリ割り当てをGPUメモリからCPUメモリに移動し、デコードが実際に開始されたときにのみGPUメモリに転送することで、リソースの過剰割り当てによる無駄を排除しました。
  3. CUDA Graphメモリチューニング: CUDA Graphパラメータを最適化して無駄なメモリを削減し、KVCache容量を増やしました。
5.2 MTP最適化

MiMo-V2.5シリーズは、デコード出力を高速化するための3層MTP(Multi-Token Prediction)をネイティブにサポートしていますが、プリフィルではMTPが有効になっていませんでした。これにより、最初の128トークンのデコード出力でMTPレイヤーに無効なKVCacheが発生し、予測受け入れ率が非常に低くなりました。エージェントシナリオでは主に短い出力シーケンスが多いため、この制限はMTPの実効的な高速化を大幅に制限していました。専用の適応とHiCache L2/L3の最適化を伴うプリフィル中のMTPサポートを導入したことで、初期デコードフェーズでのMTP加速が大幅に改善されました。0~128トークンで2.3倍、128~256トークンで1.5倍の高速化を達成し、エージェントシナリオでの実際のスループットコストを効果的に削減しました。

6. マルチモーダル推論最適化

SGLangコミュニティv0.5.7 EPD設計に基づき、MiMo-V2.5シリーズのEPD分離に対して一連のエンジニアリング最適化と安定性修正を実施し、レイテンシの回帰なしにエンコーダーのスループットを倍増させました。これらの変更はSGLangにアップストリームされています(issue #24945)。最適化の前後のエンコーダーパフォーマンスを以下の表にまとめます。

QPS平均レイテンシP90レイテンシ
前1578.39 ms100.76 ms
後3080.28 ms82.94 ms
6.1 アーキテクチャ最適化
  • マルチモーダル埋め込み転送と推論のオーバーラップ: プリフィルスケジューラーのメインループで、マルチモーダル埋め込みデータをTPランク間で非同期レプリケーションすることをサポートし、プリフィル推論とオーバーラップさせてGPUアイドル時間を削減します。
  • エンコーダーのデータ並列化: エンコーダーモデルは比較的小さいため、TP>1を設定するとパフォーマンスが低下します。エンコーダーはTP=1でデプロイし、データ並列化をサポートすることで、単一マシン8GPUデプロイメントと運用の簡素化を実現します。
  • エンコーダークロスリクエストバッチサポート: EPDエンコーダーサーバーにクロスリクエストバッチ処理を導入しました。エンコーダーはモダリティごとに同時リクエストを収集し、複数のリクエストの画像/オーディオを単一のフォワードパスにマージしてから、リクエストごとに結果を分割して返します。これにより、リクエストごとのエンコーディングによるGPU利用率の低さを解消します。
6.2 前処理最適化
  • GPU画像前処理: 大規模画像の場合、CPUでのリサイズ/正規化/パッチ化はエンドツーエンドレイテンシを大幅に増加させるため、前処理をGPUに移植し、CPUボトルネックを解消しました。
  • 並列画像ダウンロードとデコード: マルチプロセスダウンロードとPILデコードを使用し、シリアルダウンロードとGIL競合による遅延を回避します。
  • マルチモーダルダウンロードとフォワード並列化: 初期エンコーダー実装では、データダウンロードと推論はバッチ間およびバッチ内でシリアルでした。これにより、ダウンロード中のGPUアイドルが発生しました。メッセージキューを使用してダウンロードと推論を分離し、バッチ内でのダウンロードと推論をオーバーラップさせました。
  • 並列ビデオデコード: フレーム抽出インデックスをN個のチャンクに均等に分割し、チャンクごとに独立したVideoDecoderをスパンし、それらを並列スレッドでデコードすることで、1時間のビデオのエンドツーエンドエンコーダーレイテンシを156秒から23秒に削減しました。
6.3 キャッシュ最適化
  • エンコーダー一貫性ハッシュ: マルチエンコーダーシナリオでは、プリフィルのラウンドロビンエンコーダー選択はマルチモーダルキャッシュヒット率を低下させます。一貫性ハッシュにより、同じキーを持つリクエストを同じエンコーダーにルーティングし、キャッシュヒット率を30%向上させました。
  • ノード内埋め込みキャッシュ共有: 共有メモリを使用して、同じノード上の複数のエンコーダーGPU間でマルチモーダルキャッシュデータを共有できるようにし、キャッシュヒット率を向上させました。

7. あとがき

振り返ってみると、MiMo-V2.5シリーズの推論効率は単一のブレークスルーから生まれたのではなく、複数の次元にわたる協調的な最適化から生まれました。ハイブリッドSWAはプリフィルとデコードの両方にメリットがありますが、不十分なKVCache実装は実際には両方のステージでコストを増加させる可能性があります。これを解決するために、KVCache管理、階層型キャッシュ、プレフィックスキャッシュツリーを体系的に改修し、SWA対応KVCacheのコア課題に取り組み、スケジューリングとプリフィル/デコードパイプラインを最適化しました。すべての変更はプロダクションで検証され、最終的にハイブリッドSWAの理論的な効率向上を実現しました。これにより、ハイブリッドSWAは、ロングコンテキスト推論におけるパフォーマンスと効率を組み合わせたアーキテクチャ上の利点を完全に実現しました。MoE構成とマルチモーダル推論パイプラインへのさらなる最適化も、サービングパフォーマンスを大幅に向上させました。

私たちは、ハイブリッドSWA + MoE + マルチモーダル複合アーキテクチャを包括的にカバーする、初の本格的な大規模エンジニアリング実装を発表し、API価格の引き下げを通じて、結果として得られたコスト削減をユーザーに還元します。同時に、最適化の一部をPRを通じてSGLangオープンソースコミュニティに貢献し、今後もより多くのオープンソースイニシアチブを推進していきます。目標は、エンジニアリング最適化を障壁の低いものにし、これらの高性能・高効率な複合アーキテクチャがより広く探求され、採用されるようにすることです。