HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

マイクロエージェント:モデルAPI内のコラボレーションでフロンティアモデルを凌駕する

Micro-Agent: Beat Frontier Models with Collaboration Inside Model API (vllm.ai)

59 pointsby matt_d19 コメント

要約

AI推論におけるルーターは、単なるリクエストルーティングから進化し、モデルの選択だけでなく、複数のモデルを連携させてより高度な機能を生み出す「マイクロエージェント」の実行ランタイムとなりつつあります。vLLM Semantic Routerは、このアイデアをオープンなサービングレイヤーにもたらし、単一のモデルAPIコールを、信頼度、評価、繰り返し推論、融合、ワークフローといった多様なループパターンを活用した、境界のあるコラボレーションへと変革します。これにより、コスト削減、安全性向上、そしてより洗練された出力生成を実現します。

全文翻訳

Micro-Agent: モデルAPI内の連携で最先端モデルを凌駕する

誰もが次世代の最先端モデルを待ち望んでいます。

しかし、それよりも興味深いレイヤーは、その手前にあるかもしれません。

ルーターはAI推論のコントロールプレーンになりつつあります。その最初の役割は実用的でした。適切なリクエストを適切なモデルにルーティングすることです。これはすでに重要です。なぜなら、プロダクションAIはもはや単一モデルの世界ではないからです。

ルーターは、リクエストが最先端モデルに値するか、それともオープンソースモデルやローカルモデルで十分かを判断することで、コストを削減できます。機密性の高いドメインをより厳格なモデル、より厳格なフィルター、またはより強力なレビューパスに送信することで、安全ポリシーを実行可能にします。クラウドとエッジを連携させ、プライベートまたは低レイテンシーの意図はローカルに保ちつつ、より困難な作業はクラウドにエスカレートさせることができます。

これらは重要な役割です。

しかし、次のルーターの役割はさらに興味深いものです。

ルーターはモデルをより良くすることができる。

重みを変更することなく。すべてのアプリケーションにカスタムエージェントグラフを構築させることなく。単一のモデルAPI呼び出しを、サービングレイヤー内のバウンデッドな連携に変換することによって。

[画像: Figure 1: ルーターはモデル選択から能力構築へと移行している。]

Figure 1: ルーターはモデル選択から能力構築へと移行している。

これがSakana Fuguがこれほど大きな反響を呼んだ理由です。それは、「モデル」が表面であり、その背後にチームが存在できるという、シンプルでありながら強力なアイデアを商業製品にしたからです。このアイデアに関する研究、例えばFugu技術レポートや、ConductorやTrinityのような連携に関する論文は、オーケストレーションを考える上で有用な言語を提供します。

しかし、vLLM Semantic Routerのビジョンは、抽象化をどこに置くかという点で異なります。連携は、単一の商用エンドポイントやアプリケーション固有のエージェントグラフ内だけに存在するべきではありません。それはオープンなサービングプリミティブになるべきです。

vLLM Semantic Routerは、そのアイデアをオープンなサービングレイヤーにもたらします。ユーザーは依然として単一のモデルを呼び出します。

{
  "model": "vllm-sr/auto",
  "messages": [{"role": "user", "content": "..."}]
}

その安定したモデルIDの背後で、ルーターはレシピを選択し、ワーカーにファンアウトし、クォーラムを収集し、不一致を検証し、最終的な回答を合成し、出力契約を修復し、通常のOpenAI互換の応答を返します。

ポイントは複雑さを露呈することではありません。

ポイントは、連携をモデルのように感じさせることです。

Looperはランタイムである

vLLM Semantic Routerでは、looper(ルーパー)はバウンデッドマイクロエージェントの実行ランタイムです。

リクエストは通常のチャット補完としてルーターに入力されます。ルーターはシグナルを抽出し、それをタスク形状またはリスクバンドに投影し、決定をマッチさせ、アルゴリズムを選択します。そのアルゴリズムは、通常の単一モデルルートである場合もあれば、looperルートである場合もあります。

今日、主要なlooperパターンは以下の通りです。

  • Confidence(信頼度): シーケンシャルなエスカレーションループです。より安価な候補を最初に試行し、信頼度を測定し、スコアが低すぎる場合にのみエスカレートします。
  • Ratings(評価): バウンデッドなファンアウトループです。複数の候補をハードな並列キャップの下で実行し、評価に基づいた重み付けで集約します。
  • ReMoM: Repeated Mixture-of-Model reasoning(繰り返しモデル混合推論)です。広範なサンプルにファンアウトし、十分な成功応答を待ってから、最終的な合成ラウンドを実行します。
  • Fusion(融合): パネルジャッジ・ファイナルパターンです。独立したモデルの応答が、ジャッジとファイナライザーの証拠となります。
  • Workflows(ワークフロー): マイクロエージェントのワークフローランタイムです。静的なロールまたは動的なプランナーをサポートし、バウンデッドなワーカー手順を実行し、最終的な応答を合成します。

[画像: Figure 2: Looperアルゴリズムは、モデルAPIサーフェスを維持しながらルーター内で実行される。]

Figure 2: Looperアルゴリズムは、モデルAPIサーフェスを維持しながらルーター内で実行される。

実装の詳細は重要です。looperは「より多くのモデルに尋ねる」というスローガンではありません。それは、予算、トポロジー、トレース、および障害ポリシーを持つ小さなランタイムです。

Confidence: 困難なケースにのみエスカレーションを費やす

Confidenceはコストを意識したループです。より小さく、またはより安価な候補から開始し、回答が十分に信頼できるかどうかを判断して停止します。信頼度シグナルは、トークンレベルの対数確率、対数確率のマージン、ハイブリッドスコア、自己検証、またはAutoMixスタイルの含意検証器から取得できます。

スコアが閾値を超えた場合、ルーターは即座に応答を返します。スコアが低すぎる場合、ルートは次の候補にエスカレートします。重要なのはエスカレーションが存在することではありません。エスカレーションが明示的なルーターポリシーになることです。閾値、障害動作、および停止条件は可視的で調整可能です。

[画像: Figure 3: Confidenceはエスカレーションを測定された停止ポリシーに変える。]

Figure 3: Confidenceはエスカレーションを測定された停止ポリシーに変える。

Ratings: ハードキャップ下での並列品質

Ratingsは制御されたアンサンブルループです。複数の候補を並列で起動しますが、設定されたmax_concurrentキャップまでです。これにより、ルートが複数のモデルビューから利益を得るべきだが、すべてのリクエストが無制限のファンアウトにならないようにする場合に役立ちます。

ルーターは成功した応答を収集し、評価に基づいた集約を適用し、ルートポリシーに従って障害を処理します。実際には、RatingsはA/Bスタイルの評価、アンサンブル戦略、およびオペレーターがすでに意味のある候補ごとの品質シグナルを持っているルートに適しています。

[画像: Figure 4: Ratingsはマルチ候補実行をバウンデッドで評価認識の状態に保つ。]

Figure 4: Ratingsはマルチ候補実行をバウンデッドで評価認識の状態に保つ。

ReMoM: 契約を持つ広範さ

ReMoMは、タスクに高い推論のばらつきがあり、回答形式が連携を生き残る必要がある場合に役立ちます。複数の推論試行にファンアウトし、最小成功クォーラムを待ち、その後、合成モデルに証拠を必要な出力契約にマージさせます。

合成が失敗しても、以前のワーカーが有効な証拠を生成していた場合、ルートはAPIエラーに崩壊する必要はありません。最良の有効な証拠にフォールバックし、通常の応答を返すことができます。

[画像: Figure 5: ReMoMは広範さ、クォーラム、合成、フォールバックをサービングタイムコントロールとして扱う。]

Figure 5: ReMoMは広範さ、クォーラム、合成、フォールバックをサービングタイムコントロールとして扱う。

Fusion: 不一致をシグナルとして

Fusionは異なる仮定から始まります。時には有用なオブジェクトは平均的な回答ではなく、不一致の構造です。独立したパネルの回答が証拠となります。ジャッジは合意、矛盾、および独自の洞察を見て、その後ファイナライザーがAPIの背後でトレースを折りたたんだ単一の回答を返します。

これにより、Fusionは、妥当な競合パスがある場合に特に役立ちます。難しい多肢選択推論、長文の専門家判断、または単一の自信のある応答が壊れやすい正確な回答タスクです。

[画像: Figure 6: Fusionは不一致を隠さない。不一致を証拠に変える。]

Figure 6: Fusionは不一致を隠さない。不一致を証拠に変える。

Workflows: 予算の下でのロール

Workflowsは最もエージェント的なパターンであり、最も厳格な境界を必要とするパターンでもあります。プランナーは許可されたワーカーモデルのみを選択できます。計画は検証されます。ステップは、最大ステップ、最大並列処理、タイムアウト、およびエラーポリシーによって制限されます。最終的な応答は、出力契約を満たす必要があります。

SWEスタイルのタスクの場合、これは、アプリケーションがカスタムエージェントスタックを所有することなく、ルーターがプランナー、パッチャー、検証者、およびファイナライザーを表現できることを意味します。プロダクションサービングでは、その区別は重要です。ループは強力ですが、依然としてインフラストラクチャによって管理されます。

[画像: Figure 7: Workflowsはルーターに無制限の自律エージェントではなく、バウンデッドなロールシステムを与える。]

Figure 7: Workflowsはルーターに無制限の自律エージェントではなく、バウンデッドなロールシステムを与える。

Auto recipes: 単一モデル名、多数のループ

公開サーフェスは単一のモデル名、vllm-sr/autoのままです。内部的には、ルーターはシグナルと投影を使用して、リクエストに適切なループを選択できます。難易度、リスク、契約圧力、レイテンシー、およびコストは、プロンプト内のコメントではありません。それらは、Confidence、Ratings、ReMoM、Fusion、Workflows、またはフォールバックパスを選択できるルーティングファクトです。

[画像: Figure 8: Auto recipesは、単一モデルのアイデンティティを維持しながら、シグナルが連携パターンを選択できるようにする。]

Figure 8: Auto recipesは、単一モデルのアイデンティティを維持しながら、シグナルが連携パターンを選択できるようにする。

これが「エージェントとしてのアプリロジック」と「サービングランタイムとしてのマイクロエージェント」の違いです。ルーターは、予算、ポリシー、トポロジー、トレース、および障害モードを制御します。

レシピは単一のユニバーサルループを凌駕する

私たちの評価作業からの最も重要な教訓は、単一のアルゴリズムが常に勝つということではありません。

それは逆です。

最良のループはタスク形状である。

GPQA-Diamondは厳格な多肢選択回答の保持を求めています。LiveCodeBenchは実行可能なコードと隠しテストの堅牢性を求めています。Humanity's Last Examは不一致の解決と正確な回答フォーマットを求めています。SWEスタイルのタスクには、プランナー、パッチャー、検証者、およびファイナライザーが必要です。

だからこそ、vllm-sr/autoは「常に最大のループを実行する」という意味ではなく、「このタスクに合ったレシピを選択する」という意味であるべきです。

[画像: Figure 9: シグナルと投影により、ルーターはベンチマーク形状の連携パターンを選択できる。]

Figure 9: シグナルと投影により、ルーターはベンチマーク形状の連携パターンを選択できる。

私たちのレシピでは、その形状は明示的です。

  • GPQA-Diamondは、厳格なANSWER: Xの保持を要求するReMoMレシピに、困難な科学の多肢選択プロンプトをルーティングします。
  • LiveCodeBenchは、コード形状のループを選択する前に、制約、スターターコード、標準入力、浮動小数点許容誤差、タイムアウトリスク、および隠しテストリスクを探します。
  • HLEは、より深いReMoM、より小さなFusion、またはフォールバックパスの間で選択する前に、形式的な推論、不一致リスク、長文コンテキスト、および正確な回答の圧力を検出します。

これが、ルーターサイドの連携がプロンプトエンジニアリング以上のものになる理由です。プロンプトはその一部にすぎません。レシピはまた、モデルプール、モデルロール、推論努力、並列処理、クォーラム、タイムアウト、合成モデル、フォールバックポリシー、出力契約、およびオブザーバビリティラベルを定義します。

スコアカードは証明であり、全体像ではない

私たちは、現在のクローズドモデルレシピを3つの困難なベンチマークで評価しました。数字は、このアイデアが美的であるだけでなく、機能することを示しているため有用です。

[画像: Figure 10: LiveCodeBench、GPQA-Diamond、およびHumanity's Last Exam全体でのVSR ClosedおよびVSR Hybridスコアカードビュー。]

Figure 10: LiveCodeBench、GPQA-Diamond、およびHumanity's Last Exam全体でのVSR ClosedおよびVSR Hybridスコアカードビュー。

このスコアカードでは、VSR Closedはレシピがクローズドモデルバックエンドのみを使用することを意味します。VSR Hybridは、レシピが高リスクの判定、修復、合成、またはフォールバックを必要とする場所で、より強力なクローズドモデルを混合して使用することを意味します。

ベンチマークVSRスコアカード行スコア参考行
LiveCodeBench, 2025年1月~4月VSR Closed92.6Fugu Ultra 92.0, Fugu 90.3, GPT-5.5 90.7, Opus 4.8 90.3
GPQA-DiamondVSR Closed96.0Fugu Ultra 95.5, Fugu 95.5, Gemini 3.1 Pro 94.3, GPT-5.5 93.6
Humanity's Last ExamVSR Closed50.0Fugu Ultra 50.0, Fugu 48.5, Gemini 3.1 Pro 45.0
Humanity's Last ExamVSR Hybrid47.1GLM-5.2 40.5, Qwen3.7 Max 41.4, GPT-5.5 41.4

スコアカードは注意深く読む必要があります。すべてのリクエストが常にすべてのクローズドモデルを使用すべきだという主張ではありません。それは間違った製品です。

主張は、ルーターが所有する連携が、その下の個々の呼び出しよりも強力なモデルアイデンティティを作成できるということです。それは、単一のAPIサーフェスを維持しながら、フロンティア単一モデルのベースラインを凌駕または同等にすることができます。

それが実際の製品形状です。

  • ユーザーは単一のモデル名を見ます。
  • オペレーターはレシピを制御します。
  • クライアント統合を変更せずにシステムを改善できます。
  • オープンおよびクローズドモデルは、同じサービング抽象化の下で参加できます。

モデルサービングにおける意味

古いサービングスタックは受動的でした。モデル名を受け取り、リクエストをバックエンドに送信しました。

次のサービングスタックは能動的です。それは次のように尋ねます。

  • このリクエストに関する証拠は何ですか?
  • 品質、コスト、レイテンシー、および安全性のどのバンドに該当しますか?
  • 単一のモデルで十分ですか?
  • そうでない場合、どの連携パターンを実行すべきですか?
  • どの回答契約を維持する必要がありますか?
  • プロバイダーのいずれかが遅い、または間違っていた場合はどうなりますか?
  • 完全なトレースを維持しながら、クリーンな単一の応答をどのように公開しますか?

それはアプリケーションの糊付けではありません。それはインフラストラクチャです。

マイクロエージェントはルーターに属します。なぜなら、ルーターはすでにマイクロエージェントが必要とするもの、つまりモデルエイリアス、プロバイダーポリシー、認証情報、コストメタデータ、シグナル、決定、リトライ、タイムアウト、トレース、およびOpenAI互換の応答セマンティクスを所有しているからです。

まとめ

「最先端モデル」というフレーズは、2つの意味を持ち始めています。

一つはチェックポイントです。

もう一つはシステム境界です。

最近のオーケストレーションの波は方向性を示しました。vLLM Semantic Routerは、この機能がプログラマブルで、オブザーバブルで、サービングレイヤーでオープンであるべきだという賭けです。

次のモデルレースは、依然としてより良いモデルに関わるでしょう。しかし、それはより良いルーターも関わるでしょう。それは、いつお金を節約するか、いつ安全を強制するか、いつエッジに留まるか、いつクラウドに行くか、そしていつ単一のリクエストを小さく規律あるチームに変えるかを知っているルーターです。

それが、モデルAPI内のマイクロエージェントの約束です。

謝辞

MBZUAI、McGill University、Mila、およびAgentic Intelligence Labの研究者、特にProf. Xue Liu氏とDr. Bowei He氏に、研究協力とルーターサイドのモデル連携に関する議論に感謝します。

個人貢献者: Huamin Chen、Yincheng Ren。

AMDのAndy Luo氏とHaichen Zhang氏には、AMD GPU評価サポートに感謝します。