Show HN: Astraレベルのパフォーマンスを持つコーディングエージェントのためのオープンソースモデルルーティング
要約
Astraというコーディングエージェントのパフォーマンスを凌駕することを目指し、オープンソースのモデルルーター「Weave Router 2.0」が発表されました。このルーターは、複数の大規模言語モデル(LLM)をインテリジェントに切り替えることで、コストを抑えつつ処理速度を向上させます。新しいアーキテクチャ、大規模なトレーニングデータセット、およびキャッシュ管理の改善により、同等の精度でコストを半減し、処理速度を2倍以上に向上させることに成功しました。
全文翻訳
数ヶ月前、私たちは単一モデルよりも優れた性能を発揮できるアンサンブルアプローチを考えて、コーディングエージェント用のモデルルーターを構築し始めました。最近、そのマイルストーンを達成したので、どのように実現したかをお話ししたいと思います。
まず、簡単な説明です。Weave Router(https://github.com/weave-os/router)は、あらゆるコーディングエージェント(例: Claude CodeやCodex)にプラグインし、LLM間をインテリジェントに切り替えます。例えば、Astraは厄介なデバッグや複雑なシステム設計タスクを処理し、Deepseek v4 Flashは簡単なフロントエンドの更新を処理します。
本日発表するのは、Weave Router 2.0と呼ぶ新しいルーティングモデルです。2.0をTerminal Bench 4.0とSWE AtlasでGPT-6 Astraと比較ベンチマークしました。両方のベンチマークで、ルーターは同等のパス率を達成しました。Terminal Benchでは、ルーターはAstraのコストの52%で、タスクを2.2倍速く完了しました。SWE Atlasでは、ルーターのコストはAstraの54%で、2.5倍速く実行されました。(全結果は弊社ウェブサイト https://weaveos.com/router でご覧ください!)
モデルの能力、コスト、キャッシュの認識などを考慮して効果的にルーティングするモデルをトレーニングすることは、非常に難しい問題であることがわかりました!この数ヶ月でこれほど大きく改善できた3つの方法についてお話ししたいと思います。1) 新しいアーキテクチャ、2) より大きなトレーニングデータセットサイズ、3) よりスマートなキャッシュエビクション(追い出し)の影響計算です。
- 新しいアーキテクチャ。当初のアプローチでは、多くの事前知識を持たないRLモデルを使用していました。RLは依然として物語の重要な部分ですが、ルーティング決定の全探索空間を探索するコストは非常に高いため、パフォーマンスを大幅に向上させるショートカットを取りました。
ルーティング問題の探索空間の大きさを考えてみてください。典型的なコーディングエージェントセッションでは、約100回のエージェントターン(つまり、100回のLLM API呼び出し)があります。技術的には、モデルを選択する機会は100回あります。約10個のモデルのローテーション(もちろん、もっと多くのモデルがありますが、パレート劣位のモデルは除外できます)があると仮定すると、そのセッションを通過する可能なパスは10^100通りあります。これらすべてを探索することはできません!だからこそ、この空間を縮小するための巧妙なトリックが非常に重要なのです。
特に、隠れマルコフモデル(HMM)をトレーニングしてセッションの状態を追跡し、次に分類器がセッションを類似モデルのいくつかのバケットのいずれかにマッピングします。HMMを使用することで、セッションが現在どこにあるかだけでなく、どのようにそこに至ったかも評価できます。この情報を取り込むことで、バケット選択のパフォーマンスが大幅に向上しました。これは、単純な分類器では非常に似ているように見える2つのセッションが、このHMMアプローチによってより良く区別されるためだと考えています。
このHMM + 分類器を使用して最初にバケットを選択することで、与えられたセッションを合理的に処理できるほとんどのモデルを除外することにより、探索空間が大幅に縮小されます。このアーキテクチャの再構築が、パフォーマンスを解き放つ最大の要因でした!
-
より大きなトレーニングデータセットサイズ(技術的にはあまり面白くありませんが、物語の重要な部分です)。フロンティアLLMを使用して、より大きく多様なコーディングエージェントセッションのセットにラベルを付けるのを助けてもらうことで、1)で議論した2つのモデルをより良い状態にブートストラップすることができ、同時にRLのためのよりリッチな報酬シグナルを提供することができました。
-
よりスマートなキャッシュエビクションの影響計算。うまくルーティングすること(コスト削減を気にする場合)の最も難しい部分の1つは、モデルキャッシュをインテリジェントに使用することです。モデルを切り替える(そして異なるキャッシュを埋めるための高い初回コストを支払う)ことの期待値をより正確に計算できるサブシステムを構築しました。これにより、コストのかかる不要な切り替えをより多くのケースで回避できるようになり、それでもメリットがコストを上回る場合には切り替えを行うことができます。ここが、コストに関する改善の大部分を占めています。
まだ改善の余地はたくさんあります(Astra/Fableに常に勝てるようになるまで休むつもりはありません!)。しかし、フロンティアモデルのパフォーマンスに匹敵することは、私たちのルーティングモデルにとって大きなマイルストーンであり、私の意見では、アンサンブルモデルが単一モデルよりも優れていることができるという当初の仮説を検証するものです。
私たちのルーターはオープンソース(https://github.com/weave-os/router)なので、誰でも試すことができます。または、ホスト版(https://weaveos.com/router)を使用することもできます。