プログラミング
Show HN: Claude、Codex、Cursor でのスマートモデルルーティング
Show HN: Smart model routing directly in Claude, Codex and Cursor (github.com)
要約
Weaveが開発したモデルルーターは、コーディングエージェント(Claude Code、Codex、Cursorなど)に組み込まれ、リクエストを最適なモデルにインテリジェントに送信します。これにより、開発コストを40%削減しつつ、品質や速度の低下は見られませんでした。このルーターはElastic License 2.0の下でソースが公開されており、セルフホストも可能です。
全文翻訳
私たちは、コーディングエージェント(Claude Code、Codex、Cursorなど)にプラグインし、リクエストを処理するのに最適なモデルにインテリジェントに送信するモデルルーターを構築しました。ローカルで実行する簡単なデモはこちらです:https://www.youtube.com/watch?v=isKhAyivtfM
Weaveでは、ほぼすべてのコードをAIで書いていますが、そのコストは高くなっています。Opus 4.7がリリースされ、そのトークナイザーの変更によりコストが急増したとき、この問題はピークに達しました。私たちはすべてにOpusが必要なわけではないと知っていましたが、本当に必要な場合にそのインテリジェンスを失いたくはありませんでした。そこで、この問題を解決するためにモデルルーターを構築することにしました。
Weave Routerは、コーディングエージェント専用のAnthropic/OpenAIエンドポイントとして機能します。すべての推論リクエストを分析し、インテリジェントに(これについては後ほど詳しく説明します)どのモデルに送信するかを決定し、途中で必要なすべての翻訳を処理します。そのため、可能な場合はより高速で安価なモデル(DeepSeek v4、GLM 5.2、Kimi K2.6など)を使用し、必要な場合は最先端のモデル(Opus 4.8 & GPT 5.5(& Fableが復活したら))を使用できます。
どのモデルにルーティングするかは、どのようにして知るのでしょうか?私たちは、何万もの(これまでのところ!)エージェントのトレースデータを使ってRLモデルをトレーニングしました。ルーティングモデルが与えられたタスクを正常に完了するLLMを選択したときに、報酬を与えます。
例を挙げます。ルーターに複雑な変更を計画するよう依頼すると、そのリクエストは(おそらく)Opus 4.8にルーティングされます。コードベースを探索してコンテキストを収集するサブエージェントは、より適切なモデル(DeepSeek V4 Flashなど)にルーティングされます。そして、実装準備ができた計画は、(おそらく)より高速なモデル(GLM 5.2など)に渡され、実行されます。
私たちはこれを過去1ヶ月間ほど社内で使用してきました。トークンコストを、そうでなければ支払っていたはずの金額と比較して40%削減でき、品質や速度に目立った違いはありませんでした。
このルーターはElastic License 2.0の下でソースが公開されているため、セルフホストできます。または、ご希望であれば、私たちのホスト版であるweaverouter.comを使用することもできます。
ご質問があれば、喜んでお答えします!