HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

誰もがLLMルーターを構築しているが、我々はそれを非推奨にした

Everyone is building LLM routers, we deprecated ours (manifest.build)

113 pointsby brunaxLorax59 コメント

要約

Manifest社は、コスト削減を目的としたLLMルーターのトレンドに対し、自社で開発したルーターをわずか数ヶ月で非推奨にした経験を共有しています。プロンプトだけではタスクの複雑性を判断できないこと、キャッシュの方がコスト削減に効果的であること、モデルの一貫性が失われること、そして予測不可能性が運用コストを増大させることなどが主な理由として挙げられています。

全文翻訳

LLMルーターは皆が作っているが、我々はそれを非推奨にした

我々はもはやモデルルーティングを信じていない。 ほとんどのユースケースでは、単一の、実証済みのモデルに固執するのが最善である。

最近、AIモデルルーター、つまりリクエストに応じてオンザフライでモデルを選択するルーターが大きな話題となっている。ここ数週間で、推論コスト削減を謳う同様の約束をした多くの製品がローンチされた。我々もLLMルーターを持っていたが、それを取り除くことにした。

まず背景から説明しよう。我々はManifest LLMルーターを3月に、LLMゲートウェイの主要機能としてローンチし、6月に非推奨とし、9月1日に完全にシャットダウンした。我々のルーターは、各リクエストを単純、標準、複雑、推論の4つの異なる複雑度レベルに分類していた。

[画像: LLMルーターの図: 単一のエージェントリクエストがAnthropic, DeepSeek, OpenAI, Mistralモデルに分岐している]

ほとんどのLLMルーターと同様に、我々のルーターもコスト削減のために作られた。なぜ単純なタスクに強力で、したがって高価なモデルを呼び出す必要があるのか?最もコスト効率の良いモデルにルーティングするのは自然な解決策のように思えるだろう?それほど単純ではない。7000人のクラウドユーザーにわたる4ヶ月の使用を経て、我々は混在した結果と、それに関する多くのGitHubの問題や議論を目にした。主な問題点を掘り下げてみよう。

プロンプトだけでは複雑性を判断できない

プロンプトだけではタスク全体が含まれるわけではなく、それは単なるトリガーに過ぎない。複雑性を決定するコンテキストの多くは、ツール呼び出しやウェブ検索などを通じて後から発見される。

例を挙げよう:「リポジトリ $GIT_REPO のテストを評価し、改善してください」 という指示は、プレーンなHTML5で書かれた個人ウェブサイトを対象とするなら非常に単純なタスクかもしれないが、Linuxカーネルリポジトリを対象とするなら信じられないほど複雑なタスクになり得る。

コスト削減にはルーティングよりもキャッシュの方が効果的

キャッシュからの読み取りは、キャッシュされていない入力よりも75%から90%安価である。 システムプロンプトや会話履歴は、しばしば多くのトークンを表す。プレフィックスキャッシュは、プロンプトの先頭にあるため、それらに非常によく機能する。

キャッシュを認識するモデルルーターは、最初に選択されたモデルへのスティッキーさを追加し、それをクエリし続けることでそれを考慮に入れるだろう。言い換えれば、ルーターはその仕事を、皮肉なことに、それをしないことで行うことになる。

LLMルーターは挙動の一貫性を損なう

「エンジニアは、タスクに最適なLLMを選択することを気にかけるべきではない」と言う人もいる。しかし、我々は強く反対する。

画家がどの筆を使うべきかを正確に知っているように、職人が道具を慎重に選ぶように、エンジニアは異なるモデルのトレードオフと微妙な違いを理解する必要がある。Manifestでは、すべてのエンジニアが意図に基づいてモデルと努力パラメータを選択している。

作業セッション中にモデルからモデルへと飛び移ることは、全体的な作業の品質を低下させ、人々がツールを習得することから離れてしまう。

予測不可能性にはコストがかかる

誰も予測不可能性を好まない、特にソフトウェアエンジニアは。

自動化されたエージェンティックワークフローや自律エージェントにおいて、その追加の不確実性のレイヤーを管理することは、節約できる額よりもコストがかかる可能性がある。 Evals、システムプロンプト、オブザーバビリティなどを考えてみてほしい。すべてが突然、維持するのが難しくなる。

異なるリクエストを分離し、それに対して適切なモデル、パラメータ、プロンプトを設定することは、ほとんどの場合、自然に優れているように思える。

結論

LLMルーティングが有用なユースケースは数多く存在する可能性があり、それらをローンチした企業にはおそらく正当な理由があるだろう。

しかし、我々の経験に基づくと、我々が見たほとんどのユースケースでは、それだけの価値はなかったと結論づけた。節約された金額はどこかで支払われており、そのコストは推定が難しい。