HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

モデルルーティングの第一原理

First Principles of Model Routing (try.works)

33 pointsby try-working16 コメント

要約

この記事では、モデルルーターを構築・利用する上での第一原理を4つ解説しています。モデルを効果的にルーティングするには、各モデルの特性を明確にし、モデルプールを小さく保つこと、相対的で実用的なベンチマークを使用すること、そして過去のルーティング決定を評価してデータを強化することが重要です。これらの原則は、モデルルーターの選択や自作に役立ちます。

全文翻訳

モデルルーティングの第一原理

ここでは、モデルルーター、ルーティングプロトコル、およびPi拡張機能であるrole-modelを構築する過程で私が開発した、モデルルーティングに関するいくつかの原則を紹介します。これらの原則は、モデルルーターを使用する人、または自分で構築する人にとって役立つでしょう。

1. モデルを明確に区別する
コーディングワークフローで、最新のGPTモデルと最新のOpusモデルをそれぞれ異なる役割に割り当てて使用している人を時折見かけます。これは間違いではありませんが、ルーティングの観点からは最適ではありません。

GPTとOpusモデルには異なる経験や好みがありますが、どちらもコーディングに偏った汎用モデルであり、パフォーマンスとコストの階層は同じです。

これにより、リクエストの難易度を判断してモデルにマッチングさせることは十分に難しいですが、それが完了した後、すべての領域でほぼ同等であるモデル間でどちらを選択するかという決定を下すことはさらに困難になるため、それらの間でのルーティングは難しくなります。

フロンティアモデル同士でルーティングする代わりに、制約の三角形(速度、品質、コスト)の少なくとも一方の側面で優れている別のモデルと、1つのフロンティアモデルの間でルーティングする方が良いでしょう。

例えば、ルーターとGPT 5.5を組み合わせて、中程度および簡単なリクエストをDeepSeek V4 Proにルーティングすることで、サブスクリプションのクォータを拡張できます。DeepSeek V4 Proは大幅に安価ですが、非常に難しいタスクでは能力が大幅に劣るため、ルーティングの決定はより容易になります。

2. モデルプールを小さく保つ
この点は前の点から派生します。より多くのモデルをルーティング対象としてプールサイズを増やすことが良いことだと考えるかもしれません。

例として、role-modelをGPT 5.5、Kimi 2.7、DeepSeek V4 Pro、DeepSeek V4 Flash、さらにはいくつかの小規模なGPTモデルを使用するように設定できます。

しかし、各モデルが明確な特性を持たない場合、モデルを増やすことはルーティングの意思決定をさらに難しくするだけです。実際には、パフォーマンスのためにGPT 5.5と、キャッシュがウォームであるために小規模タスク用に選択され維持される他のモデルのいずれかとの間でルーティングするだけになる可能性が高いです。

したがって、明確な違いを持つモデルがない限り、プールに追加しないでください。デフォルトではプールサイズを2に制限し、各モデルの役割を明確に定義できる場合にのみ、さらにモデルを追加してください。追加することで速度、品質、またはコストが増加しますか?そうでないなら、追加しないでください。

3. 相対的かつ実世界のベンチマークを使用する
コストなどのモデルメタデータに基づいてルーティングするルーターや、Artificial Analysisのようなソースからの外部ベンチマークをメタデータに追加するルーターを時折見かけます。これは何もないよりはましですが、理想的ではありません。なぜなら、ベンチマークは十分に詳細なパフォーマンスプロファイルを提供しない可能性があり、実際​​のワークロードを反映しない可能性があり、厳密に相対的でない可能性があり、特定のモデルのデータが不足している可能性があるからです。

さらに、モデルは異なるリモートエンドポイントで異なるパフォーマンスを示し、時間とともに変化する可能性があり、異なるローカルシステムで異なるパフォーマンスを示す可能性があります。

プール内のモデルのプロファイルに関する明確なデータを取得するには、ルーター内でベンチマークを実行するのが最善です。このベンチマークは、個々のテストを機能(ツール使用、ビジョンなど)、タスク、または役割でタグ付けし、モデルのパフォーマンスを互いに相対的にスコアリングして、より豊かなルーティングプロファイルを作成します。

4. 過去の決定を評価してルーティング決定データを強化する
ベンチマークは出発点と見なされるべきです。リクエストをルーティングする際、私たちは未来を予測しようとします。つまり、コストや速度を含むさまざまなパラメータを考慮して、ど​​のモデルがこのリクエストで最適に機能するかを予測します。

これらの決定は、過去のリクエストに基づいたユーザー固有の評価を作成し、それをモデルプール全体でのベンチマークとして実行することによって見直されるべきです。これが、モデルがどのように機能し、それらをどのようにルーティングするかについての最良のシグナルとなります。

さらに、テレメトリデータは、エンドポイントの安定性、リクエストの応答時間、およびカタログメタデータでは捉えられないその他の情報を提供します。

ここまでたどり着いたなら、role-modelを使って自分で選んだモデルでモデルルーティングを試すことができます。コメントにあるリポジトリリンクをチェックしてください。