OpenRouterを使いたいですか？

OpenRouterを使いたいと思ったら

一見すると簡単そうに見えるかもしれませんが、残念ながら、すべてが苦労の連続です。

私はOllyという、iMessageで動作するAIアシスタントを、OpenRouter経由でオープンソースモデル上で実行しています。現在までにOllyは1800万件以上のメッセージを処理しており、そのうち約3分の1はOpenRouter経由のオープンモデルで処理されました。この規模のトラフィックがあれば、少なくとも一度はあらゆるエッジケースに遭遇するはずです。そこで、私が事前に知っておきたかったことをリストアップします。

まず、簡単な用語解説です。モデルとは重みのことです。プロバイダーとは、OpenRouterがルーティングする相手であり、モデルをGPU上で、彼らが選択した精度でホストし、独自のXML/ツールパーサーを用いた「独自の」最適化を行っています。これは、それぞれが「独自の」バグリストを持っていることも意味します。deepseek/deepseek-v4-flashのようなモデルをリクエストすると、あなたがほとんど聞いたことのない約20社のうちの1社にルーティングされます。これらは紙の上では同じモデルですが、実際には非常に異なるモデルです。

さて、注意すべき落とし穴をいくつか紹介します。

1. 同じモデルでもベンチマーク結果は大きく異なる

OpenRouterは、同じモデルに対してプロバイダーごとのベンチマークを実行しています。GPQA Diamond（知識タスク）とTAU-Bench Airline（ツール呼び出しタスク）です。これは、DeepSeek V4 Flash 0731の今日のボードで、全く同じ重みをサービスしている各プロバイダーの結果です。

［画像: DeepSeek V4 Flash 0731のプロバイダー別ボード、2026-09-07］

OpenRouterのdeepseek/deepseek-v4-flash-0731のプロバイダー別ボード、2026-09-07。過去32日間の移動平均。ドットにカーソルを合わせると名前が表示されます。

最初のDeepSeekはGPQAで90%、TAUで81%ですが、同じ重みを持つDigitalOceanはそれぞれ75%と58%です。ほとんどのホストは、ツール呼び出しでファーストパーティより5〜7ポイント低く、4つは知識タスクで大きくスコアを落としています。エージェントにとってTAUは重要なスコアであり、20ポイントの差はノイズではありません。（7月にはさらに悪く、FireworksはTAUで46%という30ポイントのギャップがありました）。

プロバイダーを信頼する前に、あなたのワークロードに最も近いベンチマークをボードで確認してください。モデルを切り替える際も再確認してください。同じプロバイダーがGLM-5.3では全く異なる結果を示していました。

2. ビジョンモデルに「盲目の」プロバイダーがいる

画像タスクで奇妙な非決定的な動作に気づいたため、2つのオープンビジョンモデルの各ホストに対して、3つの小さな画像（文字、単色、背景に文字）を同じように実行しました。

［画像: ビジョンモデルのプロバイダー別結果］

2026-07-31に記録されたホストごとの結果。MiniMaxの色の誤りは、ファーストパーティを含むすべてのホストで発生したため、これはプロバイダーではなくモデルの問題です。

DeepInfraのQwenエンドポイントは、KをRと読み、赤を青と呼び、「umbrella」という単語を「funny」と表現しましたが、同じ重みをホストする他の4つのホストはすべて正しく認識しました。VeniceとTogetherはMiniMaxの画像を全く認識しませんでした。モデルページでは画像入力をサポートしているとされていますが、そのプロバイダーのうち2つはサポートしておらず、さらに悪いことにすべてが200 OKであるかのように見せかけます。

3. 「努力」ノブは一部のプロバイダーではオプション

reasoning.effortはどこでも受け付けられます。それが機能するかどうかは、モデルとプロバイダーによります。私はDeepSeek V4 Flash 0731を提供するすべてのプロバイダーをピン留めし、同じプロンプトを低、高、最大設定でそれぞれ3回、本番環境のマシンから送信しました。以下はその推論トークン出力です。

［画像: DeepSeek V4 Flash 0731のプロバイダー別努力設定］

DeepSeek V4 Flash 0731 via OpenRouter、2026-09-07：effortは機能するか？ 0 500 1000 1500 2000 alibaba atlas-cloud baseten cloudflare coreweave deepinfra digitalocean gmicloud mancer morph nextbit novita open-inference parasail phala reka relace sail-research siliconflow streamlake together venice wafer reasoning tokens per call, same prompt, provider pinned, 3 calls per effort. ● low ● high ● max

DeepSeek V4 Flash 0731では、ほとんどのプロバイダーはこの設定を尊重していますが、digitalocean、gmi-cloud、mancer、veniceに注目してください。

effort設定ごとに、プロバイダーごとに推論トークンを追跡してください。

4. 量子化フィルターは品質を保証しない

OpenRouterでは、宣言された精度でプロバイダーをフィルタリングできます。例えば、`quantizations: [