LLM：知性とコスト

LLM：知能とコスト

ArtificialAnalysis は、様々なLLMモデルの知能をベンチマークするウェブサイトです。彼らは、各モデルで実行される厳選されたベンチマークの平均出力を計算した「インテリジェンス・インデックス」を発表しています。これは、モデル全体の賢さを大まかに測るための妥当な指標です。

AAは、ベンチマークの実行にかかったコストという有用な情報も記録しています。ベンチマークは全モデルで共通であるため、これはユーザーが各モデルを実行するのにかかるコストを相対的に示す良い指標となります。

彼らの主要なプロットの1つは「インテリジェンス対コストのプロット」で、これはパレートフロンティア、つまり各知能スコアを達成できる最も安価なモデルを示しています。このフロンティアは重要です。なぜなら、安価でより単純なモデルでこなせるような些細なタスクに、超知能で超高価なモデルを使用するのは単なる金の無駄だからです。

時が経つにつれて、私はいくつかの理由から、このプロットに次第にイライラするようになりました。

AAのプロットが誤解を招く理由

最初の問題は、コスト軸に対数スケールを使用していることです。対数スケールを使用すると、タスクあたり0.015ドルのモデルと0.032ドルのモデルの違いを見つけることができますが、同じプロットには3.69ドル（約250倍高価）のモデルも含まれています。しかし、その結果、視聴者は安価なモデルと高価なモデルの価格差の大きさを認識できなくなり、安価なモデル間の価格差がいかに些細であるかも理解できなくなります。

次に気になるのは、モデル開発者自身のAPI提供による公式価格を使用している点です。これはほとんどの場合問題ありませんが、オープンウェイトモデルの場合、サードパーティのAPIプロバイダーからレンタルできる全く同じモデルよりもはるかに高価になることがあります。OpenRouter は、プロバイダーをオンザフライで切り替え、常に最も安価なオファーを入手することを非常に容易にします。

3つ目の、そして最後の問題は、コンシューマーハードウェアに搭載できるローカルモデルが、プロット上ではデータセンター価格で表示されることです。これは常に、購入する知能に見合わないほど高価であり、最終的には実際のユーザーが積極的に購入したいと思うものではありません。

独自のプロットを作成しました

すべてのインテリジェンス・インデックス・スコアはArtificialAnalysisのものです。特に明記されていない限り、すべてのポイントは最大思考努力でベンチマークされています。すべてのコストスコアもArtificialAnalysisのものです（下記注記を除く）。

最初のプロットでは、2026年9月1日時点での、最も知能が高く（そして高価な）モデルの提供状況を見ています。

インテリジェンス軸の読み取りの目安として、1ポイントの違いはほとんどの人には気づかれない可能性が高いですが、5ポイントの差は顕著です。この最初のプロットの最低ラインである知能スコア50は、2026年2月時点の世界で最も賢いモデル（Opus 4.6）が提供できたレベルにほぼ相当することに注意することが重要です。

［画像: Intelligence vs. Cost per Task (High Intelligence)］

左下の緑色の領域は、モデルが非常に安価になる場所です。これを拡大し、インテリジェンス・プロットをもう少し下に伸ばして、スマートフォンで実行できるレベルまで表示してみましょう。

一部のモデルには⚡記号が付いています。これは、モデルが非常に小さいためデータセンターから提供するのは意味がなく、ローカルでモデルを実行するための電力コストとして計算されたことを意味します（計算の詳細については後述）。ローカルモデル同士を比較する場合、各モデルがタスクを完了するのにかかる時間も規模として示されます。

［画像: Intelligence vs. Cost per Task (Low Cost)］

最後に、2つのプロットを結合して、パフォーマンス/コストの収穫逓減をより視覚化しましょう。ここでも、すべてのプロットに共通する領域は緑色でハイライトされています。

［画像: Intelligence vs. Cost per Task (All Models)］

AAのプロットと私のプロットのすべての違い

• x軸スケールを対数から線形に変更しました。なぜなら、人のお金は対数的ではないからです。
• Kimi K3、Qwen3.8 Max、DeepSeek V4 Flash 0731、GLM-5.3、GLM-5.3-Flash、Hy3をOpenRouterで入手できる価格に変更しました（過度に遅い、または信頼性の低いプロバイダー、およびゼロデータ保持ポリシーを持たないプロバイダーは除外）。
• GLM-5.3-Flashのポイントを、AAの最大努力でのスコアとZ.aiのコーディングスコアを異なる努力レベルで比較して、高推論努力レベルで外挿しました。
• 350億パラメータ未満のモデルをデータセンター価格からローカル実行コストに変更しました（下記参照）。
• Ornith-1.5-35B-A3Bを追加しました。知能スコアはモデル作成者による自己申告されたベンチマーク結果から外挿されたものであり、懐疑的に受け止めるべきです。

ローカルモデルのコスト計算

⚡記号が付いたモデルのタスクあたりのコストは、以下のように大まかに計算されました。

• タスクあたりの出力トークン数を取得します（artificialanalysis.aiより）。
• ローカルハードウェアでのデコード速度（トークン/秒）を大まかに観察します。ほとんどの測定は、2020年製の同じRTX 3090ビデオカードで行われました。これは現在、約1,400ドル（中古）で比較的入手しやすいです。
• 前記ハードウェアのピーク電力消費量とアイドル電力消費量の差を測定します。
• 電気料金は、2026年5月時点の米国人口加重平均の住宅用電力価格である0.2049ドル/kWhとします。
• キャッシュされていない入力トークンとツール呼び出しの待機時間のために15%（概算）を追加します。
• ハードウェアコストはゼロとします。これは、RTX 3090 PCも64GB Strix Haloも、どちらも望ましいゲーミング/ワークマシンであるためです。

ハードウェアプラットフォーム間で電力コストに実質的な違いはありません。Strix HaloはRTX 3090よりも消費電力が少ないですが、処理速度が遅いため、同じタスクを完了するにはより長く実行する必要があります。

より大きなローカルモデル

RAMが64GBを超えると、AI以外にそれほど多くのRAMを必要とする人はほとんどいないため、ハードウェアコストを含めないという主張は成り立たなくなります。

Qwen3.8-Flashは最低でも128GBのStrix Haloを必要とします。プロット上ではデータセンター価格とローカル実行の電気代の両方で表示されていますが、後者にはすでにかなりのハードウェア費用が隠されています。64GBのStrix Haloは非常に望ましい汎用ミニPCで2,000ドル、128GBのものは3,600ドルで、約120BパラメータクラスのAIモデル以外には何も可能にしません。

以下のモデルはローカルで実行可能ですが、非常に高い初期ハードウェアコストがかかります。

結論

AnthropicやOpenAIの最先端モデルと、はるかに安価な中国製モデルの間には、コストに莫大な違いがあります。前者は大企業にとっても高すぎますが、後者は携帯電話のサブスクリプション並みに安価です。

どれだけの追加知能が財布を空にすることで得られるかは、収穫逓減の法則に従います。トップクラスのエンジニアや科学者は、Fable 5.1（知能スコア66、タスクあたり3.69ドル）がGLM-5.3（知能60、0.49ドル — 7.5倍安価）よりどれだけ優れているかを理解できる可能性が高いですが、ほとんどの人はそうするのが難しいでしょう。さらに下に行くと、GLM-5.3-Flashは高設定（知能55、0.023ドル — Fableより160倍安価）で、プロジェクト全体を一度にコーディングするような非常に高度なタスクを与えると明らかに能力が劣りますが、人々が実際に行うことの90%にとっては十分です。前述の高度に専門化されたエンジニアや科学者でさえ、実際には多くの作業で追加の知能を必要としていません。さらに少し下に進むと、熱心なゲーマーは、すでに所有しているコンピューターでQwen3.8-27B（知能52、電気代0.015ドル）を実行できます。