予算別最適なLLM、毎日更新
Best LLM for every budget, updated daily (bestmodelforyourbudget.terrydjony.com)
要約
この記事は、大規模言語モデル（LLM）の性能と価格を比較し、予算に応じた最適なモデルを見つけるためのウェブサイトを紹介しています。日々の更新により、最新のモデル情報や価格対性能のフロンティアを確認でき、コストパフォーマンスに優れたモデルを特定できます。
全文翻訳
どのLLMが価値があるか
Artificial Analysis Intelligence Index 上の全モデルを、ブレンドされたAPI価格、または実際のタスクあたりのコストと比較してプロットしています。バリューフロンティア上のモデルは、それより安価でかつ高性能なモデルが存在しないものです。それ以外のモデルは、両方の点でライン上のポイントに劣ります。スコアの低いものはデフォルトで非表示になっています。価格ビューでは、モデルごとに1つの点がプロットされます。なぜなら、モデルのすべての推論設定は1Mトークンあたりの価格が同じだからです。タスクあたりのコストビューでは、各推論設定が個別に表示されます。なぜなら、それらはタスクあたり非常に異なるコストがかかるからです。
データをロード中…
最小スコア 30 モデルごとに1行 メーカー フロンティアのみ 全てのポイントにラベル付け
パフォーマンス vs 価格
Intelligence Index に対する、1Mトークンあたりのブレンドコスト（入力:出力 3:1、対数スケール）。詳細を表示するには、ポイントにカーソルを合わせるかタブで選択してください。
バリューフロンティア上のモデル 支配されているモデル：より安価なモデルが同等かそれ以上 バリューフロンティア
予算別ベストモデル
フロンティアをルックアップテーブルとして表示。予算に合う行を見つけてください。その価格で得られる最高スコアのモデルが「Pick」、次に良いのが「Runner-up」です。
| 1Mトークンあたりの予算 | Pick | スコア | 価格 | Runner-up |
|---|
生の能力
コストを完全に無視した場合。
変更点
連続する日次フェッチ間の差：新しいモデル、削除されたモデル、再スコアリングまたは再価格設定されたモデル。
全ての図
列ヘッダーをクリックして並べ替えます。名前はモデルのArtificial Analysisページにリンクします。
| モデル | メーカー | Intelligence | Cost/task | Blended $/1M | Input $/1M | Output $/1M | Tokens/s | TTFT s |
|---|
読み方
- バリューフロンティア。 価格で昇順にソートし、それより安価な全てのモデルよりも高いスコアを持つモデルを保持します。価格のタイは高スコアが優先され、スコアのタイはより安価なモデルが優先されます。
- ブレンド価格は、Artificial Analysis の 1M トークンあたりの 3:1 入力:出力ブレンドです。キャッシュ入力割引、バッチ価格設定、高速モードは含まれていません。
- タスクあたりのコストはここでは計算されていません。これは Artificial Analysis 独自の指標で、データAPIから公開されている値として取得されます。Intelligence Index タスクを1つ完了するためにかかる加重平均コスト（USD）です。AA は完全な Index を実行し、プロバイダーから報告されたトークン数（入力、キャッシュ入力、推論、回答トークン）を取得し、モデルのトークンあたりのレートで価格設定し、各ベンチマークを Index と同じ方法で重み付けします。1Mトークンあたりの価格が同じ2つのモデルでも、一方が回答に到達するために数倍のトークンを消費するため、コストは数倍異なることがあります。
- 推論設定は個別の行です。 AA は各努力レベル（低、中、高、x高、最大、非推論）を独自のモデルとしてベンチマークし、独自のスコアと独自のタスクあたりのコストを持ちます。このページ上のすべての数値は、特定の推論設定に属しており、ツールチップとテーブルに名前が記載されています。高い努力レベルは通常、より高いスコアとより高いタスクあたりのコストをもたらしますが、1Mトークンあたりの価格は同じままです。
- タスクあたりのコストの限界。 AA はより少ないモデルに対してこれを測定しているため、そのビューはより小さな範囲を示します。これは AA のベンチマークワークロードを反映しており、あなたのワークロードではありません。
- 「モデルごとに1行」は、各モデル名の最高スコアの努力レベルまたは推論バリアントを保持します（タイはより安価な方が優先されます）。価格ビューではデフォルトでオンになっています。なぜなら、モデルの推論設定はすべて同じ価格を共有し、互いに積み重なるだけだからです。タスクあたりのコストビューではデフォルトでオフになっています。そこでは、それをオンにすると重要な詳細が隠されます。最高スコアのバリアントは通常、最も高い努力レベルで最も高価ですが、同じモデルのより低い努力レベル設定の方がしばしば価値があります。
- 「最小スコア」は、そのインデックスを下回るモデルをチャートとフロンティア計算の両方から非表示にします。そのため、非常に安価な古い小さなモデルがラインを固定することはありません。
- スコアは変動します。 AA は Index をバージョン間で再ベースするため、古いスナップショットではなく、このページに対してのみ比較してください。
ソース：Artificial Analysis の無料データAPI。GitHub Actions の cron によって毎日取得されています。コードとデータ：github.com/terryds/bestvaluemodel。