100万トークンあたりの価格は無意味である

APIの請求書が届くと、もはや雰囲気だけの問題ではなくなる。多くの企業が、AIは確かに高価になりうることを発見している。AIの請求額を押し上げている習慣の一つに、モデルを「100万トークンあたりXドル」で比較することがある。数字が小さいほどコストが低い、ということになるはずだ。しかし、実際はそうではない。 100万トークンあたりのXドルは比較不可能である 各フロンティアラボは独自のトークナイザーを持っており、それがテキストの塊をいくつのトークンに分割するかを決定する。例えば、ここまでのこの投稿の全テキストは、GPT-4oでは160トークンに分割されるだろうが、同じ入力はGPT-4（1106-preview、tiktokenizer.vercel.appで生成）では200トークンかかるだろう。フロンティアラボ内（この場合はOpenAI）でさえ、トークンあたりのモデル価格は比較不可能である。異なるラボ間での比較、特に彼らが専有トークナイザーを常に微調整している場合、測定が困難な誤差が生じる。Anthropicは最近トークナイザーを変更し、Claudeが同じテキストを30%多くのトークンに分割するようになった。他の条件がすべて同じであれば、これはかなりの値上げに相当するだろう。しかし、考慮すべきもう一つの重要な要因がある。 トークン効率の極端なばらつき トークナイザーの影響を無視したとしても、もう一つの重要な要因は、トークンが実際にどれだけの価値を持つかということだ。トークンの価格ではなく、それを使って実際に何が達成できるかということだ。AIを真剣な仕事に使っている場合、トークン消費の大部分は「思考」に使われている可能性が高い。これはしばしば隠されているか不明瞭だが、表示される出力トークンと同じレートで請求される。この手法は出力品質を大幅に向上させることができるが、いわゆる「思考連鎖」の長さがAI使用の全体コストに影響を与える主な要因となり、これは大きく変動する可能性がある。 私は、アメリカのフロンティアラボの現在の最高のAIモデルと、中国のラボの最高の提供物を（しばしばアメリカのモデルと同等かそれ以下で、コストは1/x、しばしばx>10）表にまとめた。また、AIモデルにタスクを完了させるArtificial Analysisベンチマークでの各モデルのスコアも記載した。AAの研究者の目標は、モデルの能力を測定することと、完了した各タスクでいくら請求されたかを測定することの両方だった。 | Model | $ per 1M tokens input/output | AA Intelligence benchmark result | Cost per benchmark task | |---|---|---|---| | Claude Fable 5 | $10 / $50 | 60 | $3.25 | | Claude Opus 4.8 max | $5 / $25 | 56 | $1.78 | | Claude Sonnet 5 max | $3 / $15 | 53 | $2.29 | | GPT-5.5 xhigh | $5 / $30 | 55 | $0.99 | | GLM-5.2 max | $1.40 / $4.40 | 51 | ~$0.46 | | DeepSeek V4 Pro max | $0.435 / $0.87 | 44 | ~$0.04–$0.05 | | MiniMax-M3 | $0.30 / $1.20 | 44 | ~$0.18 | | Kimi K2.6 | $0.95 / $4.00 | 43 | ~$0.31 | GPT-5.5は名目上Claude Opus 4.8よりも高価だが、Anthropicのモデルと比較してタスクあたりのコストはほぼ半分でベンチマークを完了していることに注意してほしい。GLM-5.2はGPT（3.57倍/5.68倍）やClaude（3.57倍/6.82倍）よりもトークンあたりの価格ははるかに安いが、タスクあたりのコストは比例して低くなく、西側のフロンティアモデルよりもトークン効率が低いことを示唆している。私を困惑させるモデルの一つはSonnet 5だ。Opus 4.8よりもパフォーマンスが悪く、トークン効率がはるかに低いため、タスクあたりのコストも高くなっているように見える。もしこれを使用している人がその目的を説明できれば、喜んで聞きたい。（陰謀論：Anthropicによる低い表示価格で人々を誘い込み、最終的に請求額を増やす、トークン効率の悪いモデルを使わせるための何らかの心理作戦かもしれない？）DeepSeek V4 Proは、コスト効率の点で最も際立ったモデルのように見える。インテリジェンスベンチマークでのスコアは明らかに低いが、タスクあたりのコストは非常に低い。Fable 5（セキュリティミュート付きのMythos）は、GPT-5.5と比較して3倍以上の価格上昇で、わずかな改善を示しているように見える。 全体として、この表は100万トークンあたりの価格が意味のあるコスト指標ではないことを示していると思う。実際のタスクあたりのコストを考慮しなければ、モデル選択の決定を誤り、より高い価格で劣ったパフォーマンスに終わるだろう。