Artificial Analysis Intelligence Index v5を発表

Artificial Analysis Intelligence Index v5を発表

Index v5は2つの新しいベンチマークと3つのアップグレードを特徴とし、初めてIndexの過半数がプライベートデータセットに基づいています。

Artificial Analysis Intelligence Indexは、今日の現実世界の利用状況を反映したタスクにおけるモデルの能力を総合的に測定するものです。v5は、1月にv4がローンチされて以来、最大のアップグレードとなります。v5では、Indexの60%がプライベートテストセットまたはホールドアウトされた回答を用いた評価に基づいています。

Intelligence Index v5と同時に、Artificial Analysis Progress Index v1もローンチします。これは、単一の連続スケールで時間の経過に伴うモデルの能力を追跡するものです。

Intelligence Indexの新機能:

➤ FrontierCode 2.0: Cognitionが新たにローンチした、現実世界のコーディングタスクを評価するプライベートベンチマーク。リポジトリメンテナーがエージェントの変更をマージするかどうかで採点されます。

➤ Terminal-Bench-Science: ターミナル環境で実行される、70のエージェント型科学研究タスク。

アップグレード:

➤ HLE-Diamond (Humanity's Last Examに取って代わる): Humanity's Last Examを洗練させた1,000問バージョンで、推論と知識の質問が均等に分割されています。

➤ AA-Omniscience v1.1: 飽和した公開セットの質問を除外し、新しい質問を追加し、曖昧または誤った質問を修正した更新データセット。

➤ CritPt v2: CritPtの著者が改訂し、コード実行ツールを使用して実行される、CritPt v2のプライベートな40問の高難易度サブセット。

Indexに残るもの: AA-Briefcase, AutomationBench-AA, GDP.pdf, Terminal-Bench 4.0

Indexから削除されたもの: GDPval-AA v2.1, SciCode, AA-LCR v1.1

Intelligence Index v5の重み付け:

➤ Knowledge Work (25%): AA-Briefcase (15%), AutomationBench-AA (5%), GDP.pdf (5%)

➤ Coding (25%): FrontierCode 2.0 (15%), Terminal-Bench 4.0 (10%)

➤ Science (25%): Terminal-Bench-Science (15%), CritPt v2 ハードサブセット (10%)

➤ General (25%): AA-Omniscience v1.1 (15% - 10%精度、5%非ハルシネーション) および HLE-Diamond (10%)

主な結果:

➤ Claude Opus 5.5 (max) が58でリード、GPT-6 Astra (max, 57) と GPT-6.1 Sol (max, 55) を抑える: AnthropicとOpenAIが上位5モデルを占めています。Gemini 4 Argon (high) が50で次点です。

➤ オープンウェイトモデルのギャップが3ポイントから12ポイントに拡大: Kimi K3.1 Pro (ウェイトは未リリース) が46でトップのオープンウェイトモデルです。リリース済みのウェイトモデルでは、DeepSeek V4.1 Flash 1017 (max) と GLM-5.3 (max) が32でリードしていますが、リーダーから26ポイント遅れており、Claude Haiku 5.5 (max, 36) を下回っています。

➤ タスクあたりのコストが、上位モデル間で13倍以上変動: 表示されている上位10モデルのうち、GPT-6.1 Terra (max) がIntelligence Indexタスクあたり0.96ドルで最も安く、Claude Fable 5.1 (max) が13.04ドルで最も高価です。

［画像: Artificial Analysis Intelligence Index v5の全体スコアボード］

FrontierCode 2.0 は、Cognitionのプライベートコーディングベンチマークの最新アップデートです。本日ローンチされたこのベンチマークは、実際のオープンソースリポジトリにおける132のタスクで構成されており、メンテナーがエージェントの変更をマージするかどうかで採点されます。ブロックチェックに失敗した試行は0点となり、汚染を避けるためにタスクはプライベートに保たれます。Stirrup、当社のエージェントハーネスで各タスクを3回実行します。

Claude Opus 5.5 (max) が46%でリードし、次いでGPT-6 Astra (max)、GPT-6.1 Terra (max)、Claude Sonnet 5.5 (max) がすべて42%です。DeepSeek V4.1 Flash 1017 (max) が28%で最高スコアのオープンウェイトモデルであり、リーダーから18ポイント遅れています。

［画像: FrontierCode 2.0のスコアボード］

Terminal-Bench-Science は、エージェントがターミナルで科学研究ワークフローを実行できるかどうかをテストします。各タスクは専門家によってキュレーションおよびレビューされ、タスクはすべてのテストに合格した場合にのみ合格となります。

GPT-6 Astra (max) が63%でリードし、次いでClaude Opus 5.5 (max) が59%、GPT-6.1 Sol (max) が58%です。リーダー以下ではスコアが急落します。最高スコアのオープンウェイトモデルであるKimi K3.1 Pro (ウェイトは未リリース) は34%、Claude Haiku 5.5 (max) は20%です。リリース済みのウェイトを持つ最高スコアのオープンウェイトモデル、DeepSeek V4.1 Flash 1017 (max) は13%で、ベンチマークしたほとんどのオープンウェイトモデルは10%未満です。

［画像: Terminal-Bench-Scienceのスコアボード］

HLE-Diamond は、IndexにおいてHumanity's Last Examに取って代わります。これは、Center for AI Safety (CAIS) および Scale AI によるHumanity's Last Examの洗練された1,000問バージョンで、推論と知識の質問が均等に分割されています。Claude Opus 5.5 (max) が68%でリードし、次いでGPT-6 Astra (max) が64%、Claude Fable 5.1 (max) が60%です。

上位モデルにとって、知識問題は推論問題よりも難しい傾向があります。Claude Opus 5.5 (max) と GPT-6 Astra (max) は、推論問題でそれぞれ78%のスコアを記録しましたが、知識問題では58%と50%でした。

［画像: HLE-Diamondのスコアボード］

AA-Omniscience v1.1 は、飽和した公開セットの質問を除外し、新しい質問を追加し、曖昧または誤った質問を修正した、知識とハルシネーションのベンチマークをクリーンアップしたバージョンです。スコアはv1とほぼ一致しており、モデルはAA-Omniscience v1.1 Indexで平均2ポイント低いスコアを記録しています（中央値0.6）。また、精度、ハルシネーション率、全体的なパフォーマンスが公開セットとプライベートセット間で一貫していることを保証するために再調整された新しい公開サブセット、AA-Omniscience-Public-v1.1をHugging Faceで公開しました。

［画像: AA-Omniscience v1.1のスコアボード］

Indexは、CritPt v2 をプライベートな40問の高難易度サブセットでスコアリングします。これは、7つのフロンティアモデルがローンチ時に5回の試行すべてで解決した30問を除いた、70の研究レベルの物理学の問題です。モデルはStirrup、当社のエージェントハーネス内でオフラインのPythonサンドボックスで動作します。

GPT-6 Astra が高難易度で72%でリードし、次いでGPT-6.1 Sol が最大努力で69%です。Index全体でトップモデルであるClaude Opus 5.5 (max) は61%です。Kimi K3.1 Pro (ウェイトは未リリース) は45%で最高スコアのオープンウェイトモデルです。

［画像: CritPt v2のスコアボード］

v5では、9つの評価すべてにおいて進歩の余地が大きく、単一のモデルがすべてをリードすることはありません。 測定したモデルの中で、Claude Opus 5.5 は3つをリードし、他の5つのモデルが残りの6つをリードしています。

➤ Claude Opus 5.5: FrontierCode 2.0 (46%), HLE-Diamond (68%), AA-Omniscience v1.1 (48)

➤ GPT-6 Astra: Terminal-Bench-Science (63%), CritPt v2 ハードサブセット (72%)

➤ Claude Sonnet 5.5: AA-Briefcase (1812 Elo)

➤ Kimi K3.1 Pro: Terminal-Bench 4.0 (67%)

➤ Gemini 4 Argon: AutomationBench-AA (78%)

➤ Muse Wonder Full: GDP.pdf (33% all-pass)

［画像: 各ベンチマークのリーダーシップの内訳］

オープンウェイトモデルはv5でさらに遅れをとっています。 最高スコアのKimi K3.1 Pro (ウェイトは未リリース) は46で、v4.3の3ポイント差と比較して、リーダーから12ポイント遅れています。リリース済みのウェイトを持つモデルでは、DeepSeek V4.1 Flash 1017 (max) と GLM-5.3 (max) が32で最高スコアを記録しており、Claude Haiku 5.5 (max) はそれらすべてを上回っています。

HLE-DiamondとTerminal-Bench-Scienceでは、Kimi K3.1 Proがそれぞれ37%と34%のスコアであるのに対し、Claude Opus 5.5 (max) は68%、GPT-6 Astra (max) は63%であり、ギャップが最も大きくなっています。

［画像: オープンウェイトモデルのパフォーマンスとギャップ］

コストは上位モデル間で広く変動します。 Claude Opus 5.5 (max) はIntelligence Indexタスクあたり10.04ドル、GPT-6 Astra (max) は6.24ドル、GPT-6.1 Sol (max) は1.27ドルです。GPT-6.1 Sol (max) は、タスクあたりのコストの約8分の1で、Claude Opus 5.5 (max) と4ポイント以内のスコア差です。

［画像: 上位モデルのコストパフォーマンス］

v5では、v4.3よりもエフォート設定が重要になります。 Claude Opus 5.5は低エフォートで35、最大エフォートで58のスコアを記録し、Intelligence Indexタスクあたりのコストは10倍（0.98ドル対10.04ドル）です。Claude Sonnet 5.5は低エフォートから最大エフォートまで29ポイントの幅があり、v4.3の20ポイントから増加しています。GPT-6.1 Solの幅は10ポイントから20ポイントに倍増しました。

［画像: エフォート設定によるスコアとコストの変化］

v5のタスクは、モデルに実質的により多くの作業を要求します。 測定したすべてのモデルは、v4.3よりもIntelligence Indexタスクあたりにより多くの出力トークンを生成しており、中央値は35kから59kへと3分の2増加しました。

➤ エージェント評価がトークン使用量の大部分を占める: Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase, FrontierCode 2.0 は、Indexの重みの55%を占める一方で、中央値で出力トークンの約90%を消費します。

➤ Terminal-Bench-Scienceが最もトークン集約的: これだけで、タスクあたりの出力トークンの約3分の1を占めます。

［画像: タスクあたりの出力トークン数の増加］

v5と並行して、Artificial Analysis Progress Index v1をローンチします。 これは、2022年11月以降にリリースされた言語モデルを、幅広いベンチマークにわたって単一の能力スケールに配置するものです。

Progress Indexを使用して、リリース時期が数年離れたモデル間を含む、基盤となる能力が時間とともにどのように変化したかを比較できます。現在のユースケースでモデルを比較し、現在のフロンティアを理解するには、引き続き現在のモデル知能の主要な尺度であるIntelligence Indexを使用してください。

Epoch AIとAnthropicに感謝します。Progress Indexの設計において、Epoch Capabilities Indexからの学びを活かしました。

Progress Indexを探る: artificialanalysis.ai/trends

方法論: artificialanalysis.ai/methodology/progress-index

［画像: Progress Indexの概要］

このアップデートの基盤となったベンチマークについて、Cognition、Steven DillmannとTerminal-Benchチーム、Center for AI Safety、Scale AI、そしてMinhui Zhu、Minyang Tian、Hao PengとCritPtチームに感謝します。

完全な結果を見る: artificialanalysis.ai

方法論: artificialanalysis.ai/methodology/intelligence-benchmarking

［画像: 謝辞とリンク］