Artificial Analysis Intelligence Index v4.2を発表

Artificial Analysis Intelligence Index v4.2を発表

フロンティアのペースを維持するため、v5リリースの一部要素を先行して加速させています。Index v4.2では、より複雑で現実的なタスクと、不正行為を防ぐためのプライベートテストセットが増加しました。

Intelligence Index v4.2の変更点:

+ AA-Briefcase: プライベートテストセットを備えた、エージェント型知識作業の評価
+ Surge’s GDP.pdf: 4,592ページのPDFにわたる長文コンテキストのドキュメント推論
- GPQA Diamond: 既に飽和状態となった、卓越した科学的推論評価

…さらに、不正行為を防ぐためのアウトオブサンプル（held-out）テストセットへの重み付けの増加、および堅牢性を高めるためのグレーディングインフラストラクチャのアップグレードが含まれます。

このアップデートにより、Indexはより挑戦的で複雑、かつ現実的なタスクと不正行為を防ぐためのプライベートテストセットを備え、実世界でのユースケースに近づきました。私たちは数ヶ月前からIndex v5の要素を計画・構築しており、1月にIndex v4をローンチしてから8ヶ月が経過しました。

最近の主要モデルのローンチを通じてIndexを安定させるため、意図的にアップデートを控えていました。しかし、過去数週間でフロンティアが急速に進歩しているため、Indexがユーザーにとって常に最も関連性が高く有用であり続けるために、迅速な中間アップデートを提供することが重要だと考えています。

この中間アップデートを超えて、私たちのチームはIndex v5に全力で取り組んでいます。近い将来、さらに段階的なリリースを計画しています。ご期待ください！

Intelligence Index v4.2の詳細な変更点:

➤ AA-Briefcaseの追加: プライベートなアウトオブサンプルテストセットを備えた社内評価であるAA-Briefcaseは、業界の専門家によって構築された複雑なプロジェクトにおける現実的なエージェント型知識作業タスクでモデルをテストします。モデルは、多くの連動タスクと数千の入力ソースファイルを持つ、数週間にわたる知識作業プロジェクトで評価されます。AA-Briefcaseは、ルーブリック評価とペアワイズ評価を組み合わせて、検証可能なタスクの成功度、分析の質、および提示の質を評価し、知識作業における全体的なエージェント能力の包括的なビューを提供します。

➤ GDP.pdfの追加: Surge AIによって作成されたGDP.pdfは、100のPDFと10のドメインにわたるシングルターンのプロフェッショナルドキュメント推論を評価します。モデルは、テキスト、表、グラフ、脚注、除外事項を含む4,592ページに分散した証拠を統合する必要があります。応答は、1,275の専門家作成の原子的な基準に対して採点されます。ヘッドラインのAll-pass Rateは、すべての基準が満たされた場合にのみタスクをクレジットします。

➤ 実世界での使用を測定し、不正行為を防ぐための重み付け: 当社のIndexの重み付けの40%はプライベートなアウトオブサンプルテストセットであり、v4.1の2倍の数値です。アウトオブサンプルデータには、AA-Briefcase、AA-Omniscience、およびCritPtのソリューションが含まれます。これにより、ラボが評価を不正に操作する能力が低下します。アウトオブサンプルの割合は、Index v5でさらに増加します。

➤ グレーディングインフラストラクチャの改善: AA-LCR v1.1では、グレーディングシステムプロンプトを追加し、解答キーのエラーや曖昧さを修正して、採点精度を向上させました。GDPval-AA v2およびAA-Briefcaseでは、サンプリングを改善し、Eloスケールを再基準化して、新しいモデルが追加されても評価がより安定するようにしました。SciCodeでは、グレーディングサンドボックスの堅牢性を向上させ、遅いが正しいコードが失敗と見なされないようにしました。

主な結果:

➤ AnthropicとOpenAIがIndexをリード: AnthropicのClaude Fable 5.1がIndexをリードし、次いでOpenAIのGPT-6 AstraがGPT-5.6 Solから4ポイントの向上を示しました。Metaが3位、次いでSpaceXAI、Moonshot/Kimi、Z.AI、Googleが続きます。

➤ タスクあたりのコストのパレートフロンティアを4つのラボが共有: Anthropic、OpenAI、Meta、Z.AIが更新されたタスクあたりのコストフロンティアを占めています。

➤ GPT-6 Astraがトークン効率フロンティアを支配: GPT-6 Astraは、インテリジェンスフロンティアに近いほぼすべての他のモデルよりもトークン効率が高く、Claude Fable 5.1、Grok 4.5、Gemini 3.5 Flash-Liteがカーブの両端に位置しています（Indexで25未満のモデルは除外）。

［画像: GPT-6 Astraは、インテリジェンスフロンティアに近いほぼすべての他のモデルよりもトークン効率が高く、Claude Fable 5.1、Grok 4.5、Gemini 3.5 Flash-Liteがカーブの両端に位置しています（Indexで25未満のモデルは除外）。]

［画像: AnthropicのClaude Fable 5.1とOpus 5がAA-Briefcaseをリードし、次いでGPT-6 AstraとMuse Spark 1.3が続きます。GPT-6 Astraは、GPT-5.6 Solを約85 Eloポイント上回る大幅な向上を示しています。]

AA-Briefcaseは、プライベートなアウトオブサンプルテストセットを備えた当社の最先端の社内評価です。この評価は、業界の専門家によって構築された複雑なプロジェクトにおける現実的なエージェント型知識作業タスクでモデルをテストします。モデルは、多くの連動タスクと数千の入力ソースファイルを持つ、数週間にわたる知識作業プロジェクトで評価されます。AA-Briefcaseは、ルーブリック評価とペアワイズ評価を組み合わせて、検証可能なタスクの成功度、分析の質、および提示の質を評価し、知識作業における全体的なエージェント能力の包括的なビューを提供します。

［画像: OpenAIがGDP.pdfをリードし、GPT-6 Astraが33.2%、GPT-5.6 Solが28.2%、次いでClaude Fable 5.1が26.2%です。]

Surge AIによって作成されたGDP.pdfは、100のPDFと10のドメインにわたるシングルターンのプロフェッショナルドキュメント推論を評価します。モデルは、テキスト、表、グラフ、脚注、除外事項を含む4,592ページに分散した証拠を統合する必要があります。応答は、1,275の専門家作成の原子的な基準に対して採点されます。ヘッドラインのAll-pass Rateは、すべての基準が満たされた場合にのみタスクをクレジットします。

［画像: モデルごとの詳細な内訳は以下の通りです。]

［画像]

［画像]

Artificial Analysis Intelligence Index v4.2の詳細については、https://artificialanalysis.ai/methodology/intelligence-benchmarking をご覧ください。