Artificial Analysis v5とベンチマーカーのジレンマ

Artificial Analysis v5とベンチマーカーのジレンマ

ヒルクライミングは容易だが、何をヒルクライムすべきかを知るのは難しい。スコアを上げるのは高価だが、今日のAIの真のフロンティアにおける意味のあるベンチマークを作成するよりも、そのための明確なプレイブックがある。

言語モデルの独立評価は、その難しさにおいて過小評価されている。これらのグループは、現在のモデルを評価してスコアを認定しているだけではない。これは技術的に複雑な作業だ。AIの進歩が遅い場合、これが彼らの仕事となる。AIの進歩が速い場合、仕事の技術的な詳細は、今日の優れたAIモデルを単一の数値で表そうとする試みにおけるルーチンワークとなる。目標は、現在のモデルを代表し、コミュニティのセンチメントや科学的分析と一致し、3ヶ月で時代遅れにならないように将来を見据えた単一の数値を持つことだ。

ベンチマークを構築する誰もが一種のパラドックスに直面する。モデルを議論しやすく、レポートに使用し、比較するために、ベンチマークを単一の数値に還元する必要があるが、スコアを集計するあらゆる方法には意味のあるトレードオフが伴う。最高の科学者はこれを行う必要がある。これは、常に不完全であることを知りながら、最も公平だと考える集計メトリックを作成することの問題だ。

今日のAIエコシステムにおける巨額の資金を考えると、独立評価の重みはさらに高まる。あなたは1兆ドル市場の勝者と敗者を決定する。あなたはまた、進歩の形状を方向付ける、一部のモデル自体にも影響を与える。これは大きなプレッシャーだ！

この記事の私のプロンプトは、Artificial AnalysisのIntelligence Index v5への最近のアップデートだ。AAインデックスは、最新のフロンティアモデルのための最も著名な独立した知能メトリックであり、遠く離れて2位にEpoch AIのCapabilities Index (ECI)が続く。これまでに、これらはすべてコミュニティにとって信じられないほど有用であり、かつ大規模に欠陥があった！

今日の言語モデルは非常に多くの能力を持っており、その能力の範囲は急速に成長している。私たちの単一の知能インデックスの時代はすぐに廃止されるべきだが、それは長い時間がかかるだろう。

AAv5の概要は以下の通りで、彼らのブログ投稿から引用されており、「今日のリアルワールドの使用を反映している」と説明されている。

Intelligence Index v5の重み付け：

➤ ナレッジワーク (25%)： AA-Briefcase (15%)、AutomationBench-AA (5%)、GDP.pdf (5%)

➤ コーディング (25%)： FrontierCode 2.0 (15%)、Terminal-Bench 4.0 (10%)

➤ サイエンス (25%)： Terminal-Bench-Science (15%)、CritPt v2 ハードサブセット (10%)

➤ 一般 (25%)： AA-Omniscience v1.1 15% (10% 正確性、5% 非幻覚) 、HLE-Diamond (10%)

以下はモデルの新しいランキングだ。

[

［画像: Image］

](https://substackcdn.com/image/fetch/$s_!WPu_!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F25433598-9909-4aff-b43f-d380c3eb099b_1200x567.jpeg)

今日のリアルワールドの使用をベンチマークしようとする問題は、モデルと同様に、それが非常にギザギザしていることだ。最も証明されたユースケースはコーディングであり、オープンモデルははるかに競争力があり、追いつく可能性が高い。ナレッジワークにおいては、オープンモデルにそれほど自信がない。

一見すると、全体として、彼らのモデルランキングは確かに妥当に見える。それでも、どのベンチマークもそうであるように、GPT 6.1 TerraがAAv5でClaude Fable 5.1を上回るなど、緊張と混乱の兆候を示している。今日、一部のベンチマークは能力の絶対的なフロンティアを測定しており、お気に入りのハーネスを通じてオープンエンドなタスクでうまく機能している。これにはしばしば大規模なモデルが必要となる。他のいくつかのベンチマークは、反復的なエージェントタスクでモデルに必要とされる特定のスキルを測定している。AAはベンチマークを前者、つまり一般的なエージェント型コラボレーターによりチューニングしているような気がするが、これらの動作はすべて重複している。

これは、私がこの記事を書くきっかけとなったプロットにつながる。そこでは、新しいベンチマークにおけるオープンモデルとクローズドモデルのバランスが示されている。このプロットは、8つのクローズドモデルが、まだ色付けされていない最高のオープンウェイトモデルであるKimi K3.1 Proを上回っていることを示している。このベンチマークは、フロンティアモデルがどこに向かっているかを測定しようとする意見を採用しており、オープンモデルとのギャップを広げている。これは採用しても良い決定だが、時間の経過とともにオープンモデルの既存のワークフローが経済の主要因となると、業界のコア経済エンジンがどこにあるかを見誤るベンチマークになる可能性がある。

[

［画像］

](https://substackcdn.com/image/fetch/$s_!cZSa!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6c1717e0-0cc3-4dec-b83a-40b32953a26e_1200x598.jpeg)

このことから見えるオープンモデルの終焉は大きく誇張されているように思えるが、以前のインデックスがオープンウェイトモデルを過度に持ち上げていたとは思う。Kimi K3.1 Proのローンチからのこのプロットを考えてほしい。確かに、オープンモデルは強力で、場合によっては有用だが、最高のOpenAIとAnthropicのモデルは、その柔軟性と信頼性において大きな一歩先を行っていた。

[

［画像: Image］

](https://substackcdn.com/image/fetch/$s_!2Ajo!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F31703238-e53d-44f6-abe9-4e4093df3274_2464x1032.jpeg)

AAv5の評価の一部で、オープンモデルが最も遅れているのは、terminal-bench-scienceやCritPT v2のような「サイエンス」評価だ。オープンモデルは遅れているが、その価値提案は決してフロンティアで真に競争することではなかった。オープンモデルのエコノミーは、

1. 推論に対する高い市場需要を持つドメインを、ハードウェアのコモディティ価格に削減すること。
2. 知能の所有を可能にし、それを内部データに特化させ、経済内の多くの企業にわたる内部エージェントを制御すること。

これら両方が実現するには非常に長い時間がかかり、ベンチマークには部分的にしか反映されていない。コンピューティングの供給は現在非常に低いため、オープンモデルプロバイダーも堅実な利益を上げている。これが縮小すれば、システムが機能し始めていることがわかるだろう。企業への浸透も同様で、今日の評価の構築やポストトレーニングに必要な困難なML専門知識のために、正確な上限が何であるかは明らかではない。

共有

次の主要なモデルサイクル、例えば2〜3ヶ月後のGLM 6やKimi 3.5では、主要なオープンモデルラボがこのインデックスで大幅な進歩を遂げ、再び多くの観察者を驚かせると予想している。これは私たちが何年も続けているサイクルだ。

私は、オープンモデルがフロンティアにどのように追いついているかについて何度も書いてきた。その要約は次のとおりだ。

1. 最良のオープンモデルはベンチマークを少し行う。最悪のオープンモデルは多くを行う（しかし、あまり注目されない）。
2. 最良のオープンモデルは、カバーする能力の範囲が狭い。これは、上記の科学ドメインでのギャップに見られるとおりだ。オープンモデルラボはこれに対処するために取り組んでいるが、焦点を絞らないことは戦略的な誤りになる可能性があると考えている。

今日のパフォーマンスギャップの説明には、よりニュアンスのあるバージョンがある。トレーニングにおける多くの進歩は、評価に近い分布を持つRL環境から来ている（これに関するより長い分析はこちら）。複数のドメインにわたる急速な進歩を維持するには、すべてのオープンモデルラボが持っているとは限らない洗練されたRLスタックが必要だ。一部は、適度なリードタイムを持つデータの購入に依存している可能性もある。

この発表のもう一つの部分は、「プライベートベンチマーク」への移行だ。これは、プロンプトやテスト環境が公開されないことを意味し、オープンラボがベンチマークを行っている兆候だ。このような分析は以前に行われたことがあり、オープンラボがベンチマークを行うという私の上記の理論に合致する。形状を知っていると、評価をサポートするためのトレーニングデータを作成するのは簡単だが、隠されたデータでもタスクは不可能ではない。全体として、これは方向性としては擁護できる変更だが、満場一致ではない。例えば、プライベートベンチマークビルダーに完全に信頼を置くことになる。なぜなら、コミュニティがベンチマークの問題を発見し、ベンチマークを改善するためにプッシュするという恩恵を受けられなくなるからだ。これは頻繁に起こる！かかっている金額が大きいため、透明性のあるベンチマーキングと、多くの目がバグを見つけられるようにすることを望む。

私がしなければならない最後の点は、クローズドラボを持ち上げるものだが、AnthropicやOpenAIのような企業は、数ヶ月、あるいは数年前からこれらのインデックスを気にかけるのをやめたということだ。彼らの焦点は、AI R&D自動化のような内部用途と、数十億ドルを費やしている顧客のユースケースをサポートすることに大部分を置いている。確かに、彼らは新しい市場を開拓するために他の能力でヒルクライミングしているチームメンバーがいるが、これらの行動は公的なベンチマークによって駆動されるのは少数派だ。同時に、中小規模のラボがこれらの知能インデックスで堅実に見えることは、彼らのブランディングがフロンティアに追いつくことに完全に構築されているため、存続に関わる。それは時として非常に愚かな猫とネズミのゲームだが、長続きするだろう。

「フロンティアはどこにあるか」という議論を支配する1つか2つのインデックスとの現在の均衡に対する唯一の解決策は、他のバイアスを持つより多くの知能インデックスを持つことだ。例えば、コーディング専用（CursorBenchのような）だ。ある意味では、Vals AIやIntelligence.aiのようなものが成長しており、これは形成されつつあるが、マインドシェアはArtificial Analysisに非常に偏っている。

すべてのベンチマーク作成者には世界観がある。ジレンマは、常に自分の物語に合うように数値をシフトできることだ。これは常に良い科学を行う上での課題だった。最も頻繁に現れるこの質問は、「トレーニングベースラインを調整するためにどれだけの労力を費やすべきか？」というものだった。より多くの調整は結果をより信頼できるものにするが、しばしばあなたの方法の顕著な成功を減らす。これはエージェント時代の二重の真実であり、分析作業の多くはLLMのレンズを通して行われる。評価においては、これはあなたのインデックスに含めるベンチマークを何にするかという問題になる。より厳密であなたの物語と対立するベンチマークよりも、あなたの物語を支持する低品質のベンチマークを含めるのは簡単だ。

ベンチマーキング業界は信頼にかかっている。私はArtificial Analysisに対してかなりの信頼を置いているが、エコシステムの中で最も信頼しているわけではない。Artificial Analysisのビジネスモデルは、ラボから結果を検証するためにお金を得ることだ。彼らはこれを行うことで多くのお金を得ているが、それは問題ない。他のベンチマーキング企業も同様の問題を抱えている。例えば、ラボのリリース前テストを行うArenaは、請求書の支払いのために行われる。

評価において公平であると私が最も信頼するエンティティは、非営利団体、学者、そしてCAISIのような政府機関だ。今日、フロンティア評価において正確であると私が信頼するエンティティは、Artificial AnalysisやArenaのようなスタートアップだ。したがって、私たちは皆、トレードオフとジレンマに囚われている。完璧な数値はなく、人々が分析を異なる方向に解釈するためのかなりの余地がある。これは第二のジレンマであり、ある意味私の仕事である、ベンチマーカーのベンチマーカーのジレンマだ。それは科学的というより社会学的なものだ。

最後までお読みいただきありがとうございます！読者の皆様への感謝の言葉を加えたいと思いました。Interconnectsの成長の多くは、読者からの口コミに依存していますので、もし気に入ると思う友達がいれば、ぜひ共有してください。

共有

また、YouTubeでオープンモデルに関する包括的な入門講義を公開しました。お楽しみいただけるかもしれません。