Minecraftの再現はベンチマークではない

Minecraftの再現はベンチマークではない

GPT Astraが数日前にリリースされ、必然的に私のフィードはすべて同じ5つの話題で埋め尽くされました。それは、1つのプロンプトでMinecraftを再現する、MSペイントで自分自身を描く、ペリカンが自転車に乗っているSVG、信じられる重力を持つ回転する箱の中で跳ねるボール、そしてSVGゲームコントローラーです。

これらは紙の上では、モデルにとってより難しく、より視覚的な問題に見えます。それらがこれほど大きな話題になっているのには理由があります。私はこれらを「デモ・ベンチマーク」と呼び始めています。誰にでも理解できるほど視覚的で分かりやすいですが、次のモデルが「完璧」にこなせるほど有限でもあるのです。

問題は、これらのテストではもはやモデルの良さを測れないということです。なぜなら、次のリリースまでにラボがこれらのテストに特化して最適化することが容易だからです。

正直に言って、彼らのせいでもありません。もし最適化しなければ、愚かだとさえ言えるでしょう。ローンチを売るのに、ペリカンや3Dゲームコントローラーほどタイムラインを引用させ続けるものはありません。

ツイートを見る

固定された有名なターゲットと8週間の猶予があれば、ペリカンは解決済みです。これらのテストは決して変わりません。そして、決して変わらないものは何でも過学習させることができます。毎回のローンチサイクルがそれを再び証明します。

スケジュール通りに完璧にこなせるテストは、能力ではなく準備を測るものです。私にとって、それはベンチマークの定義そのものに反しています。ベンチマークは難しいテストであるべきで、完璧にするのが非常に難しいものであるべきです。

［画像: Claude Fable 5が1つのプロンプトでMinecraftを再現している］

同じような力学がオープンな評価（evals）にも見られます。実用的にはより劣るように感じる小規模なモデルが、Artificial Analysisのようなサイトでは、より優れたモデルを上回るスコアを出しています。これは仮説ではありません。Thinking MachinesのInkling Smallは、パラメータ数が3分の1未満でありながら、Artificial Analysis Intelligence Indexでフラッグシップモデルと1ポイント差で並び、Humanity’s Last Exam、GPQA Diamond、SciCodeではそれを上回りました。公開された静的な有名なテストセットは、トレーニングデータやファインチューニングの選択肢に漏れ出します。

［画像: サイズが3分の1のInkling Smallが、Artificial Analysis Intelligence Indexでフラッグシップモデルと同等のスコアを記録］

ローンチは第一印象であり、第一印象はマーケティングです。だからこそ、あなたは常に驚かされるのです。その驚きは予定されていたのです。

では、代替案は何でしょうか？正直に言って、私には確信がありません。

なぜなら、考えてみれば、明白な解決策はすでに存在しているからです。LiveBenchは質問をローテーションし、ARC-AGIはプライベートなセットを保持し、Humanity’s Last Examは一部を保持しています。テストされる側が何をテストされているかを知らないテストです。まだ書かれていないテストのために勉強することはできません。

しかし、もしホールドアウト評価（holdout evals）が答えなら、なぜペリカンはまだ勝つのだろうか？

その答えは、ソーシャルメディアのほとんどが、自転車にペダルが付いたかアニメーションになったかに気づくために、研究論文を理解する必要がないからです。デモ・ベンチマークは、それがなぜ数秒でより優れた能力であるかを明白にします。

だから、良いデモに代わるものはありません。しかし、モデルが実際にどれほど優れているかを見るための、デモ・ベンチマークよりも優れた代替策は存在します。そして、モデルがうまくスコアを記録しても、あなたの仕事で失敗し続けるなら、それは調査に値するギャップなのです。

デモ・ベンチマークは素晴らしいコンテンツになります。ただ、それらを使って評価するのをやめてほしいと願うばかりです。