オープンウェイトLLMとクローズドソースLLMの間のギャップ

オープンおよびクローズドのフロンティアモデルにおけるArtificial Analysis Intelligence Indexのインタラクティブプロット。 上記のプロットがTwitterで出回っているのを見て、もう少し深く掘り下げたいと思いました。上記のプロットは、オープンウェイトLLMとクローズドソースLLMの間のギャップを示しています。このギャップは、オープンウェイトLLMのベンチマークパフォーマンスのフロンティアを調べ、そのレベルにクローズドソースのフロンティアが到達したのがどれくらい前かを見ることで測定されます。これは、オープンソースモデルがクローズドソースモデルのフロンティアが達成した新しい能力に追いつくのにかかった時間の尺度です。このベンチマークは、Artificial Analysis Intelligence Index — モデルの全体的な能力を評価しようとする彼らの主要なインデックスです。一般的に、これは人々がモデルから受ける「雰囲気」とかなりよく相関しています。 2024年夏頃からこのベンチマークにおけるギャップが縮小し始め、それ以来着実に縮小しているのがわかります。最良適合線を描いて将来に延長すると、ギャップは2026年12月3日頃（執筆時点から約6ヶ月後）に0ヶ月に縮小することがわかります。今はおそらく、年金を清算し、どこかの遠い島へ飛んで、残りの約6ヶ月の文明を平和に生きる良い時期でしょう。 …しかし。 これは全体像ではないかもしれません。これは単一のベンチマークに過ぎず、LLMの能力の完全な全体像を与えているわけではありません。ありがたいことに、Artificial Analysisはこれらのモデルについて測定した18の異なるベンチマークへのアクセスを私たちに提供しています。私は18の異なるベンチマークすべてについて分析を繰り返し、それらを以下のプロットにまとめました。 Artificial Analysisの各指標における月ごとのオープンフロンティアの遅れのインタラクティブボックスプロット。18の各データセットについて、同様のチャートを作成しました。18のすべてはページの下部で確認できます。毎月、各データセットのギャップの箱ひげ図を作成しました。その後、すべての箱ひげ図を時系列でプロットしました。また、データセット全体のギャップの平均も計算し、それに対する最良適合線も計算しました。その線は、全期間にわたってほぼ完全に平坦で、5ヶ月弱でした。 特筆すべきは、モデルの全体的な改善の大部分がコーディングベンチマークであったことです。コーディングインデックスは15ヶ月遅れからわずか1、2ヶ月遅れにまで改善しました。他のほとんどのデータセットでは、ギャップが時間とともに緩やかに増加しています。 したがって、オープンソースの黙示録はまだ起こらないかもしれません。この演習が示唆するのは、LLMの品質を測定することの難しさです。測定方法によっては、クリスマスまでにオープンソースの特異点を予測するか、オープンソースLLMがクローズドソースよりも常に5ヶ月遅れており、そのギャップが拡大していると言うでしょう。 ベンチマークプロット aime aime 25 artificial analysis agentic index artificial analysis coding index artificial analysis intelligence index artificial analysis math index gpqa hle ifbench lcr livecodebench math 500 mmlu pro scicode tau2 tau banking terminalbench hard terminalbench v2 1 Artificial analysis intelligence indexのインタラクティブフロンティアプロット。