オープンウェイトLLMとクローズドソースLLMの間のギャップ
The gap between open weights LLMs and closed source LLMs (blog.doubleword.ai)
要約
この記事は、オープンウェイトLLMとクローズドソースLLMのパフォーマンスギャップについて、Artificial Analysis Intelligence Indexおよびその他のベンチマークを用いて分析しています。一つのベンチマークではギャップが縮小しているように見えますが、18の異なるベンチマーク全体で見た場合、その差は平均して約5ヶ月で推移しており、モデルの評価がいかに複雑であるかを示唆しています。
全文翻訳
予測:フロンティアなオープンソースLLMが2026年12月3日にリリースされる
オープンおよびクローズドフロンティアモデルの人工分析インテリジェンスインデックスのインタラクティブなプロット。
上記のプロットのバージョンがTwitterで回覧されているのを見て、もう少し深く掘り下げたいと思いました。上記のプロットが示しているのは、オープンウェイトLLMとクローズドソースLLMの間のギャップです。このギャップは、ベンチマークにおけるオープンウェイトLLMのパフォーマンスのフロンティアを見て、そのレベルにあったクローズドソースフロンティアが過去どれくらい前に存在したかを調べることで測定します。これは、クローズドソースモデルのフロンティアが到達した新しい能力に、オープンソースモデルが追いつくのにかかった時間を測る指標です。このベンチマークはArtificial Analysis Intelligence Indexであり、モデルの全体的な能力を評価しようとする彼らのヘッドラインインデックスです。一般的に、これはモデルから人々が得る「雰囲気」とよく相関しています。
このプロットを見ると、2024年夏頃からこのベンチマークにおけるギャップが縮小し始め、それ以降着実に縮小していることがわかります。最良適合線(line of best fit)をプロットして将来に延長すると、ギャップは執筆時点から約6ヶ月後の2026年12月3日頃にゼロになることがわかります。
今が、年金を清算し、どこか遠い島に飛び立ち、残りの約6ヶ月の文明を平和に生きるのに良い時期かもしれません。
…
しかし、例外があります。
これは全体像ではないかもしれません。これは単一のベンチマークであり、LLMの能力の完全な絵を提供しません。幸いなことに、Artificial Analysisは、これらのモデルに対して測定された18の異なるベンチマークへのアクセスを提供してくれます。私は18のすべての異なるベンチマークに対して同様の分析を繰り返し、以下のプロットに要約しました。
Artificial Analysisメトリクス全体での月次オープンフロンティアラグのインタラクティブなボックスプロット。
18のデータセットそれぞれについて、同様のチャートを作成しました。18すべてをページの下部で見ることができます。各月について、各データセットのギャップのボックスプロットを作成しました。そして、すべてのボックスプロットを時系列でプロットしました。また、データセット全体のギャップの平均を計算し、その平均に対する最良適合線を計算しました。その線は、期間全体でほぼ完全に平坦で、5ヶ月弱です。
注目すべきは、モデルの総改善のかなりの部分がコーディングベンチマークにあったことです。コーディングインデックスは15ヶ月遅れから、わずか1ヶ月か2ヶ月遅れになりました。他のほとんどのデータセットでは、ギャップは時間とともに中程度の増加を示しています。
したがって、オープンソースの黙示録はまだ起こらないかもしれません。
この演習が示唆しているのは、LLMの品質を測定することの難しさです。どのように測定するかによって、クリスマスまでにオープンソースの特異点を予測するかもしれませんが、あるいは、オープンソースLLMはクローズドソースよりも一貫して5ヶ月遅れており、そのギャップは拡大している可能性があると言うかもしれません。
ベンチマークプロット
人工分析インテリジェンスインデックスのインタラクティブフロンティアプロット。