GPT-6.1 Sol、わずか7日でGPT-6 Solに取って代わり、Astra級の知能に迫る
要約
Artificial Analysisは、わずか7日間でGPT-6 SolをGPT-6.1 Solに置き換えたと発表しました。GPT-6.1 Solは、GPT-6 Astraに1ポイント劣るものの、コストは4分の1未満で、知能指数(Intelligence Index)で4ポイント向上しています。これにより、AIモデルの性能とコスト効率の新たな基準が打ち立てられました。
全文翻訳
GPT-6.1 Sol、わずか7日でGPT-6 Solに取って代わる、Astraに近い知能を搭載
GPT-6.1 Solは、わずか7日でGPT-6 Solに取って代わりました。知能指数でGPT-6 Astraに1ポイント下回るスコアを記録し、タスクあたりのコストは4分の1未満です。
[画像: GPT-6.1 Solのモデルページへのリンクと、GPT-6 Astraとの比較を示す画像]
価格設定は、GPT-6 Solの100万入力/出力トークンあたり2ドル/10ドルという設定に準拠していますが、キャッシュ読み取りの割引率が90%から95%に上昇しています。そのため、GPT-6.1 Solのエージェント型ワークロードにおける全体的なブレンド価格は、GPT-6 Solよりもわずかに低くなります。これは、GPT-6 SolがGPT-5.6 Solから当初50%の割引を受けていたことに続く、さらなる価格引き下げとなります。
主なポイント:
➤ Astraに近い知能を達成: GPT-6.1 Solは、知能指数においてGPT-6 Sol比で4ポイント、GPT-5.6 Sol比で5ポイント向上し、GPT-6 Astraに1ポイント差で迫りました。エージェント型知識労働において大幅な改善が見られ、AA-Briefcase v1.1とGDPval-AA v2.1ではそれぞれ4ポイントと5ポイント向上しました。その他の注目すべき改善点としては、Terminal-Bench 4.0で12ポイント、Humanity’s Last Examで5ポイント、GDP.pdfで6ポイント、AA-Omniscience Accuracyで8ポイントのジャンプがあり、ハルシネーション率も60%から54%に低下しました。
➤ コスト効率のフロンティアを押し広げる: 最大努力レベルにおいて、GPT-6.1 Solは知能指数タスクあたりのコストがGPT-6 Astraの4分の1未満(0.72ドル vs 3.26ドル)です。また、GPT-6 Sol(1.05ドル)より31%低く、GPT-5.6 Sol(1.99ドル)より64%低くなっています。GPT-6.1 Solのあらゆる努力レベルがコスト効率のパレートフロンティアを押し広げています。つまり、特定の知能レベルに対して、これより安いモデルは存在しません。
➤ トークン効率のフロンティアを押し広げるが、GPT-6 Solよりわずかに多くの出力トークンを使用: GPT-6.1 Solは、努力レベル全体でGPT-6 Solよりも約10〜30%多くの出力トークンを使用します。しかし、知能指数のスコアの上昇により、低および中程度の努力レベルはトークン効率においてパレート最適です。
➤ コーディングエージェント指数での向上: GPT-6.1 Solは、Artificial Analysis Coding Agent Indexにおいて、最大努力レベルでGPT-6 Solより3ポイント向上し、GPT-6 Astraより2ポイント下回っています。
コーディングエージェント指数
GPT-6.1 Solは、Artificial Analysis Coding Agent Indexとタスクあたりのコストのパレートフロンティアにおいて、低価格帯を支配しています。GPT-6.1 Sol (xhigh) は、コストの15%未満でGPT-6 Astraを1ポイント上回るスコアを記録しました。これはGPT-6 Sol (max) からの6ポイントの改善です。xhigh努力設定がmax努力設定を3ポイント上回ることが観察されました。
[画像: コーディングエージェント指数とコストの比較を示すグラフ]
トークン効率
GPT-6.1 Solは、知能指数における努力設定全体でGPT-6 Solよりも10〜30%多くの出力トークンを使用します。しかし、知能の向上により、低および中程度の努力設定はトークン効率においてパレート最適です。
[画像: トークン効率と知能指数の比較を示すグラフ]
AA-Omniscience
最大努力レベルにおいて、GPT-6.1 SolはAA-Omniscience Accuracyで8ポイントジャンプし、ハルシネーション率が6ポイント低下しました。
[画像: AA-Omniscienceの精度とハルシネーション率の比較を示すグラフ]
AA-Briefcase
GPT-6.1 SolはAA-Briefcaseで約80 Elo向上しました。これは、ルーブリックスコアと分析品質Eloの向上によって推進されていますが、プレゼンテーションEloはわずかに低下しています。
[画像: AA-BriefcaseのEloスコアの推移を示すグラフ]
評価別の結果
Artificial Analysis Intelligence Index v4.3.2の個々の評価の内訳。
[画像: 個々の評価指標のブレークダウンを示す表]
他の主要モデルとの比較はこちらをご覧ください: artificialanalysis.ai/models/releases/gpt-6-1-sol