GPT-6 Astra、Artificial Analysisコーディングエージェントインデックスで大幅に進歩

GPT-6 Astra、当社の主要な2つの指数でClaude Fable 5.1と並び、コストは低く抑えられる。Astraは知能指数でFable 5.1と同等、コストは約40%で、コーディングエージェント指数ではコスト約60%で同等となった。

［画像: GPT-6 Astraのベンチマーク結果の概要］

価格は、GPT-5.6 Solの現行価格の2.5倍で、100万入力/出力トークンあたり4ドル/20ドルから10ドル/50ドルに引き上げられました。キャッシュ読み取りには90%の割引、キャッシュ書き込みには25%のプレミアムが適用される点は変更ありません。

Artificial Analysis Intelligence Indexにおいて、GPT-6 Astraはタスクあたりのコスト約40%でClaude Fable 5.1に並び、GPT-5.6 Solを6ポイント上回りました。Artificial Analysis Coding Agent Indexでは、同指数内のどのエージェントよりも低いトークン使用量により、タスクあたりのコスト約60%でClaude Fable 5.1に並びました。

Artificial Analysis Intelligence Index - 主要なポイント:

➤ 知能指数で首位タイ: GPT-6 Astra (max) は指数で53を記録し、Claude Fable 5.1 (max with fallback) と同等です。前モデルのGPT-5.6 Sol (max) を6ポイント上回りました。

➤ コストフロンティアの大部分を占める: Astraのあらゆる推論レベルが、Intelligence Index対Cost per Taskのフロンティア上に位置しています。Claude Fable 5.1 (max with fallback) と比較して、Astraはタスクあたりのコスト約40% ($3.26 vs $7.63) で同等のスコアを達成します。最大負荷時、AstraはGPT-5.6 Solよりも約60%高価です。トークンあたりの価格上昇は、トークン使用量の低下によって部分的に相殺されます。

➤ トークン効率のパレートフロンティアを定義: 低負荷から最大負荷までのすべての推論努力が、Intelligence Index対Output Tokens per Taskのパレートフロンティア上に位置しています。最大負荷時、Astraはタスクあたり27kの出力トークンを使用し、これはClaude Fable 5.1 (max with fallback) の78kの約3分の1で、スコアは同じです。

➤ GPT-5.6 Solの半分の幻覚: GPT-6 Astraは、当社の知識と幻覚のベンチマークであるAA-Omniscienceで大幅なジャンプを見せました。これは、最大負荷時における幻覚率が92%から51%へと大幅に低下したことによるものです。一部のモデルとは異なり、この改善は精度の犠牲を伴いません。Astraは同時に精度を4ポイント向上させました。

➤ AA-Briefcase Eloで約90ポイントの向上: GPT-6 Astraは、当社の最先端の長期的な知識作業評価であるAA-Briefcaseで約90ポイント向上しました。モデルは、複数のタスクと数千のソースファイルを含む数週間にわたるプロジェクトでテストされます。Astraは、AA-Briefcaseにおいて、前モデルと比較してルーブリックスコアとAnalytical Quality Eloの両方で大幅な増加を示しました。一方で、Presentation Quality Eloは低下しており、この分野ではGPT-5.6 Sol (max) が依然として全モデルをリードしています。

➤ Terminal-Bench v4.0、AutomationBench-AA、GDP.pdfをリード: GPT-6 AstraはTerminal-Bench v4.0で59%を記録し、Claude Fable 5.1 (52%) を上回り、GPT-5.6 Sol (40%) より19ポイント先行しています。当社のZapierのビジネスワークフローベンチマークの実装であるAutomationBench-AAでは69%を記録し、Grok 4.6 (67%) とGPT-5.6 Sol (60%) を上回っています。専門文書に対する推論をテストするGDP.pdfでは、GPT-5.6 Solの27%に対し、31%の試行で全ての基準をクリアしました。

➤ GDPval-AA v2でのパフォーマンス低下: GPT-5.6 Solと比較して、44の職業にわたる経済的に価値のあるタスクを測定するOpenAIのデータセットから適応させたベンチマークであるGDPval-AA v2で、約45 Eloポイントの低下が見られました。GPT-6 Astraは、GDPvalタスクにおいて他のモデルよりも大幅に少ないターン数を使用していることが観察されました。最大負荷時でタスクあたり24ターン、GPT-5.6 Solでは45ターン、Claude Fable 5.1およびClaude Opus 5ではタスクあたり60ターンでした。

Artificial Analysis Coding Agent Index - 主要なポイント:

➤ コーディングエージェント指数で首位タイ: Codexにおいて、GPT-6 Astraは指数で62を記録し、Claude CodeのClaude Fable 5.1 (62) と同等、Claude Opus 5 (60)、GPT-5.6 Sol (55)、Muse CodeのMuse Spark 1.3 (54) を上回りました。GPT-5.6 Solに対する7ポイントのリードは、Terminal-Bench v4.0 (56% vs 37%) とSWE-Atlas-QnA (62% vs 54%) によるものですが、DeepSWE (68% vs 72%) でのスコア低下によって一部相殺されています。

➤ コーディングエージェント指数のコストフロンティア上: 最大負荷時、GPT-6 Astraはタスクあたり7.09ドルで、7ポイント高いスコアに対してGPT-5.6 Sol (max) より約15%高価です。タスクあたりでは、Claude Fable 5.1 (max with fallback) より約40%、Claude Opus 5 (max) より約30%安価で、同等またはそれ以上のスコアを達成しています。Astraのコスト効率は、トークン効率の向上によってもたらされています。最大負荷時、タスクあたりのトークン使用量はGPT-5.6 Solの3分の1です。

［画像: Intelligence Index対Cost per Taskのフロンティア］

GPT-6 Astraのあらゆる推論努力は、低負荷時0.82ドル/タスクから最大負荷時3.26ドル/タスクまでのIntelligence Index対Cost per Taskフロンティア上に位置しています。Claude Fable 5.1 (max with fallback) と比較して、Astraはタスクあたりのコスト約40%で同等のスコアを達成します。

［画像: Intelligence Index対Output Tokens per Taskのパレートフロンティア］

GPT-6 Astraは、Intelligence Index対Output Tokens per Taskのパレートフロンティアを定義します。低負荷から最大負荷までのあらゆる推論努力がフロンティア上に位置しており、最大負荷時Astraは同スコアでClaude Fable 5.1 (max with fallback) の出力トークンの約3分の1を使用します。

［画像: Coding Agent Index対Cost per Taskのパレートフロンティア］

GPT-6 Astraは、Coding Agent Index対Cost per Taskのパレートフロンティア上にあります。最大負荷時、タスクあたり7.09ドルで、7ポイント高いスコアに対してGPT-5.6 Sol (max) より約15%高価であり、同スコアでClaude Fable 5.1 (max with fallback) のClaude Codeより約40%安価です。

［画像: AA-Omniscienceにおける幻覚率の低下と精度の向上］

GPT-6 Astraは、最大負荷時における幻覚率が92%から51%へと大幅に低下したことにより、AA-Omniscienceで大幅なジャンプを見せており、精度もわずかに向上しています。

［画像: AA-BriefcaseでのEloスコアの向上］

GPT-6 Astraは、最先端の長期的な知識作業評価であるAA-Briefcaseにおいて、GPT-5.6 Solを約90 Eloポイント上回っています。Astraは、前モデルと比較してルーブリックスコアとAnalytical Quality Eloの両方で大幅な増加を示しましたが、Presentation Quality Eloは低下しており、この分野ではGPT-5.6 Sol (max) が依然として全モデルをリードしています。

［画像: AutomationBench-AAでのリード］

GPT-6 Astraは、Zapierのビジネスワークフローベンチマークの実装であるAutomationBench-AAで69%を記録し、Grok 4.6 (67%)、GLM-5.3 (62%)、GPT-5.6 Sol (60%) を上回っています。

［画像: Artificial Analysis Intelligence Indexの個々の評価の内訳］

www.artificialanalysis.ai でGPT-6 Astraと他の主要モデルを比較できます。