OpenAIのGPT-6 AstraがARC-AGI-3で達成したこと

OpenAI's GPT-6 Astra on ARC-AGI-3

Published

03 Sep 2026

Summary

• GPT-6 Astraは、ARC-AGI-3 Semi-PrivateでStandardハーネスを使用した場合、26,000ドルで62.7%のスコアを記録し、Provider Adapterハーネスを使用した場合、19,000ドルで99.9%のスコアを記録しました。
• GPT-6 Astraは、ARC-AGI-3においてアクション効率で人間のベースラインを上回りました。テストされた人間のメディアンよりも少ないアクション数で96%のレベルをクリアしました。
• GPT-6 Astraで観察された重要な行動は、未知の環境をコンパクトな記号的世界モデルに変換する能力でした。ゲームのメカニクスを論理的なルールとして表現し、状態を追跡しアクションを計画するために独自のドメイン固有言語の略語を開発しました。

ARC-AGI-3

ARC-AGI-3は、新しい抽象的なターン制環境を通じてエージェントの知能を研究するためのベンチマークです。エージェントは、明示的な指示なしに、探索し、目標を推測し、環境の内部モデルを構築して効果的にアクションを計画する必要があります。あなたはARC-AGI-3を自分でプレイできます。

［動画: Your browser does not support embedded video.］

これらの環境にはコア知識の事前知識のみが含まれており、人間の参加者による制御されたテストを通じて難易度が調整されています。人間は100%の環境を解決できます。

ARC-AGIシリーズの目標は、現在の人工知能とAGIの間の「残差ギャップ」を測定することです。AGIを、人間ができるあらゆるスキルを、人間と同じ効率で獲得するシステムの能力と定義します。

ARC-AGI-3は、ARC-AGIベンチマークシリーズの第3世代です。これは、ARC-AGI-1およびARC-AGI-2を超えたエージェント能力をテストします。各世代は前の世代を拡張します。最先端のAI機能が進歩するにつれて、私たちのベンチマークも進歩しなければなりません。

ARC-AGI-3は、エージェント知能の4つのコンポーネントをテストします。

• 探索: 現実世界の環境では、情報はほとんど受動的に提供されません。エージェントは、周囲と対話することによって能動的に情報を取得する必要があります。
• モデリング: エージェントは、生の観測を、将来の状態と結果を予測できる一般化可能なモデルに変換する必要があります。
• 目標設定: エージェントは、疎な報酬のみでターゲットとなる将来の状態を特定する必要があります。
• 計画と実行: エージェントは、現在の状態から目標までのパスをマッピングし、新しい情報が現れるとコースを修正する必要があります。

Astra Results

［画像: ARC-AGI-3リーダーボード、GPT-6 Astra StandardおよびProvider Adapterの結果を表示］

GPT-6 Astraは、StandardハーネスとProvider Adapterハーネスの両方でARC-AGI-3で最先端のスコアを達成しました。より高い推論レベルは、Astraがゲームを少ないアクションで解決するため、モデル呼び出しとトークンの総数を減らすため、一般的にコストが低くなります。完全な結果を表示。

StandardハーネスStandard harness enables a model to carry forward notes it chooses to keep with it throughout the environment.を使用した場合、OpenAIのAstra (max)はARC-AGI-3 Semi-Privateで62.7%のスコアを26,000ドルで記録しました。Provider AdapterハーネスThe Provider Adapter harness preserves opaque reasoning state between requests and uses compaction for longer conversations, allowing the model to reuse prior work.を使用した場合、Astra (high)は19,000ドルで99.9%のスコアを記録しました。どちらも最先端のスコアです。完全なリーダーボードを参照してください。

最大推論努力において、Astraはゲームをより効率的に解決し、より少ないアクションで済み、他の推論努力レベルと比較して総コストを削減します。

コスト比較のため、制御されたテスト中、人間の参加者には90分セッションあたり115ドル、完了したゲームあたり5ドルの報酬が支払われました。参加者はセッションあたり約9ゲームを試行し、ボーナス前で試行ゲームあたり約12.78ドルでした。

この料金の大部分は、AIとの比較に近い指標である脳の使用エネルギーではなく、参加者の時間とテストを受ける意思に支払われます。脳のエネルギーのみに注目し、それを電力として価格設定すると、推定値はセッションあたり約0.6セント、試行ゲームあたり0.067セントに低下します。1

Analysis

スコアを超えて、Astraのリプレイは、未知のゲームメカニクスを役立つワーキングモデルにどのように変換するかを示しています。3つの発見が際立っていました。開発したコンパクトな代数表記、人間との比較におけるアクション効率、および構築したカスタムツールです。

Custom Algebraic Notation

ARC-AGI-3をプレイする際、Astraはどの戦略ノートを持ち越したいかを選択します。オブジェクト、座標、ルール、未完了の計画を追跡すると同時に、環境のために生成したカスタムドメイン固有言語表記も使用しました。

他のモデルでも同様の行動が見られましたが、Astraのノートは、その精度と情報密度で際立っていました。シーンをコンパクトなコードのような記号モデルに凝縮しました。オブジェクトの場所、それらの相互作用、および正確にどのようなアクションがどのような順序で実行される必要があるかです。これは、本格的なプログラミング言語ではなく、オンザフライの代数的な略語です。例えば：

• ゲーム状態: L8: hub q2 (8↓). Lengths: 14=1… は、レベル、ローカル回転インデックス、およびメカニズムの長さを記録します。s5i5, frame 219
• 複数ステップの計画: extend8 to3; retract10 to2; shorten8 to1 は、color-8およびcolor-10メカニズムへの変更の順序付けられたシーケンスを記録します。s5i5, frame 219
• コントロールと座標: 9−=(39,4), rotate=(49,18), 14+=(59,11) は、それらを実行するコントロールの座標に操作をマッピングします。s5i5, frame 235
• 時間と位置: Turn 5: P=(24,20), empty, facing west は、ターンカウンターをプレイヤーの位置、状態の保持、および向きと組み合わせます。wa30, frame 708

［画像: Astraがコンパクトな記号ノートを記録しながらs5i5をプレイ］

Astraがs5i5をプレイし、オンザフライの代数的な略語を使用して状態を追跡し、アクションを計画しています。

Action Efficiency Compared to Humans

ARC-AGI-3をリリースする前に、約500人の一般市民をテストして、アクション効率、つまり人々が各環境をどれだけ速く解決したかの人間のベースラインを確立しました。参加者はパズル解決の経験や能力で選ばれたわけではありませんでした。2

各レベルについて、「人間のベースライン」を、それを完了したプレイヤーの中央値アクション数を使用して定義しました。これにより、人間とAIのパフォーマンスを比較するための参照が得られます。より多くのアクションを必要とするAIはアクション効率が悪く、より少ないアクションを必要とするAIはアクション効率が良いです。

Provider AdapterハーネスThe Provider Adapter harness preserves opaque reasoning state between requests and uses compaction for longer conversations, allowing the model to reuse prior work.では、Astra (max)は96.0%のレベルで人間のベースラインよりも少ないアクションを使用し、平均してレベルあたり51.7%少ないアクションを使用しました。これは実質的なマイルストーンです。これは、アクション効率のARC-AGI-3の尺度では、Astraが人間のパリティに匹敵し、それを超えたことを意味します。

余談ですが、ARC-AGI-3をリリースする前に、アクション効率が人間とAIの間の分割線であり続けると仮説を立てました。AIが環境を解決した場合でも、人間よりも大幅に多くの探索（アクション）を必要とする可能性があると予想していました。これは総当たりアプローチには当てはまりますが、最先端のAIはより二項的なパターンを示します。最先端のAIがメカニクスを「理解」すると、一般的に人間の効率の範囲内で実行されます。

Astraのアクション効率と人間の比較

［画像: 完了した各ARC-AGI-3レベルについて、Astraのアクションと人間のベースラインを比較した散布図］

各点は、Astra (max)が完了した1つのレベルを表します。実線より下の点は、人間のベースラインよりも少ないアクション数を示しています。

上のプロットは、Astraが各レベルを完了するために使用したアクション数と人間のベースラインを比較しています。これは、ARC-AGI-3が単なるタスク完了ではなく、アクション効率を測定する理由を強調しています。完了のみのスコアでは、Astraが環境を完了したことはわかりますが、それを解決するためにどれだけ効率的に学習したかはわかりません。

ほとんどのベンチマークは、計算リソースの使用量を測定するコスト効率のみを測定しますが、アクション効率は、環境での経験がどれだけ必要だったかを測定します。

Astraの結果は、ソリューションを実行するために人間のベースラインよりも少ないインタラクションで済んだことを示しています。

Custom Tools in Agent Harness

また、PRO-LONGハーネス（論文）でもAstraを評価しました。これは、ARC-AGI-3の初期のレッドチーミングパートナーです。この高度なセットアップでは、Astraはカスタムコードを実行できるサンドボックスにアクセスできました。3

Astraは、各ゲームのためにボードパーサー、ゲーム状態モデル、検索アルゴリズム、プランナー、および永続的なノートなどのカスタムツールのセットを作成しました。より複雑な実行では、Astraはゲーム固有の小さなソフトウェアライブラリさえ生成しました。

例えば、迷路のようなゲームで、ガードと移動するパトロールが登場するtu93では、Astraはナビゲーションから始めてmaze_solver.pyを構築しました。combat_solver.pyに戦闘ルールを追加し、patrol_solver.pyで移動するパトロールをモデル化し、sync_state.pyを使用して観測値と予測を比較しました。

PRO-LONGでのAstraのパフォーマンスを調べることは、外部ツールで何ができるかを見る上で役立ちます。しかし、これは私たちの制御された人間のテストとは異なる評価条件を表します。私たちのテスト参加者はコードインタープリターやスクラッチパッドなどを持っていなかったため、PRO-LONGの結果はモデルとそのツールの組み合わせたパフォーマンスとして理解されるべきです。

［画像: PRO-LONGハーネスでtu93をプレイ中にカスタム迷路ソルバーを使用するAstra］

AstraがPRO-LONGハーネスでtu93をプレイしています。

Two Harnesses, Two Questions

ARC-AGI-3のStandardハーネスは、モデルが同じ最小限のプロバイダーニュートラルインターフェースの下でどのように比較されるかを問います。各ゲームを解決するために必要なすべての情報を提供しますが、モデルがその可視ノートに何を保持するかを決定する責任を負わせます。将来のAGIは、これらの条件下でARC-AGI-3を解決できると信じています。共有インターフェースは、プロバイダー間で一貫した、公平な比較も提供します。

あるいは、別の質問があります。モデルがプロバイダーが設計したコンテキスト管理機能を使用できる場合、どれだけうまく機能するかということです。Astraの場合、これはリクエスト間で不透明な推論状態（私たちが表示しないもの）を保持し、コンパクションを使用してより長い会話を管理することを意味します。

Provider Adapterハーネスを使用すると、ARC-AGI-3 Semi-PrivateでのAstraの最良観測スコアは62.7%から99.9%に増加しました。PublicおよびSemi-Private全体、およびすべての推論レベルを調べると、Provider Adapter実行は、記録された総経過時間で約3.66倍速く、両方のハーネスが解決した167のゲーム推論ペア全体で総トークン使用量が49%少なくなりました。

今後、ARC-AGIリーダーボードでStandardハーネスとProvider Adapterハーネスの結果の両方を報告し、各評価条件を明確にラベル付けします。オープンソーステストリポジトリおよびテストポリシーは、両方の方法を文書化しています。

ARC-AGI Series

ARC-AGI-3は、研究者やエージェントが未知の環境を探索し、ルールを発見し、インタラクションを通じて学習するための有用なプレイグラウンドであり続けています。Astraの結果も、祝う価値のある大きなマイルストーンです。私たちの見解では、Astraは最先端モデルの機能における顕著なステップ変化を表しています。

ARC-AGI-3をリリースした際、ベンチマークを飽和させても「AGI達成の証明」とはならないことを明確にしました。したがって、Astraが汎化に向けた意味のある進歩を表すと信じていますが、それがAGIであるとは主張しません。

ARC-AGIベンチマークシリーズは、最先端AIと並行して進化するように設計されています。これにより、新たな研究課題とAI機能の進歩との間にフィードバックループが生まれます。ARC-AGI-3は、AIに因果的世界モデルを効率的に合成し、特定の指示なしに目標を達成することを求めた最初のインタラクティブベンチマークでした。Astraはこの基準をクリアしました。同時に、ARC-AGI-3は厳密に限定されたスコープと形式を持ち、その環境は決定論的でクローズドエンドのメカニクスと目標を持っています。現実世界の複雑さとオープンエンド性は表していません。

再帰的自己改善やオープンエンドなイノベーションの評価方法など、次世代ベンチマークを形成すべき質問を積極的に探求しています。Astraの進歩は、どのAI機能が手の届かないものであり、どの質問が未解決のままであるかを明確にするのに役立ちます。

この投稿の初期レビューに感謝します。François Chollet、Mike Knoop、Matt Mazur、Ethan Bond、Derek Smith。

1. 脳の代謝電力20Wと電力料金0.20ドル/kWhを仮定：0.020 kW × 1.5時間 = 0.030 kWh、セッションあたり0.006ドル、または試行ゲームあたり約0.00067ドル。
2. ARC-AGI-3人間テスト論文を参照してください。
3. サンドボックスからの脱出を試みた証拠は見つかりませんでした。