HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Schema Harness、Arc-AGI-3 Publicで約99%を達成

Schema Harness Achieves ~99% on Arc‑AGI‑3 Public (schema-harness.github.io)

68 pointsby jasondavies43 コメント

要約

Schema Harnessは、ルールが明示されないゲーム環境でエージェントの推論能力を評価するARC-AGI-3ベンチマークにおいて、Claude Opus 4.8とFable 5を組み合わせることで、Publicセットで99%という高いスコアを達成しました。これは、基盤となるモデルの重みを変えるのではなく、観察をモデル化し、予測をテストし、計画を実行・修正するプロセスを改善することによって実現されました。

全文翻訳

ARC-AGI-3: ルールが明示されないゲーム

ARC‑AGI‑3は、エージェントにゲーム環境を提供しますが、何を見ているかの説明はありません。各ステップで、エージェントは16色のインデックスを持つ64×64のグリッドと、実行可能なアクションのセットを受け取ります。環境は、オブジェクトリスト、ルールシート、明示的な目標、あるいは報酬の形状を提供しません。進歩するためには、物理学者のようなアプローチしかありません。エージェントは、ゲームのモデルがまだ暫定的な状態である間に、グリッドが何を表しているか、アクションがそれをどう変化させるか、そして何が成功とみなされるかについての仮説を立て、新しい観測が到着するにつれてモデルと計画の両方を修正する必要があります。

ARC‑AGI‑3は、最先端のモデルにとっても非常に困難であることが証明されています。公式メトリックである相対的人間行動効率(RHAE)は、エージェントのレベルごとのアクション数を、最初の試行における人間のベースラインと比較し、環境全体で集計します。100%は、すべての環境のすべてのレベルを人間のベースラインのアクション効率以上で完了することを意味します。半プライベートセットでは、3月にローンチされた時点で0.51%だった検証済みの最先端モデルのパフォーマンスは、7月にGPT‑5.6 Solが最大推論で7.78%に上昇しました。Solはパブリックセットでも13.33%を記録しましたが、人間の参照値からはまだ程遠いものでした。

[画像: ARC-AGI-3 RHAE結果(2026年7月まで)]

Schemaは、本日紹介するハーネスで、Claude Opus 4.8とFable 5を使用してARC‑AGI‑3パブリックセットで99%、GPT‑5.6 Solを使用して95.35%に達しました。これは基盤となるモデルの重みを変更するものではありません。代わりに、観察を動作モデルに変換する方法、予測をインタラクション履歴に対してテストする方法、計画を実行および修正する方法など、それらを取り巻くプロセスを変更します。

両方のスコアは、固定のフォールバックルールから来ています。Opus 4.8とSol xhighが最初に実行され、80%未満のスコアのゲームはFable 5とSol maxで再実行され、ゲームごとの高い方のスコアが保持されます。

重要な点:モデルをどのように使用するかが非常に重要です。 この投稿の残りの部分で、その構成を示します。

物理学者のように考える

Schemaは物理学者のように考えます。物理学者が法則を書き留める前に、その法則が何についてのものかを決定する必要があります。観測のどの部分がオブジェクトであり、どのプロパティが状態を定義するのか?それから初めて、その状態がどのように変化するかを問うことができます。Schemaはこれらの質問を2つの問題として形式化します。状態グラウンディングは、生の観測を追跡可能なオブジェクト、変数、および関係に変換します。メカニズム発見は、アクションの下でその状態がどのように変化するかを見つけ、ルールを実行可能なプログラムとして書き出します。私たちの以前のシステムであるVIGAは、最初の問題に焦点を当てていました。グラフィックスエンジンに対する合成による分析を通じて、ARCグリッドよりもはるかに豊かな連続的な視覚入力からシーンプログラムを回復しました。他のシステム、例えばWorldCoderは、2番目の問題に焦点を当てています。それらは軌跡から遷移プログラムを学習しますが、すでに構造化された状態表現から開始します。私たちは、これら2つの問題は共同で解決されるべきであり、エージェントが状態表現と遷移ルールを構築する必要があると考えています。

[画像: 2つの抽象化レベル]

状態グラウンディングとメカニズム発見は独立して解決できません。最初のうちはもっともらしく見える状態表現も、後続の実験の結果を説明する一貫した遷移ルールが見つからない場合、不十分であることが判明する可能性があります。Schemaでは、状態表現と遷移ルールは、同じ編集可能なプログラムに共同でエンコードされます。観測が予測と矛盾する場合、エージェントは表現またはルールのいずれかを修正し、その後、整合性の取れたモデルを復元するために他方を更新できます。これは物理学者の働き方を反映しています。予測が持続的に失敗する場合、彼らは法則を調整するだけではありません。彼らは状態そのものを変更します。最も明確なケースは特殊相対性理論の誕生です。MichelsonとMorleyが光が波を伝えるはずの媒質を検出できなかったとき、Lorentzは最初のルートを取りました。エーテルを維持し、 nullの結果を吸収する収縮仮説でルールを修正しました。Einsteinは2番目のルートを取りました。特殊相対性理論では、彼はエーテルを状態の一部として捨て、同時性をフレーム相対的にし、移動する物体の単純な電磁気学を導き出しました。

ARC‑AGI‑3では、エージェントは生の観測からこれら2つのレイヤーを構築する必要があります。グリッドはオブジェクトも目標も特定しないため、エージェントはどのパターンがプレイヤー、壁、カウンターなどのエンティティに対応するかを決定し、アクションがそれらをどのように変換するかを推測し、どの構成が進行または完了とみなされるかを判断する必要があります。目標述語でさえ、Schemaではis_goalとして実装されていますが、インタラクションから推測する必要があります。

コアアイデア。 潜在的な世界表現はベクトルではなくプログラムであるため、解釈可能(読み取り、差分を取ることができるテキストファイル)、検証可能(記録された現実に対して、信念ごとに再生可能)、そして検索可能(プログラムはシミュレーターであり、その中での計画は無料)です。

[画像: Schema制御ループ]

数字が語ること

メトリックの詳細。 公式のARC‑AGI‑3は、相対的人間行動効率(RHAE)でパフォーマンスを評価します。これは、エージェントが使用するアクション数を、完了した各レベルの、上位中央値の初回人間ベースラインと比較します。レベルごとのスコアは (人間のアクション数 ÷ エージェントのアクション数)² で、1.15 にキャップされます。各ゲーム内では、レベルは1からnまで重みが増加するため、後のレベルがゲームスコアに大きく貢献します。同じ重みに基づく完了キャップは、すべてのレベルがクリアされない限り、ゲームが100%を受け取ることを防ぎます。ベンチマークスコアは、ゲームスコアの平均です。探索的なアクションを含むすべてのアクションがエージェントの合計に含まれます。効率比は二乗されるため、追加のアクションはスコアを急激に低下させます。したがって、98.98%は完了とアクション効率の集計測定値であり、解決されたゲームの割合ではありません。

[画像: RHAEは完了とアクション効率の両方を報酬する]

Claude行(図5)は、同じOpus 4.8とFable 5のペアリングによる制御された比較を提供します。最終的なClaude Codeスクラッチスナップショットをベースライン出力として扱うと、スコアは42.83%になります。Schemaを使用すると、同じペアリングで98.98%に達し、56.15%の増加となります。

Sol xhighとSol maxのフォールバックペアリングでは、Schemaは95.35%に達します。最も近い公式参照は、一致するハーネス比較ではありません。ARC Prizeは、個々の最良のバリアントであるSol maxを、パブリックで13.33%、セミプライベートで7.78%と報告しています。したがって、チャートに示されている82.02%のパブリックセット差は文脈的なものであり、Schemaによって生成されたゲインの制御された推定値ではありません。

制御されたClaude比較は、基盤となるモデルの機能ではなく、プロセスの違いを分離します。Claude Codeは、ファイル操作と長コンテキスト管理のための強力な汎用ハーネスを提供します。原理的には、Schemaのワークフローを模倣できますが、モデルにそのようにすることを要求しません。汎用ハーネスの下では、モデルはゲームに直接作用し、その信念をコンテキスト内に暗黙的に保持する可能性があります。Schemaは代わりに3つの制約を強制します。

  1. 現在の世界モデルを実行可能なstep()プログラムとしてエンコードする。
  2. 計画に使用する前に、そのプログラムを記録されたすべての遷移に対して検証する。
  3. 予測エラーが発生した場合、残りの計画をすぐに破棄した後、commit_actionsを通じてのみアクションを送信する。

この制御された構成の下で、SchemaのハーネスはClaude Codeベースラインよりも56.15%の改善をもたらします。

[画像: RHAE (%) の比較]

検証ステータス。 98.98%および95.35%のスコアは、この投稿とともにリリースされた実行成果物から計算されたパブリックセット上の自己申告結果です。どちらのスコアもARC Prizeによって独立に検証されていません。

パブリックセットはどの程度示唆的か? ここにあるSchemaのすべての数値は、25のパブリックゲームで測定されています。Sol maxは、評価セット全体で1つの公式キャリブレーションポイント(パブリックで13.33%、セミプライベートで7.78%)を提供しますが、それは数値を介してほぼ天井のパブリックスコアを外挿することを正当化するものではありません。98.98%のパブリックがセミプライベートでどの程度にマッピングされるかは、測定されるまで不明です。利用可能な成果物はパブリックセットの実行のみを文書化しているため、このドラフトは固定ハーネスまたはホールドアウトパフォーマンスの主張を行いません。

[画像: Schema vs 初回人間ベースライン(全25パブリックゲーム)]

ペアリング台帳。 保留されたClaudeの結果のうち、14ゲームはOpusの実行を使用し、11ゲームはFableの実行を使用します。Opusの実行の13およびFableの実行の6は、それぞれ正確に100をスコアし、全体で19ゲームが100をスコアしました。保留されたSolの結果のうち、15ゲームはxhighの実行を使用し、10ゲームはmaxの実行を使用します。xhighの実行はすべて100をスコアし、maxの実行10のうち5は100をスコアし、5は100未満でした。

残差は集中している。 Claudeペアリングは、全体で100まで1.02%不足しています。19ゲームが正確に100をスコアし、残りの6ゲームは89.87%から99.10%の範囲です。中央値のゲームスコアは100です。Solペアリングも中央値のゲームスコアは100です。20ゲームが正確に100をスコアし、残りの5ゲームは60.93%から87.80%の範囲です。

ケーススタディ

観察1:誘導された世界プログラムがアクションを効率化する

エージェントが記録された履歴を正確に再現するプログラム世界モデルを誘導した25ゲーム中14ゲームでは、人間参照よりも1.6〜5.0倍少ないアクションを使用しました。その理由は、アクションの費やし方の変化にあります。エージェントは、メカニズムを発見するために一度だけ実際のアクションを支払い、その後、試行錯誤を通じてメカニズムを再発見するのではなく、モデル内で無料で計画を立てます。これは2つの能力に依存します。

A. 完全な履歴に対して検証する。 すべての実際のアクションが記録され、run_backtestは、記憶に頼るのではなく、候補ルールを全体の記録に対してチェックします。記録は、有限のワーキングメモリと自動圧縮されたコンテキストウィンドウの両方を生き残るため、認定されたモデルは、さらなる実際の環境テストの代わりに信頼できます。

B. 再利用可能なシミュレーター内で計画する。 step()とis_goal()が認定されると、幅優先探索は環境アクションを1つも費やすことなく10³〜10⁴のモデル化された状態を探索します。そして、モデルはコードとして永続するため、この無料の計画は後続のすべてのレベルで繰り返されます。

その効果は、人間が最も苦労する場所で最も鋭くなります。M0R0レベル4では、エージェントは人間の500アクションに対して42アクションを必要とします。これは、発見コストを一度支払い、その後モデル内で計画を再計算することと一致します。以下に展開可能な各項目は、このパターンをサポートするゲームレベルのケースです。

[画像: RE86 正確な検証はワンショットプランをサポート]

[画像: KA59 完全履歴比較はもっともらしいルールを否定する]

[画像: M0R0 探索は困難なレベルでの試行を置き換える]

観察2:Fableはより良い実験的決定を通じて正しい世界モデルに到達する

同じ実行可能ハーネスの下で、モデルの選択が世界モデルの発見にどのように影響するかを理解するために、両方のモデルが試行したゲームでSchema w/ Opus 4.8 MaxとFable 5を比較します。Fableは、これらのゲーム全体でより高いRHAEを2つの方法で達成します。一部のゲームでは、Opusが完了できないレベルを完了できるモデルを発見します。他のゲームでは、両方のモデルが完了しますが、Fableは同じ終点に少ない環境アクションで到達します。

ペアになったトレースは、共通の説明を示唆しています。失敗した予測の後、Fableは現在の表現自体に疑問を呈し、重要な不確実性を特定し、競合する仮説を区別する可能性のある相互作用を選択することがより頻繁です。その後、観測を再利用可能な遷移ルールに変換します。Opusは最終的に同じメカニズムを発見することが多いですが、それは既存の表現内で代替ターゲット、条件、または構成をテストするためにより多くの時間を費やした後です。

一致した完了ケースは特に有益です。Opusは最終的に同じ表現をエンコードするため、アクションのギャップは、一方のモデルがルールを表現でき、もう一方ができないという単純な理由では説明できません。違いは発見プロセスにあります。何を疑問視するか、どの実験を実行するか、そしていつ結果を実行可能なコードに変換するかです。

[画像: DC22 グラフの完全な探索、エッジが1つ欠落]

[画像: LF52 カートはボードセルだった]

[画像: SB26 一般性は構造化された改訂として現れる]

要約。 ハーネスと基盤となるモデルは、異なる段階で効率に影響を与えます。

実行可能なハーネスは、理論を使用するコストを削減します。 それは理論を永続的で、正確に検証可能で、検索可能にします。これは、人間参照と比較して観察された効率パターンの源です。

基盤となるモデルは、有用な理論を発見するコストを決定します。 ペアになった実行は、しばしば著しく異なる軌跡を通じて同じ表現に収束します。Fableは、決定的な表現上の改訂をより早く行うことが多く、したがってより少ない環境アクションで実行可能なソリューションに到達します。

探索は、それが動作する世界モデルに対してのみ完了します。欠落しているオブジェクト、状態変数、または遷移が表現されると、既存の検証者とプランナーで十分なことがよくあります。観測が正しい表現を区別しない場合、同じメカニズムが間違った表現を検証し、網羅的に探索することができます。

これは新しい始まりです

ARC‑AGI‑3は、急速に進歩する分野における重要なベンチマークです。3月にローンチされたとき、主要な最先端エージェントのスコアはわずか0.51%でした。7月までに、最高の公式Sol Maxの結果はパブリックで13.33%、セミプライベートで7.78%に達し、自己申告の結果は平均ゲームごとのRHAEで最大58.12%に上昇しました。

私たちの自己申告による98.98%は、そこから逸脱するのではなく、この軌跡を継続しています。主要な要素はすでに現れていました。新しい環境に適応できる最先端モデル、コーディングエージェントハーネス、およびプログラムによる世界モデルです。Schemaは、それらを統合するシステムです。

飽和したARC-3を新しい始まりとして読みます。メカニズム発見を一般的な能力として捉え、エージェントループのアクションと知覚を通じて世界の因果構造をグラウンディングし、64×64グリッドよりもはるかに豊かな環境でそれを実現します。これが私たちの目指す方向です。

この作品を引用する

BIBTEX

@misc{schema2026,
      title={Schema: Discovering Unknown Environments via Agentic Program Induction},
      author={Guanning Zeng and Jiani Wang and Wenjie Ma and Shaofeng Yin and Chenyang Wang and Shichen Liu and Angjoo Kanazawa and Wode Ni and Xiuyu Li and Andrea Zanette and Haiwen Feng},
      year={2026},
      eprint={2609.39140},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2609.39140},
}

@misc{schema2026blog,
      title={{[schema]: Frontier Models with the Right Harness Achieve $\sim$99\% on ARC-AGI-3 Public}},
      author={Zeng, Guanning and Wang, Jiani and Ma, Wenjie and Yin, Shaofeng and Wang, Chenyang and Liu, Shichen and Kanazawa, Angjoo and Ni, Wode and Li, Xiuyu and Zanette, Andrea and Feng, Haiwen},
      year={2026},
      howpublished={Impossible Research. \url{https://schema-harness.github.io/}},
      url={https://schema-harness.github.io/},
}