Schema Harness、Arc-AGI-3 Publicで約99%を達成

ARC-AGI-3: ルールが明示されないゲーム ARC-AGI-3は、エージェントにゲーム環境を与えますが、何を見ているのかの説明はありません。各ステップで、エージェントは16色のインデックスの64x64グリッドと一連の可能なアクションを受け取ります。環境はオブジェクトリスト、ルールシート、明示的な目標、または形状付けられた報酬を提供しません。進歩する唯一の方法は、物理学者の方法です。エージェントは、ゲームのモデルがまだ暫定的なものである間にアクションを実行し、グリッドが何を表しているか、アクションがそれをどのように変更するか、そして何が成功と見なされるかについての仮説を形成し、新しい観測が到着するにつれてモデルと計画の両方を修正する必要があります。 ARC-AGI-3は、最先端モデルにとって例外的に困難であることが証明されています。公式メトリックである相対的人間行動効率（RHAE）は、エージェントのレベルごとのアクション数を最初の露出時の人間ベースラインと比較し、結果を環境全体で集計します。100%は、すべての環境のすべてのレベルを人間ベースラインのアクション効率以上で完了することを意味します。Semi-privateセットでは、検証済みの最先端モデルのパフォーマンスは、3月のローンチ時の0.51%から、7月のGPT-5.6 Sol（最大推論時）で7.78%に上昇しました。SolはPublicセットでも13.33%を記録しましたが、人間の参照値からはまだ遠いです。 図1. ARC-AGI-3 RHAE結果（2026年7月まで報告）。塗りつぶされたマーカーはARC Prizeで検証された評価を示し、塗りつぶされていないマーカーはPublicセットでの自己申告評価を示します。マゼンタはSchemaを識別します。Schemaの結果は両方とも自己申告であり、ARC Prizeによって検証されていません。 Schema、本日紹介するハーネスは、Claude Opus 4.8とFable 5を使用してARC-AGI-3 Publicセットで99%を達成し、GPT-5.6 Solを使用して95.35%を達成しました。これは基盤となるモデルの重みを変更するものではありません。代わりに、その周りのプロセスを変更します。つまり、観察を動作モデルに変換する方法、予測をインタラクション履歴に対してテストする方法、計画を実行および修正する方法です。両方のスコアは、固定のフォールバックルールから来ています。Opus 4.8とSol xhighが最初に実行され、80%未満のスコアのゲームはFable 5とSol maxで再実行され、ゲームごとの高い方のスコアが保持されます。要点は、モデルをどのように使用するかが非常に重要であるということです。この投稿の残りの部分でその構成を示します。 物理学者のように考える Schemaは物理学者のように考えます。物理学者が法則を書き留める前に、その法則が何についてのものであるかを決定する必要があります。観測のどの部分がオブジェクトであり、どのプロパティが状態を定義するのか？それから初めて、その状態がどのように変化するかを問うことができます。Schemaはこれらの質問を2つの問題として形式化します。状態グラウンディングは、生の観測を追跡可能なオブジェクト、変数、および関係に変換します。メカニズム発見は、その状態がアクションの下でどのように変化するかを見つけ、ルールをプログラム可能なプログラムとして書き出します。私たちの以前のシステム、VIGAは、最初の問題に焦点を当てていました。グラフィックスエンジンに対する分析バイシンセシスを通じて、連続的な視覚入力からARCグリッドよりもはるかに豊かなシーンプログラムを回復しました。WorldCoderのような他のシステムは2番目の問題に焦点を当てています。それらは軌跡から遷移プログラムを学習しますが、すでに構造化された状態表現から始まります。私たちは、これらの2つの問題が、エージェントが状態表現と遷移ルールを構築する際に共同で解決される必要があると信じています。 レベル2・メカニズム発見 WorldCoder (state, action, state′) → transition program step() 世界が瞬間から瞬間へとどのように動くか — プログラムとして書かれたルール。 各ゲームには、次のようなメカニズムが隠されています：スプリングウォール、リフューエルリング、カラーローテーター グラウンディングされた状態からルールを導き出す 反例は、表現自体を告発することができます。 レベル1・状態グラウンディング VIGA observation → state program 世界とは何か — オブジェクト、数量、名前、生のピクセルから発明されたもの。 どのピクセルがプレイヤー、壁、カウンターを構成するかは何も言っていません。 プレイヤー？カウンター？ [schema]は、両方のレベルを共同で、編集可能な1つのプログラムで解決します。 図2. 2つの抽象化レベル。レベル1は状態を発明します — どのピクセルがプレイヤー、壁、カウンターを形成するか。レベル2は、上記のバネ壁、燃料補給リング、カラーローテーターのような、その状態上のメカニズムを回復します。Schemaは、両方を1つの編集可能なプログラムに保持します。ルールが実験と一致しなくなった場合、反例は表現自体を告発することができます。 状態グラウンディングとメカニズム発見は独立して解決できません。最初はもっともらしく見える状態表現も、後続の実験の結果を説明する一貫した遷移ルールが見つからない場合、不十分であることが判明する可能性があります。Schemaでは、状態表現と遷移ルールは、同じ編集可能なプログラムに共同でエンコードされます。観測が予測と矛盾した場合、エージェントは表現またはルールのいずれかを修正し、その後、一貫したモデルを復元するために他方を更新できます。これは物理学者の働き方を反映しています。予測が執拗に失敗した場合、彼らは法則を調整するだけではありません。彼らは状態そのものを変えます。最もクリーンなケースは特殊相対性理論の誕生です。マイケルソン・モーリーの実験で光が波を伝えるはずの媒質を検出できなかったとき、ローレンツは最初のルートを取りました。エーテルを維持し、空の結果を吸収する収縮仮説でルールをパッチしました。アインシュタインは2番目のルートを取りました。特殊相対性理論では、彼はエーテルを状態の一部として捨て、同時性をフレーム相対的にし、移動する物体の単純な電磁気学をもたらしました。 ARC-AGI-3は、エージェントが生の観測から両方のレイヤーを構築することを要求します。グリッドはオブジェクトも目標も特定しないため、エージェントはどのパターンがプレイヤー、壁、カウンターなどのエンティティに対応するかを決定し、アクションがそれらをどのように変換するかを推測し、どの構成が進行または完了と見なされるかを判断する必要があります。目標述語でさえ、Schemaではis_goalとして実装されていますが、インタラクションから推測する必要があります。 コアアイデア。潜在的な世界表現はベクトルではなくプログラムであるため、解釈可能（読み取り、差分を取ることができるテキストファイル）、検証可能（記録された現実に対して、信念ごとに再生可能）、検索可能（プログラムはシミュレーターであり、その中での計画は無料）です。 次のターン — サイクルが繰り返される 驚き → プランが無効になり、熟考に戻る 観測 生のグリッド — ピクセル。そこにあるすべてのオブジェクトはエージェントによって発明されました。 熟考 コミットされたアクションキューでのみ終了するオープンエンドの推論エピソード。 実行 ステップごとの自己チェックを世界モデルの予測に対して行いながら、キューを実行します。 記録 すべての実際の遷移をタイムラインに追記します。 追記専用タイムライン — グラウンド・トゥルース 1回の熟考の中 — インナー・ループ 不一致 — バグを修正する 緑 理論化 write_code ゲームの理論を step(state, action) として編集する。 認定 run_backtest 記録されたすべての遷移を再生する — 正確に一致するか、指摘されたバグ。 計画 run_bfs 認定されたプログラム内で検索する — 実際のコストゼロ。 コミット commit_actions 思考から行動への唯一のチャネル。 永続メモリ — エージェントの「重み」 world_model.pynotes.md タイムライン 追記専用 実行例 — LS20・実際のトレース Opus 4.8 ・642アクション vs 人間780 ・RHAE 100 [観測] 64x64グリッド、16色、アクション0-4 — プラス形状のスプライト、シアン+マロンのブロック、フレーム付きマロンのグリフ、カラー11バー。 [熟考] notes.md: アバターは5x5のシアン+マロンブロック — プラススプライトは静的。バーは成功した移動でのみ消費される移動予算。 [熟考] write step() ・run_backtest → world_model_v5.py が36/36の記録された遷移を正確に再生する。 [実行] コミット [2,2,2,3,2,2] → 驚き：77セルが予測と異なる — ブロックがインジケーターをマロンに再描画した。 プランが無効になった。 [記録] 再描画ルールがエンコードされた ・バックテスト緑 ・run_bfs が最短プランを見つける → レベルアップ。この方法で7レベル：642アクション vs 780アクションの人間ベースライン。アウター・ループ。a