Energy-Based Reasoners: 385倍効率的な推論
Energy-Based Reasoners: 385x more efficient inference (energy-based-reasoners.github.io)
要約
本研究では、潜在的な推論状態に対するエネルギー関数を学習し、ループ更新をエネルギー勾配降下として定式化する推論モデル「Energy-Based Reasoners (EBRs)」を提案しています。EBRsは外部検証器なしで候補予測を評価し、勾配が洗練を導き、停止の自然な信号を提供します。180万パラメータのみで、EBRsはSudoku-Extremeで99.9%の精度を達成し、次点のモデルと比較して推論計算量を345倍削減しました。
全文翻訳
Energy-Based Reasoners: あなたの再帰的推論器はエネルギーベースモデルであるべきです
1Duke University2UIUC3Harvard University
TL;DR – 本稿では、潜在的な推論状態に対するエネルギー関数を学習し、ループ更新をこのエネルギーに対する勾配降下として定式化する推論モデル、Energy-Based Reasoners (EBRs) を紹介します。その値は外部検証器を必要とせずに候補予測をスコアリングし、勾配は洗練を導き、停止のための自然な信号を提供します。わずか180万パラメータで、EBRsはSudoku-Extremeで99.9%の精度を達成し、次点のモデルと比較して推論計算量を345倍少なく使用します。N-QueensおよびGraph Coloringでは、EBRsは最先端のカバレッジを達成しつつ、ほぼ100%の単一サンプル精度を維持します。
[画像: 1つの数独パズルに対する学習済みエネルギーランドスケープ]
Abstract
ループは推論のための強力な帰納的バイアスです。再帰ブロックを繰り返し反復することで、ループモデルは実効的な深さをスケーリングし、潜在空間での多段階推論を可能にします。しかし、既存のループモデルは進捗の明示的な尺度によって本質的に導かれていないため、ループをいつ停止するか、および現在の状態をどのように改善するかを決定することが困難です。これを可能にするために、我々はEnergy-Based Reasoners (EBRs) を導入します。これは、潜在的な推論状態に対するエネルギー関数を学習し、ループ更新をこのエネルギーに対する勾配降下として定式化します。エネルギーは潜在状態をスコアリングし、その勾配は洗練を導き、停止のための信号を提供します。EBRsを効果的にトレーニングするために、さらに探索ベースのトレーニングを導入し、追加のモードを発見し、より広範な状態セットにわたってエネルギーランドスケープをより良く形成します。4つのアルゴリズム推論ベンチマークにわたって、EBRsは以前の再帰的推論モデルに匹敵するかそれを上回り、Sudoku-Extremeで99.9%の精度を達成し、次点のモデルと比較して345倍少ない推論計算量を使用し、同等のトレーニング計算量を維持します。すべての複数解ベンチマークにおいて、EBRsは単一サンプル精度がほぼ100%を維持しながら、異なる有効な解の最先端のカバレッジを達成します。これらの結果は、エネルギーベースモデルが強力な推論パフォーマンスのための有望なアプローチであることを示唆しています。
なぜエネルギーなのか?
既存のループ推論器は、明示的な評価なしに潜在状態を更新します。EBRは、洗練、停止、および選択を導くエネルギー関数を学習します。
スコア。 エネルギーは、推論状態と初期ボードとの互換性を評価します。値が低いほど互換性が高いことを意味します。
洗練。 勾配はスコアを改善方向へと変換します。
停止。 勾配が小さくなると状態は定常状態になるため、勾配は停止基準として機能します。
選択。 複数の候補解の中から、最もエネルギーの低いものを選択します。
[画像: エネルギー、勾配ノルム、および降下中の残差、正解 vs 不正解]
正しい解は低エネルギーの定常状態に落ち着きます。 Sudoku-Extremeでの降下中のエネルギー、勾配ノルム、およびステップサイズ。正しい軌跡は小さな勾配で低エネルギーに落ち着きますが、間違った軌跡は移動し続けます。
テスト時スケーリング
より多くの降下ステップを実行すると各回答がさらに洗練され、より多くの軌跡を実行するとエネルギーはより多くの候補から最もエネルギーの低いものを選択できます。
[画像: Sudoku-Extremeの精度 vs イテレーション(サンプル1つ)(左)、およびサンプル数(右)]
EBRsは、7倍少ないイテレーション(左)と43倍少ないサンプル(右)でEqRの最高の精度に達します。
GRAMとTRMはGRAMの論文から。EqRはそのリリースされたチェックポイントから。3つのシードに対する平均±標準偏差。
適応的停止
各軌跡は、エネルギー勾配がしきい値を下回ると停止するため、簡単なパズルは数ステップで完了し、難しいパズルは続行します。
[画像: Sudoku-Extremeの正確な精度 vs パズルあたりの推論FLOPs]
| Method | # Params | Sudoku-Extreme ↑ | Maze-Hard ↑ | Single sample (%) |
|---|---|---|---|---|
| TRM | 5–7M | 87.4 | 85.3 | |
| EqR | 5–7M | 93.0 | – | |
| FPRM | 7M | 94.2 | 87.0 | |
| GRAM | 10M | 86.6 | – | |
| Looped flows | 5–7M | 97.9 | 86.7 | |
| EBROurs | 1.8M | 99.4 | 87.4 | |
| Multiple samples (%), number of samples N in parentheses | ||||
| PTRM | 5–7M | 98.8(100) | 86.7(100) | |
| EqR | 5–7M | 99.8(128) | – | |
| GRAM | 10M | 96.1(20) | – | |
| Looped flows | 5–7M | 99.3(5) | 86.9(5) | |
| EBROurs | 1.8M | 99.9(5) | 88.3(5) |
EBRsは、推論モデルの中で最高の単一サンプル精度を提供します。わずか5回のパスで、99.9%および88.3%に達し、最大128個のサンプルを使用する手法を上回ります。各軌跡をエネルギー勾配がしきい値を下回ると停止させることで、固定深度のEBRよりも10.9倍少ないFLOPsで99.9%の精度を維持し、345倍少ないFLOPsでEqRを上回ることが可能になります。
複数解
EBRは確率的勾配降下のように機能し、多くの異なる解を捉えることができます。カバレッジは、20個のサンプルが見つける各入力の異なる有効な解の割合を捉えます。
| Method | N-Queens | Graph Coloring | |
|---|---|---|---|
| 8×8 | 10×10 | 8-vertex | |
| Single sample | Pass@1 (%) ↑ | Conflicts ↓ | |
| TRM | 66.8 | 17.5 | 109.3 |
| GRAM | 99.5 | 89.7 | 8.3 |
| EBROurs | 100 | 99.5 | 0 |
| 20 samples | Cov@20 (%) ↑ | Cov@20 (%) ↑ | |
| TRM | 22.6 | 2.0 | 22.3 |
| GRAM | 89.7 | 57.5 | 85.8 |
| EBROurs | 98.1 | 92.0 | 88.6 |
Pass@1 (%) および Conflicts (テストグラフ全体のエッジの合計) は単一サンプルを使用します。Cov@20 は、20個のサンプルが見つける異なる有効な解の割合 (%) です。GRAMの論文からのベースライン。
BibTeX
@misc{chen2026energybasedreasoners,
title = {Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model},
author = {Chen, William Xingxu and Gladstone, Alexi and Li, Zeyu Michael and Ji, Heng and Du, Yilun},
year = {2026},
eprint = {2611.08977},
archivePrefix = {arXiv},
primaryClass = {cs.LG},
url = {https://arxiv.org/abs/2611.08977}
}