機械学習研究エージェントはなぜ過学習しないのか？

なぜ機械学習の研究エージェントは過学習しないのか？

機械学習の核心は、記憶ではなく一般化です。学習アルゴリズムに訓練例の山を与えてモデルを適合させますが、目標は訓練例でうまくパフォーマンスを発揮することではありません。それは簡単で、単に答えを記憶すればよいからです。目標は、これまで見たことのない新しい例でうまくパフォーマンスを発揮することです。モデルが訓練されたデータではうまくいくが、新しいデータではうまく行かない場合、それは実際には何も学習していません。学習したと思い込んでいるだけです。この失敗モードには「過学習」という名前があります。

統計学や機械学習の入門クラスを取ったことがある人なら誰でも、標準的な防御策を知っています。一部のデータを保持しておき、それを使って訓練するのを避けるのです。実際には、この保持されたデータは2つの役割を果たします。検証セットは、モデル構築中に繰り返し参照して、候補を比較したり、ハイパーパラメータを調整したり、次に何を試すかを決定したりするために使用されます。最終的なテストセット（またはホールドアウト）は、最後に一度だけ触れることを意図しています。訓練手順はそれを見たことがないため、そこでの高いパフォーマンスは、実世界で遭遇する新しい例の正しい代理となります。

機械学習の核心は、記憶ではなく一般化です

しかし、「ホールドアウト」条件は重要です。保持されたセットが本当に未知のままであれば、正しい代理保証が成り立ちます。パフォーマンスをチェックし、それに応じて訓練手順を調整し、再チェックし、反復して、より良い数値を追いかける場合、そのセットはもはや未知のものではなくなり、訓練手順の一部となります。これを十分に繰り返すと、訓練セットを過学習したのと同じように、それを過学習してしまう可能性があり、未知のデータに対する代理を失うことになります。これは、意図的に再利用される検証セットを含む、このように再利用されるどの保持セットにも当てはまります。

機械学習の中心にあるパズル

実際の機械学習の研究は、先ほど説明した反復的な改善ループとまったく同じように見えます。誰もが、長年改訂されていない少数のベンチマークデータセットを使用してパフォーマンスを評価します。研究コミュニティは、評価、訓練手順の改訂、再評価、公開、そして次のグループがさらに少し改善を達成するという、巨大で分散されたループを繰り返します。

これは、教科書の説明によれば、保持されたセットに対する急峻な登り坂であり、激しい過学習を引き起こすはずです。今頃は、ベンチマークでは素晴らしく、それ以外の場所では平凡なモデルでリーダーボードが飽和しているはずです。

しかし、そうはなりません。古い、繰り返し使用されたベンチマークのために完全に新しいテストセットを構築した研究では、改善は大部分転移することが発見されています。新しいデータでも、モデルは古いベンチマークで見られたのと同じような改善を示します。教科書の予測に反して、ベンチマーク主導の機械学習は、急速で、大部分現実の進歩をもたらしました。なぜでしょうか？

仮説はいくらでもありますが、実験的に検証するのは困難でした。なぜなら、実験の「被験者」は、人間全体の研究コミュニティだからです。分野をリセットし、その記憶を消去し、管理された条件下で過去10年間を再実行することはできません。

しかし、私たちは同様のことを行うことができます。現在、人間コミュニティが実行するのと同じ機械学習最適化ループを自律的に実行できる、有能なLLMベースの研究エージェントが存在します。それらは同じベンチマークの急峻な登り坂に従事しており、興味深いことに、それらも過学習しないようです。違いは、エージェントは研究コミュニティとは異なり、リセットできるものであるということです。記憶を消去し、どの情報を見るかを正確に制御し、実験を再実行できます。最近の論文「What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents」で、私たちはまさにそれを行い、その過程で長年の謎に対する具体的な説明を提供します。

オッカムの剃刀、精密化される

説明は、非常に古い考えから始まります。オッカムの剃刀は、データを同じようにうまく説明する仮説の中で、より単純な方が正しい可能性が高いと述べています。この直感は正確な数学的形態を持ち、物語全体の基盤となっていることが判明しました。

あなたの仮説、つまりモデルや戦略を、訓練データを記憶するのに必要な量よりもはるかに少ないビット数で記述できると仮定します。そのコンパクトな仮説が訓練データで非常にうまく機能する場合、それは新しいデータでもうまく機能しなければなりません。

オッカムの剃刀、形式化：データを同じようにうまく説明する仮説の中で、より単純なもの（より少ないビットで記述できるもの）は、新しい例に一般化する可能性が高い。

推論は数え上げの議論を経由します。短い文字列はそれほど多くないので、短い説明は単純にそれほど多くありません。候補となる仮説が少ないほど、たとえ訓練セットを使って探索を導いたとしても、偶然にだまされた可能性は低くなります。

直感を別の方法で捉える：圧縮された説明が訓練データを秘密裏に記録するには小さすぎる場合、訓練データでうまく機能するのは、答えを記憶したからではなく、そのスペースがなかったからです。それは、データの構造について何か真実を捉えたに違いありません。短い説明は、スペースがないため不正行為ができません。

魅力的な仮説があります：成功する機械学習戦略は高度に圧縮可能である。研究者はプロジェクトの過程で数千のベンチマークスコアを凝視するかもしれませんが、最終的に生き残る戦略は通常、短いリストの馴染みのある選択肢です。つまり、アーキテクチャファミリー、オプティマイザ、学習率スケジュール、データ処理レシピ、正則化スキームなどです。その最終的なレシピがわずか数ビットで伝えられるなら、モデルのベンチマークへの真の依存度は、実験の長く曲がりくねった記録が示唆するよりもはるかに小さくなります。急峻な登り坂は広範囲に及びましたが、最終的に出てきたものは、ごくわずかであったか、あるいはごくわずかであった可能性があります。

圧縮、知性、そして知識のある聞き手の力

明るい高校生に特定の機械学習パイプラインを、実際に再現できるほど詳細に説明しようと想像してみてください。それは長く、骨の折れる会話になるでしょう。勾配降下法とは何か、ニューラルネットワークとは何か、PyTorch、JAX、TensorFlowが何をするのか、学習率とは何か、などを説明する必要があります。そのほとんどはあなたの問題に固有のものではなく、機械学習の仕組みに関する一般的な背景知識です。

次に、同じパイプラインを経験豊富なMLエンジニアに説明することを想像してください。会話は数文に短縮されます。共通の知識と見なされるすべてをスキップし、この問題に真に固有のものだけを伝えます。つまり、アーキテクチャの選択、バッチサイズ、オプティマイザ、いくつかのハイパーパラメータです。聞き手が世界についてすでに多くを知っているほど、送信する必要のあるメッセージは短くなり、より積極的に圧縮できます。この「世界の知識」は、訓練セットを見なくてもすべて書き留めることができたため、オッカムの剃刀の議論で不利になることはありません。

ここで大規模言語モデル（LLM）が登場します。最新のLLMは膨大な世界の知識を持っています。MLツールがどのように機能するかを知っており、標準的な最適化アルゴリズムを知っており、一般的なハイパーパラメータの選択肢と一般的なデフォルト値を知っています。詳細が指定されていない場合、それらはもっともらしい値を埋めることができます。これにより、それらは驚異的に優れた圧縮デコーダーになります。LLMに、簡潔で専門家間のメッセージを渡すと、それを完全で動作する手順に展開できます。考えてみれば、これがまさにそれらが非常に強力である理由です。

実験：戦略をボトルネックを通して絞る

これはクリーンな実験を示唆しています。ML研究エージェント、つまりエクスプローラーに、新しい機械学習問題の解決を試みさせます。検証セットへの完全なアクセスを与え、数百ラウンドにわたって自由に実験および反復させ、検証パフォーマンスの向上を追求させます。ここでは、検証セットがベンチマークの役割を果たします。エージェントが繰り返し照会する再利用可能なホールドアウトです。これは、過学習するはずの急峻な登り坂ループです。

次に、そのソリューションの圧縮可能性をテストします。2番目のエージェント、コンプレッサーは、エクスプローラーの作業の全トランスクリプトを読み、勝者の戦略を非常に短いプロンプト、つまりほんの一握りのトークンに絞り込もうとします。そのプロンプトは3番目のエージェント、リプロデューサーに渡され、リプロデューサーはプロンプトと訓練データのみを使用して、スクラッチから戦略を実装する必要があります。重要なのは、リプロデューサーは検証セット、エクスプローラーのコード、またはそのトランスクリプトにアクセスできないことです。短いプロンプトは、検証セットから学習された情報がそれに到達できる唯一のチャネルです。（私たちの論文で報告されている研究では、コンプレッサーとリプロデューサーは両方ともClaudeモデルです。）

リプロデューサーが、ゼロから始まり、数トークンのみを武装して、エクスプローラーのパフォーマンスに匹敵する場合、検証セットに依存するすべての情報がその小さなチャネルを通過したことになります。戦略は圧縮可能でした。これを出力圧縮の証明と呼びます。

このセットアップには、人間コミュニティにはない非常に便利な特性があります。リプロデューサーは何度もリセットできます。コンプレッサーは多くの異なる圧縮を試すことができます。なぜなら、各試行は新しいリプロデューサーに着地し、前の試行の記憶がないからです。これは映画『メメント』に少し似ています。記憶が消去される前に読むことになる自分自身のために、簡潔なメモを残すようなものです。知識はあるが健忘症の自分に役立つメモを書くことを学びます。受信者が言わなかったことをすべてあなたと同じように埋めるため、それらのメモは非常に短くすることができます。

研究者の実験では、エクスプローラーエージェントの戦略が狭い情報ボトルネックを通して絞り込まれます。圧縮を生き残ったものは何であれ、記憶されたデータではなく、実際の構造を反映しなければなりません。

出てくるもの

圧縮は驚くほど小さいことが判明しました。表形式分類、画像分類、言語モデリング、拡散モデリング、報酬モデリングを含む8つのデータセット全体で、32トークンのプロンプトがあれば、新しいリプロデューサーがほとんどの問題でエクスプローラーの適応的に最適化されたモデルに匹敵するのに十分でした。1つの言語モデリング戦略は、保持パフォーマンスの低下なしに、わずか16トークンに圧縮されました。

これらのプロンプトは実際にはどのようなものなのでしょうか？最も啓示的な例は、圧縮がほとんど破綻する簡潔さの境界線上にあります。ある言語モデリング実験では、エクスプローラーはカスタムGPTスタイルの訓練レシピを発見しました。16トークンの予算の下でも、新しいリプロデューサーが圧縮されていないエクスプローラーに匹敵するのに十分でした。

QKn 12L768 Mu .1 R² b2M 4x

人間には暗号のように見えますが、別のMLエージェントにとっては具体的なことを意味します。QKnは「QK正規化」、12L768は12層、768次元のトランスフォーマー、Mu .1は学習率0.1のMuonオプティマイザ、R²は二乗ReLU活性化、b2Mは200万トークンのバッチ、4xは4倍のフィードフォワードブロックを意味します。しかし、予算を8トークンに削減すると、プロンプトは次のようになります。

12L768 Mu .1 R²

今やリプロデューサーはエクスプローラーに匹敵しません。失われた部分は、データに応じて行われた実際の訓練の選択肢を指定しており、最も明白なデフォルトとは異なります。この境界線は圧縮の限界を示しており、重要です。リプロデューサーが単に事前知識だけで成功しているわけではないことを示しています。数個の圧縮されたトークンがデータ自体から学習された本物の情報を運んでおり、それらのトークンが消えるとパフォーマンスも消えます。

また、情報ボトルネックを逆方向から課す一連の実験も実施しました。エクスプローラーの出力を圧縮する代わりに、入力を圧縮しました。つまり、各モデルの数値検証スコアをエクスプローラーに伝える代わりに、単一のビットのみを返しました。このモデルは現在のベストを上回ったか、それとも上回らなかったか、というビットです。1ビットのフィードバックにまで削減されても、エクスプローラーは完全な数値スコアで見つけた戦略と同等の戦略を見つけました。検証セットと最終戦略の間のチャネルは両方向で狭く、1ビットバージョンは一般化に関する厳密な数学的保証さえ伴います。

8つのデータセット全体で、数百回の反復実験から生まれた戦略は、16〜32トークンという短いプロンプトに圧縮可能であり、記憶のない新しいエージェントが元の結果を再現するのに十分なほど短かったです。

不正行為者の検出

良い経験的理論は反証可能であるべきです。そして、この理論はそうです。もし低い過学習が本当に圧縮可能性によって説明されるなら、実際に過学習したモデルはこのパイプラインで圧縮できないはずです。

確認するために、エージェントに直接検証セットへのアクセスを与え、あらゆるコストで検証パフォーマンスを最大化するように促すことで、意図的に過学習に追い込みました。エージェントは餌食になりました。102回の実験のうち38回で、検証精度は実際の保持精度を10%以上上回りました。

理論は、これらの利得は圧縮ボトルネックを生き残らないと予測します。なぜなら、それらは転移可能な構造ではなく、特定の検証例の特異性をエンコードしているからです。案の定、短いプロンプトを通して新しいリプロデューサーに絞り込まれたとき、検証固有の利点は消滅しました。圧縮は、正当な戦略と過学習した戦略を非常に高い精度で分離しました。

したがって、圧縮は自律的な研究エージェントが過学習しない理由を説明するだけでなく、短い説明で結果を再現できないケースをフラグ付けすることによって、過学習が発生した場合に検出するツールを提供します。

それが私たちに教えてくれること、そして教えてくれないこと

いくつかの注意点があります。フレームワーク全体は、検証データから最終モデルへの唯一のパスが、リプロデューサーに渡すプロンプトを経由するという仮定に基づいています。もちろん、モデルが事前学習中に検証データを記憶していた場合、情報ボトルネックをバイパスするサイドチャネルを持つことになります。私たちは、私たちの実験でそれが起こっているとは考えていません。エージェントは実際の探索を通じて徐々に改善するのであり、最初から最高レベルにあるわけではなく、非常に短いトークン予算ではパフォーマンスが低下します。しかし、この問題を完全に解決するには、モデルのトレーニングカットオフ後に収集された新しいデータセットを使用した実験が必要になるでしょうが、私たちはまだそれを行っていません。

最も重要なのは、私たちの結果はLLMエージェントに関するものです。なぜなら、実験が可能であり、被験者をリセットし、入力を制御し、その長さを数えることができるからです。しかし、それらが描く絵は、人間全体の研究コミュニティについても強く示唆的です。ある分野が固定ベンチマークを何年もかけて登り、その改善が新しいデータに転移し続ける場合、それはエージェントの戦略が32トークンのプロンプトを生き残るのと同じ理由かもしれません。つまり、実際に機能するレシピは単純であるということです。言い換えれば、「（数トークンに収まるものは過学習しない」ということです。

謝辞: Steven Wu