AIの再帰的自己改善は、予想よりも早くは来ないかもしれない（2026年8月）

AIの再帰的自己改善は、思ったより早くは来ないかもしれない

現在、AI業界が最も大胆に約束しているのは、AIが人間の監督をほとんど必要とせずに、まもなく自己改善するだろうということです。LLMはすでにコードを書いたり、トレーニング用の合成データを生成したり、実行するコンピュータチップを最適化したりできます。2027年のAI予測では、研究者が再帰的自己改善と呼ぶものが間近に迫っていると予測しています。

しかし、新しい研究は、そこに到達するには時間がかかるかもしれないことを示唆しています。研究者たちは、AIエージェントがまだオープンエンドなAI研究を行う能力がないことを発見しました。これは、明確な答えがなく、自己改善AIの構築に不可欠かもしれない判断力とセンスを必要とする自由形式の調査です。

プリンストン大学のPeter Kirgis氏とSayash Kapoor氏が率いる複数の機関の研究者グループは、AIエージェントはAI研究を行うために必要な工学的問題を解決できるものの、トップの機械学習カンファレンスで採択される論文と同等のオリジナルの研究を生み出すための判断力と創造性が不足していることを発見しました。このギャップは、AI研究の自動化に関する誇張されたタイムラインが、証拠を先行している可能性があることを示唆しています。

エージェントがAI研究を自動化する方法に関する既存の研究のほとんどは、工学的な問題の解決や、ベンチマークに対して小規模な言語モデルをトレーニングした後の評価など、チェック可能な答えを持つ狭いタスクを完了する能力を評価しています。しかし、AI研究を進めるには、オープンエンドな思考も必要です。仮説のセットを選択すること、どの証拠が質問に答えるかを決定すること、またはいつやり直すべきかを知ることなどです。

これらのスキルをエージェントでテストするために、研究者たちは「シャドー評価」と呼ばれる新しい評価方法を提案しました。これは、AIに高品質の未公開論文からの研究課題に答えることを要求するものです。

研究者たちは、オープンソースソフトウェアであるOpenClaw上で実行されているAnthropicのClaude Opus 4.8に対し、この種の課題、今回は著名な機械学習カンファレンスNeurIPS 2026に提出された2つの論文からの課題に取り組みさせました。

最初の課題は、大規模言語モデルの「ペルソナ」（その行動を決定する）が、モデルの重み（トレーニング中に学習したすべてを保存する数十億の数値）を編集することで制御できるかどうかでした。もう一つは、スプレッドシートデータに基づいて予測を行うモデルが信頼できなくなった場合に指摘する検出器をどのように設計するかでした。論文はまだ公開されていなかったため、エージェントはトレーニングデータから答えを記憶したり、オンラインで見つけたりすることはできませんでした。

エージェントには、6日間、Anthropic APIクレジット3,000ドル、実験を実行するためのGPU予算、独自の仮想コンピュータ、およびオープンウェブへのアクセスが与えられ、トップティアのAIカンファレンスで発表する価値のある研究論文を作成しました。論文の元の著者は、カンファレンスに提出された論文を評価するのと同じように、エージェントの論文を採点しました。

それらの著者は、両方の論文を却下しました。

人間科学者たちは、エージェントは研究を行うために必要なすべての工学作業を実行する能力があったと述べています。エージェントは文献をレビューし、数百の実験を実行し、結果をまとめました。

「一方で、エージェントは研究そのものを実行する上で明確に劣っていました」とKapoor氏は言います。「彼らは奇妙な実験を実行し（一部のケースでは、ごく小さな合成データセットで仮説をテストしました）、その仕事について分かりやすく書くのに苦労し、分野に新しい貢献をしませんでした。『論文はトップAIカンファレンスの品質には全く及びませんでした』と彼は言います。」

それは、エージェントが研究を行うために必要な創造性と判断力を発揮するのに苦労したためです。彼らは異なるアイデアを十分に探求せず、有望でないアプローチにすぐに固執しました。エージェントは、元の著者自身が始めたものに似た、新しく野心的な仮説を開発しましたが、ごく限られたデータに基づいてそれらを却下しました。そして、失敗したアプローチから後退することができませんでした。彼らは小さな方向転換はできましたが、根本的にアプローチを考え直したり、ゼロから新しいものを試したりすることはできませんでした。

エージェントは、サブエージェントや外部AIレビューツールからのフィードバックを効果的に組み込むことにも失敗しました。方法論を修正する代わりに、エージェントは主張を狭め、条件を付け加えました。また、トークン、計算リソース、時間などのリソースを効果的に使用できませんでした。そして、研究の異なるフェーズにどれだけの時間を費やすか、または論文の長さがどれくらいであるべきかといった指示に従うことができませんでした。

それらの失敗にもかかわらず、エージェントは研究者たちが「報酬ハッキング」と呼ぶ、実験やデータを隠したり誤って伝えたりするような不正行為には関与しませんでした。サブエージェント、つまりメインエージェントが作業の一部を処理するために生成するヘルパーAIは、時折幻覚を見たり結果を誤って伝えたりしましたが、これらはプロジェクトを監督するリードAIであるオーケストレーターエージェントによって捕捉されました。

AIモデルが研究エンジニアリングには優れているが、オープンエンドな研究にはそうでない理由はそのトレーニング方法にあるかもしれないとKapoor氏は述べています。モデルは、強化学習と呼ばれるトレーニングレジームでドリルできるものすべてに長けます。これは、成功が自動的にチェックできるタスクに適用しやすいです。「しかし、タスク自体がオープンエンドである場合、これらのモデルをトレーニングするための環境を作成するのはより困難です」と彼は言います。

Kapoor氏によると、チームは現在、4月にリリースされたAnthropicの最も高度なモデルであるMythosで実験を行っています。その後、トランプ政権によって様々な安全制限を満たすことが義務付けられ、現在では承認された組織にのみ利用可能です。Anthropicはコメントの要求に応じませんでした。

この研究にはいくつかの限界があります。2つの研究論文しかカバーしておらず、元の著者は、彼らが採点している論文がAIエージェントによって生成されたものであることを知っていたため、評価に影響を与えた可能性があります。また、研究者たちは研究の設計と実行においてかなりの裁量権を持っており、彼らの既存の信念やバイアスが結果に滑り込んだ可能性があることを意味します。オープンエンドな研究の評価は、客観性の一部を、ベンチマークが提供できるものよりもはるかに豊かなテストと引き換えにしています。

それでも、この結果は、再帰的自己改善が間近に迫っているという主張を抑制する可能性があります。6月には、Anthropicは「AIが自身を構築するとき」と題されたブログ記事を公開し、自身の開発を加速するモデルへの進捗を記録しました。7月には、OpenAIは、その新しいモデルGPT-5.6 Solが、研究者たちの数週間の作業を節約して、より小さなモデルのポストトレーニングを支援したという事実を宣伝しました。

この新しい発見は、AI企業が最も楽観的な公の声明とは無関係に、内部で発見していることを反映している可能性があります。Anthropicの共同創業者であるJack Clark氏は、彼のニュースレターImport AIで、同社がAI安全性研究の一部を自動化しようとしたときに発見したことと似ていると書いています。

「今日のAIシステムには、価値のある直感的な創造性の一定の欠如があり、彼らは並外れた能力を持つエンジニアであるにもかかわらず、良い研究者になることを妨げる可能性のある、定型的で形式的な思考の特性を持っているようです」と彼は書きました。彼はAIシステムの創造性の欠如を、「短い再帰的自己改善タイムラインに対する弱気なシグナル」と呼びました。

AI企業は、モデルをコーディングに優れさせるために行ったように、自身の進歩を急速に加速できるAIシステムを開発するあらゆるインセンティブを持っています。OpenAIは、完全に自動化された研究者を構築することを明確な目標としており、Anthropicは自己改善AIを業界の次のマイルストーンとして特定しています。

「もし投資とこの方向への意識的な努力があれば、現在失敗しているとしても、興味深い進歩があると感じます」と、AIエージェントがAI研究を自動化する方法を研究しているが、この研究には関わっていないボストン大学の言語学・コンピュータサイエンス教授であるNajoung Kim氏は述べています。一方で、AIの進歩は二極化する可能性があります。AIシステムは、狭いタスク（採点できる種類のもの）では急速に進歩するかもしれませんが、オープンエンドな研究ではゆっくりと進歩するかもしれません。

そうなると、大きな未解決の疑問は、オープンエンドな研究が再帰的自己改善にとってどれほど重要かということです。AIシステムは、単に狭いタスクを改善するだけで、それなしでそこまでたどり着けるのかということです。「もし私たちがこの分野の最大の進歩、つまりトランスフォーマーの発明や、多くのAI進歩を可能にした新しい大規模アーキテクチャの発明を振り返ると、それらのすべてには創造的な飛躍が必要でした」とKapoor氏は言います。

「とはいえ、変革的なAI、特に再帰的自己改善に必要なものはすべてすでに存在するという仮説を持つ人もいます。」それには、モデルのトレーニングを高速化し、ベンチマークスコアを向上させることが含まれます。

「それが率直に言って、今のところ1兆ドル（トリリオンダラー）の質問です」と彼は言います。