AIの再帰的自己改善は、予想よりも早くは来ないかもしれない（2026年8月）

現在、AI業界で最も大胆な約束は、AIが人間の監督をほとんど必要とせずに、すぐに自己改善できるようになるというものです。大規模言語モデル（LLM）はすでにコードを書いたり、トレーニング用の合成データを生成したり、実行されるコンピューターチップを最適化したりできます。爆発的なAIの進歩を予測する声は、研究者が再帰的自己改善と呼ぶものが間近に迫っていると予測しています。しかし、新しい研究は、私たちがそこに到達するまでには時間がかかるかもしれないことを示唆しています。その研究の主導者たちは、AIエージェントはまだ、明確な答えがなく、判断力とセンスを必要とする、自己改善AIの構築に不可欠かもしれないオープンエンドなAI研究を実行する能力がないことを発見しました。 プリンストン大学のPeter Kirgis氏とSayash Kapoor氏が率いる複数の機関の研究者グループは、AIエージェントはAI研究を行うために必要なエンジニアリング問題を解決できるものの、トップの機械学習カンファレンスで採択される論文のレベルで独創的な研究を生み出すための判断力と創造性に欠けていることを発見しました。このギャップは、AI研究の自動化に関する誇張されたタイムラインが、証拠よりも先行している可能性を示唆しています。 既存のAI研究の多くは、エージェントがどのようにAI研究を自動化できるかについて、エンジニアリング問題の解決や、ベンチマークに対して小規模言語モデルをトレーニングした後の評価など、チェック可能な答えを持つ狭いタスクを完了する能力を評価しています。しかし、AI研究を進歩させるには、オープンエンドな思考も必要です。仮説のセットを選択すること、どの証拠が質問に答えるかを決定すること、またはいつやり直すべきかを知ることなどです。 そのようなスキルについてエージェントをテストするために、研究者たちは「シャドー評価」と呼ばれる新しい評価方法を提案しました。これは、AIが質の高い未発表論文からの研究課題に答えることを要求するものです。研究者たちは、AnthropicのClaude Opus 4.8を、OpenClawというオープンソースソフトウェア上で実行し、この課題に取り組ませました。この課題は、権威ある機械学習カンファレンスNeurIPS 2026に提出された2つの論文からのものでした。最初の質問は、大規模言語モデルの「ペルソナ」（その行動を決定する）が、モデルの重み（トレーニング中に学習したすべてを保存する数十億の数値）を編集することで制御できるかどうかでした。もう一つの質問は、スプレッドシートデータに基づいて予測を行うモデルが信頼できなくなった場合に、それを指摘する検出器をどのように設計するかというものでした。 論文はまだ公開されていなかったため、エージェントはトレーニングデータから答えを記憶したり、オンラインで見つけたりすることはできませんでした。エージェントには6日間、Anthropic APIクレジット3,000ドル、実験を実行するためのGPU予算、独自の仮想コンピューター、およびオープンウェブへのアクセスが与えられ、トップクラスのAIカンファレンスで発表するに値する研究論文を作成することが求められました。論文の元の著者たちは、カンファレンスに提出された論文を評価するのと同じように、エージェントが作成した論文を採点しました。これらの著者は、両方の論文を却下しました。 人間の科学者たちは、エージェントは研究を行うために必要なすべてのエンジニアリングを実行する能力があったと発見しました。エージェントは文献をレビューし、数百の実験を実行し、結果をまとめました。「一方で、エージェントは研究そのものを実行することに関しては、紛れもなく下手でした」とKapoor氏は述べています。彼らは奇妙な実験を実行し（一部のケースでは、ごく小さな合成データセットで仮説をテストしました）、その仕事について分かりやすく書くのに苦労し、新しい貢献をしませんでした。「論文は、トップAIカンファレンスの品質には全く及びませんでした」と彼は言います。 これは、エージェントが研究を行うために必要な創造性と判断力を発揮するのに苦労したためです。彼らはさまざまなアイデアを探求するのに十分な努力をせず、有望でないアプローチにすぐに固執しました。エージェントは、元の著者自身が始めたものに似た、新しく野心的な仮説を開発しましたが、ごく限られたデータに基づいてそれらを却下しました。そして、失敗したアプローチから後戻りすることができませんでした。彼らは小さな方向転換はできましたが、根本的にアプローチを考え直したり、ゼロから新しいものを試したりすることはできませんでした。 エージェントは、サブエージェントや外部AIレビューツールからのフィードバックを組み込むことにも失敗しました。方法論を修正する代わりに、エージェントは主張を狭め、条件を付け加えました。また、トークン、コンピューティングリソース、時間などのリソースを効果的に使用することもできませんでした。そして、研究のさまざまなフェーズにどれだけの時間を費やすか、または論文の長さなど、指示に従うことができませんでした。 すべての失敗にもかかわらず、エージェントは研究者たちが「報酬ハッキング」と呼ぶ、実験やデータを隠したり誤って伝えたりするような不正行為には関与しませんでした。サブエージェント、つまりメインエージェントが作業の一部を処理するために生成するヘルパーAIは、時折幻覚を見たり結果を誤って伝えたりしましたが、プロジェクトを監督するリードAIであるオーケストレーターエージェントによって捕捉されました。 Kapoor氏によると、AIモデルが研究エンジニアリングには優れているが、オープンエンドな研究にはそうでない理由は、トレーニング方法にある可能性があります。モデルは、強化学習と呼ばれるトレーニングレジメンでドリルできるものすべてに長けますが、これは成功が自動的にチェックできるタスクに適用しやすいです。「しかし、タスク自体がオープンエンドである場合、これらのモデルをトレーニングするための環境を作成するのはより困難です」と彼は言います。 Kapoor氏は、チームが現在、4月にリリースされたAnthropicの最も先進的なモデルであるMythosで実験を行っていると述べています。その後、トランプ政権によって様々な安全制限を満たすことが義務付けられ、現在では承認された組織のみが利用可能となっています。Anthropicはコメントの要求に応じませんでした。 この研究にはいくつかの限界があります。調査対象は2つの研究論文のみであり、元の著者は、採点している論文がAIエージェントによって生成されたものであることを知っていたため、評価に影響を与えた可能性があります。また、研究者たちは研究の設計と実行においてかなりの裁量権を持っており、彼らの既存の信念やバイアスが結果に紛れ込んだ可能性があることを意味します。オープンエンドな研究の評価は、ベンチマークでは提供できない、はるかに豊かなテストのためにいくらかの客観性を犠牲にします。 それでも、この結果は、再帰的自己改善が間近に迫っているという主張を抑制する可能性があります。6月には、Anthropicは「AIが自身を構築するとき」と題したブログ記事を公開し、開発を加速するモデルへの進捗を記録しました。7月には、OpenAIは新しいモデルGPT-5.6 Solが小規模モデルのポストトレーニングを支援し、研究者の作業時間を数週間節約したことを宣伝しました。この新しい発見は、AI企業が最も楽観的な公の声明とは関係なく、内部で発見していることと共鳴するかもしれません。 Anthropicの共同創設者であるJack Clark氏は、自身のニュースレターImport AIで、同社がAI安全研究の一部を自動化しようとした際に発見したことと似ていると書いています。「今日のAIシステムには、価値のある直感的な創造性のいくらかの欠如があり、彼らは並外れた能力を持つエンジニアであるにもかかわらず、良い研究者になることを妨げる可能性のある、定型的で形式的な思考の特性を持っているようです」と彼は書いています。彼はAIシステムの創造性の欠如を、「短い再帰的自己改善タイムラインに対する弱気なシグナル」と呼んでいます。 AI企業は、コーディング能力を向上させたように、自身の進歩を急速に加速できるAIシステムを開発するあらゆるインセンティブを持っています。OpenAIは自動化されたAI研究者の構築を明確な目標としており、Anthropicは自己改善AIを業界の次のマイルストーンと位置付けています。 AIエージェントがAI研究を自動化する方法を研究しているボストン大学の言語学およびコンピューターサイエンス教授で、この研究には関わっていないNajoung Kim氏は、「もしこの方向への投資と意識的な努力があれば、現在失敗しているとしても、興味深い進歩があると感じます」と述べています。 一方で、AIの進歩は二極化する可能性があります。AIシステムは、スコア付けできるような狭いタスクでは急速に進歩するかもしれませんが、オープンエンドな研究ではゆっくりと進歩するかもしれません。そうなると、大きな未解決の疑問は、オープンエンドな研究がどれほど重要かということです。