AI研究者は再帰的自己改善にどれだけ近いかについて議論する

AI研究者は再帰的自己改善にどれだけ近いかについて議論する 「私たちは天井からほど遠い。」 Dwarkesh Patel 2026年9月11日 50104 John Schulman、Beren Millidge、Charlie O’Neillとの新しいエピソード。 私は、フロンティアで実際に何が起こっているのか、そして次に何が来るのかを知りたかったので、最も洞察力のあるAI研究者たちと集まりました。彼らはオープン寄りの企業に所属しています。 YouTubeで視聴する; Apple PodcastsまたはSpotifyで聴く。 スポンサー Antithesisは、あなたのコードを信頼するのに役立ちます。エージェントがソフトウェアをますます生成するにつれて、ボトルネックはエンジニアが実際にコードを書くことから、それを検証することへとシフトします。Antithesisは、そのテストをあなたのために行います。Jane Streetの技術グループを共同で率いるRon Minskyは、Antithesisが彼のチームがすでに重いレビューを受けていたソフトウェアのバグを洗い出すのに役立ったと語りました。開発プロセスにどのように適合するかを確認したい場合は、antithesis.com/dwarkeshにアクセスしてください。 Grok Botはタスクの引き継ぎに役立ちました。私のチームはそれをプロデューサーとして使用しています。エディターがインタビューのラフカットをSlackに投稿すると、Grok Botは自動的にトランスクリプトを自分のコンピューターで開き、私のメモを正確な瞬間に一致させ、私の好みのファイルを使用して編集を提案します。その後、クリップ候補のトップを私に送信するので、携帯電話からすべてを確認できます。これにより、エディターは数時間の映像をソートする手間が省けます。x.ai/botでGrok Botを自分で試してみてください。 Jane Streetは、最も野心的なコンペティションを立ち上げました：プロトコルエミュレーターASICを設計することです。基本的に、チップをライブシステム外でテストしたい場合、それを設計に接続して現実的なトラフィックをシミュレートできるようにする必要があります。Jane Streetは、複数のプロトコルで機能し、新しいプロトコルが登場しても有用であり続ける汎用的な再プログラム可能な設計を求めています。最も革新的な応募作品は実際にテープアウトされ、受賞者には物理的なコピーが贈られます！コンペティションは2027年1月18日まで開催されており、チームでの参加を奨励しています。始めるには、janestreet.com/dwarkeshからテンプレートコードをダウンロードしてください。 タイムスタンプ (00:00:00) – RSIに反対する議論の構築 (00:18:39) – 中国の研究室の進歩を推進しているものは何か (00:28:06) – 自動AI研究者はどのように訓練されるか (00:33:51) – 長期ホライズンRLはAGIを引き起こすか？ (00:45:24) – シム・トゥ・リアルギャップ (01:00:33) – データによって説明される進歩はどれくらいか？ (01:18:03) – RLがこれほどうまく機能する理由 (01:24:54) – Move 37とエントロピー崩壊 (01:28:32) – ラピッドファイアタイムライン トランスクリプト 00:00:00 – RSIに反対する議論の構築 Dwarkesh Patel 今日、私はAI研究者の友人3人と話しています。彼らから話すたびに多くのことを学びます。彼らはまた、ある程度オープンなラボや企業に所属しているので、皆さんは記録に残ることを話すことができます。ZyphraのCTOであるBeren Millidgeが参加しています。Zyphraはオープンソースモデルを開発しています。John SchulmanはThinking Machinesのチーフサイエンティストで、以前はOpenAIの共同創設者であり、ChatGPTにつながったRLHF作業を主導しました。そしてCharlie O’NeillはBasetenのモデルトレーニング責任者です。 私が最初に持っている質問はこうです：もし私たちが2036年にいて、世界を根本的に変えた何十億ものクレイジーな超知能が周回していない場合、そうならない最も可能性の高い理由は何でしょうか？（外因性の政治的ショック、戦争、AIの禁止などを除く）。2036年がクレイジーなエイリアン超知能の世界にならない最も可能性の高い技術的な理由は何でしょうか？ Beren Millidge 古典的なものがあります。モラベックのパラドックスのようなもので、私たちはAIを「これができれば、それは素晴らしいだろう」と考えます。もしそれがこれらの難しい数学の問題を解決できれば、チェスで勝てれば、などなど… それからそれがこれらの問題を解決しても、それほど影響力はありません。明らかに、ある程度影響力はありますが、すべてではありません。 もしそれが続くと、そして汎化の真の火花が決して起こらないとすれば、AIはベンチマークや環境に人々が入力したすべてのものに対して非常に優れているだけで終わるかもしれません。しかし、それでもなお、すべてをブロックしている、あるしぶといシム・トゥ・リアルギャップが存在します。これは起こりにくいと思います。私たちは実際に、RLからでも、実践においてこの種の汎化を目にしています。しかし、もしそれがメタ学習の一般化が信じられないほど難しいだけで、継続学習を解決できず、それが非常に難しく不可能であるならば… その場合、これが私のデフォルトシナリオです。 John Schulman それに同意します。人間は現在、モデルよりも多くの利点を持っています。新しいモデルが出るたびに、それらの分野のいくつかを追いつきます。しかし、モデルが弱い場所、判断が悪い場所、またはモデルが自分自身を十分にチェックできない場所でボトルネックになります。 新しいモデルが出てきて人々が驚き、「これだ。これがAGIだ」と言うサイクルが繰り返されています。しかし、それを使うと、1ヶ月ほどすると賢くないと感じ始めます。そのサイクルは繰り返され続けるかもしれません。それが何回繰り返されるかを予測するのは難しいです。 現在、能力の爆発的な成長は得られません。なぜなら、研究やエンジニアリングを行おうとすると、まだ十分にボトルネックになるからです。モデルが人間よりもはるかに多くのコードを書くことができたとしても、生産性が100倍になるわけではありません。したがって、おそらく私たちが予想するよりも多くのサイクルがあるでしょう。 Charlie O’Neill 私にとって、それは「チップ上に置くことができる学習者」のグローバルオプティマムが、トランスフォーマー＋RL、つまり現在のレシピからどれだけ離れているかという問題です。人々は、AI研究においてすべての人間よりも優れたエージェントを手に入れたら、たとえそれがすべての人間よりも0.1%優れているだけであっても、何十万、いや何百万ものこれらのエージェントを並列実行できるという事実、そしてチップが高速化するにつれてそれらをはるかに高速に実行できるという事実が、他のすべてのボトルネックを上回るだろうと想像しています。最終的には自己改善に関して非常に速いテイクオフに到達するでしょう。 現在のパラダイム、つまり自己アテンション、RL、RL環境のスケーリングアップという軌道に沿って進み続ける場合、そのようなことが起こる可能性があると想像できます…ムーアの法則に何が起こったかを考えてみてください。私たちは非常にきれ​​いな直線を持っており、それは非常に長い間続きました。しかし、そのスケーリング法則を維持するために起こらなければならなかった非常に多くの離散的な不連続性とイノベーションがありました。LLMでも同じことが起こりました。私たちは事前トレーニングのスケーリング法則を持っていましたが、それは収穫逓減に達していました。それからRLを思いつき、それを解決し、そして新しい収穫逓減曲線に達して、それが上昇し続ける直線のように見えるようにしました。 したがって、それを解決するためにそのような不連続性がさらに必要だとすると、現在のRL環境（RSIターゲットのRL環境でさえ）を使用したLLMのトレーニング方法が、その不連続性を発見できるかどうかはわかりません。もしそうでなければ、おそらくこの漸近曲線に達するでしょう。 Dwarkesh Patel しかし、その不連続性は2012年以降のどんなものよりも難しいと思いますか？ Charlie O’Neill もしその答えがあれば、それを実装する能力があるでしょう。しかし、おそらく、現在のパラダイムに追加される不連続性、つまり累積的なものと区別すべきでしょう。RLのさらに先に発見しなければならないものがあり、彼らはその直線で点を結びつけることができるのかもしれません。あるいは、再び、グローバルオプティマムからどれだけ離れているのでしょうか？勾配降下法とニューラルネット全般を捨てなければならないのでしょうか？現在のパラダイム、つまりLLMをスケールアップし続けたとしても、いくつのLLMを実行しても、それが遠すぎる場合、それを発見できるとは限りません。 Dwarkesh Patel 唯一の希望は、ディープラーニングが少なくとも人間の研究と人間の開発、人間の新しいアイデアを生み出す能力を支配できるAIに私たちを連れて行けない場合だけです。