AI研究者は再帰的自己改善にどれだけ近いかについて議論する
AI researchers debate how close we are to recursive self-improvement (dwarkesh.com)
要約
AI研究者たちは、AIが自己改善を繰り返し、人間を超える知能（AGI）に到達する可能性について議論しています。現在のモデルの限界、汎化能力の難しさ、そして継続的な学習の課題が、急速な進歩を妨げる要因として挙げられています。一方で、スケールアップと新しいパラダイムの発見が、将来のブレークスルーの鍵となるとの見解も示されています。
全文翻訳
AI研究者は再帰的自己改善（RSI）の実現可能性について議論する
John Schulman氏、Beren Millidge氏、Charlie O’Neill氏との新エピソード。
最先端で実際に何が起こっているのか、そして次に何が来るのかを知りたかったので、オープンな企業に所属する最も洞察力のあるAI研究者たちと集まりました。
YouTubeで視聴する。Apple PodcastsまたはSpotifyで聴く。
スポンサー
-
Antithesis はコードの信頼性を高めます。エージェントがソフトウェアを生成するにつれて、ボトルネックはエンジニアが実際にコードを書くことから、それを検証することへと移行します。Antithesisは、そのテストをあなたのために行います。Jane Streetの技術グループ共同リーダーであるRon Minsky氏は、Antithesisが彼のチームの重いレビューを経たソフトウェアのバグを特定するのに役立ったと語っています。開発プロセスにどのように適合するかを確認するには、antithesis.com/dwarkeshをご覧ください。
-
Grok Bot はタスクの引き継ぎに役立ちます。私のチームではプロデューサーとして使用しています。エディターがインタビューのラフカットをSlackに投稿すると、Grok Botは自分のコンピューターでトランスクリプトを開き、メモが参照している正確な瞬間を照合し、私の好みのファイルを使用して編集を提案します。その後、トップクリップ候補を送信してくれるので、携帯電話からすべてを確認でき、エディターは何時間もの映像をソートする手間が省けます。grokbot.ai/bot でGrok Botを試してみてください。
-
Jane Street は、これまでで最も野心的なコンペティションを開始しました。プロトコルエミュレーターASICの設計です。基本的に、チップをテストしたいがライブシステム外ではできない場合、設計に接続して現実的なトラフィックをシミュレートできるはずです。Jane Streetは、複数のプロトコルで機能し、新しいプロトコルが登場しても有用であり続ける汎用的な再プログラム可能な設計を求めています。最も斬新な提出物は実際にテープアウトされ、勝者には物理的なコピーが贈られます！コンペティションは2027年1月18日まで開催され、チームでの参加も歓迎されます。開始するには、janestreet.com/dwarkeshでテンプレートコードをダウンロードしてください。
タイムスタンプ
(00:00:00) – RSIに反対する論点の構築
(00:18:39) – 中国の研究室の進歩を牽引しているものは何か
(00:28:06) – 自動化されたAI研究者はどのようにトレーニングされるか
(00:33:51) – 長期強化学習はAGIを引き起こすか？
(00:45:24) – シム・トゥ・リアル（Sim-to-real）のギャップ
(01:00:33) – 進歩のどれくらいがデータによって説明されるか？
(01:18:03) – なぜRLはうまくいっているのか？
(01:24:54) – Move 37とエントロピー崩壊
(01:28:32) – ラピッドファイア・タイムライン
トランスクリプト
00:00:00 – RSIに反対する論点の構築
Dwarkesh Patel
今日は、私がいつも多くのことを学ぶ3人のAI研究者の友人たちとチャットします。彼らは比較的オープンな研究所や企業に所属しているので、公の場で発言できます。ZyphraのCTOでオープンソースモデルを開発しているBeren Millidge氏、Thinking Machinesのチーフサイエンティストで、元OpenAIの共同創設者であり、ChatGPTにつながったRLHF作業を主導したJohn Schulman氏、そしてBasetenでモデルトレーニングの責任者を務めるCharlie O’Neill氏が参加しています。
最初の質問です。もし2036年になっても、世界を劇的に変えた何十億ものクレイジーな超知能が存在せず、暴走していないとしたら、その最も可能性の高い理由はなぜでしょうか？政治的な外部ショックや、戦争があったり、AIが禁止されたりする以外で、2036年がクレイジーなエイリアン超知能の世界にならない最も可能性の高い技術的な理由はなぜでしょうか？
Beren Millidge
まるでモラベックのパラドックスのような古典的なものがあります。AIを「これができれば、素晴らしいだろう」と考えます。もしそれが難しい数学の問題を解けたり、チェスで勝てたりしたら、 blah, blah, blah… そしてそれが解決されると、それほど大きな影響はありません。もちろん、ある程度のインパクトはありますが、すべてではありません。
もしそれが何らかの形で続き、汎化の真の火花が決して起こらないとすれば、AIはベンチマークや環境に投入されたものに対して極めて優れているだけになるかもしれません。しかし、依然としてシム・トゥ・リアルのギャップがすべてをブロックしている可能性があります。これは可能性が低いと思います。私たちはすでに実践において、RLからこのような汎化を見かけています。しかし、メタ学習の汎化が信じられないほど難しく、継続学習を解決できず、それが非常に難しく不可能である場合… その場合の私のデフォルトシナリオはこれです。
John Schulman
私もそれに同意します。人間は現在、モデルに対して多くの利点を持っています。新しいモデルが登場するたびに、これらの分野の一部で追いつくでしょう。しかし、モデルが弱い場所、判断が劣る場所、あるいはモデルが自身を十分にチェックできない場所でボトルネックになります。
新しいモデルが登場し、人々が驚嘆し、「これこそAGIだ」と言うサイクルが繰り返されています。しかし、しばらく使用すると、1ヶ月ほどで賢くないと感じ始めます。そのサイクルは続くかもしれません。それが何回繰り返されるかを予測するのは難しいです。
現在、研究やエンジニアリングを行おうとすると、まだ十分にボトルネックになるため、能力の爆発的な成長は得られません。モデルが人間よりもはるかに多くのコードを書けたとしても、生産性が100倍になるわけではありません。したがって、予想よりも多くのサイクルが繰り返されるのかもしれません。
Charlie O’Neill
私にとっては、「チップ上の学習者」のグローバル最適値が、Transformer + RL、つまり現在のレシピからどれだけ離れているかの問題です。人々は、AI研究においてすべての人間よりも優れたエージェントを手に入れたら、たとえそれが人間より0.1%優れているだけであっても、何十万、何百万ものこれらのエージェントを並列実行できるという事実、そしてチップの速度が上がるにつれてそれらをはるかに速く実行できるという事実は、他のすべてのボトルネックを上回るだろうと想像しています。最終的には高速テイクオフに到達し、再帰的自己改善につながるでしょう。
現在のパラダイム、つまり自己注意、RL、RL環境のスケールアップという軌道に沿って進み続けると想像できます。まるでムーアの法則がどうなったか考えてみてください。非常にきれいな直線があり、それが非常に長い間続きました。しかし、そのスケーリング法則を維持するためには、多くの離散的な不連続性とイノベーションが必要でした。LLMでも同じことが起こりました。事前学習のスケーリング法則があり、その後、収穫逓減に達しました。次にRLが登場してそれを解決し、再び収穫逓減曲線に達して、上昇し続ける直線のように見えるようになりました。
したがって、それを解決するためにそのような不連続性がもう一つ必要だとすると、現在のLLMをこれらのRL環境でトレーニングする現在の方法、たとえRSIをターゲットにしたRL環境であっても、その不連続性を発見できるかどうかはわかりません。もしそうでなければ、おそらく漸近曲線に達するでしょう。
Dwarkesh Patel
しかし、2012年以降で最も困難な不連続性になると思いますか？
Charlie O’Neill
もしその答えがあれば、それを実装する能力があるでしょう。しかし、おそらく、現在のパラダイムに追加される不連続性と、累積的なものとを区別すべきです。RLよりも発見すべき何かがあり、それらは直線的な線で結びつけることができるかもしれません。あるいは、再び、グローバル最適値からどれだけ離れているのでしょうか？勾配降下法とニューラルネットを一般的に捨てなければならないのでしょうか？現在のパラダイムをスケールアップし続ける場合、いくらLLMを実行しても、それが遠すぎる場合、それを発見できるとは限りません。
Dwarkesh Patel
唯一の希望は、ディープラーニングが、少なくとも人間の研究と開発、そして新しいパラダイムを生み出す人間の能力を支配できるAIに到達できない場合だけです。あるいは、人間もまた、次の学習アーキテクチャを発見できなかったのかもしれません。しかし、人間が最終的にそれを発見できた程度まで… しかし、それは単に… 2012年から現在までの進歩を見ると、それをそのまま続けると – 巨大なコンピューティングスケールによって推進されていることはわかっています – それが人間の研究開発を支配できるレベルに達しないのは奇妙でしょう、特に今後数年間で。
最近ポッドキャストに出演したRyan Greenblatt氏は、あなたの意見を聞きたいと思った点があります。AIがますます有能になるにつれて、AI研究だけでなく、一般的に科学を改善することを奨励するシミュレーションを進歩させる能力を持つと想像できます。これは、すべてのラボや多くのスタートアップがターゲットにしていることです。
別の直感的なポンプは、チェスボットのEloスコアを80年代から見ることです。Eloは時間とともに非常に直線的に増加しています。しかし、AIが人間の範囲を超えると、AIとAIの間で大きな不連続性があります。AIが人間の専門家を常に打ち負かすことから、人間の専門家がAIに決して勝てなくなるまでです。このEloの線形増加とともに。
AIの能力が世界の最終的な経済的影響という点ではそれほど大きな問題ではなかったというあなたの意見に同意します。しかし、それは人間に対してゆっくりとEloが上昇しているためです。
Beren Millidge
非常に驚くべきことだと思います。これが起こらない唯一の方法は、あなたが言ったように、それが何らかの形でその直前に漸近することです。なぜなら、私の意見では、私たちはすでに人間のEloスコアを上回り始めるレベルにかなり近いからです。したがって、それより前に漸近する必要があります。このシナリオで、2035年に私たちがここにいて、すべてが正常である場合、これが起こる唯一の方法はそれだと考えます。唯一の他の方法は、AIに対する劇的な規制があることです。これが、技術的なことではなく、このシナリオが起こる最も可能性の高い方法だと私は見ています。
Charlie O’Neill
研究にはさまざまな種類があると思います。autoresearchスタイルで、目的がすでに非常に明確に指定されており、その目的を最適化している研究です。誰もが、事前学習損失を減らし、環境の報酬を増やすという道をたどれば、改善につながると考えています。
しかし、おそらくRyanが話しているのは、目的を指定できない、AIももちろん指定できない、パラダイムシフトに必要な、はるかにオープンエンドな科学です。これらのいずれかの目的を指定する方法については、非常に注意する必要があります。
Dwarkesh Patel
おそらくあなたの言いたいことは、2012年以降に起こったブレークスルーの性質は、私たちが発見したということです… 2012年には、人々は言っていませんでした… 私は、あなたたちはそこにいたと仮定します。あるいは少なくともJohn、あなたはそこにいました。しかし、私はそうではありませんでした。
Charlie O’Neill
私は小学校にいました。
Dwarkesh Patel
実際、John、私はあなたの長年の知恵、あるいは昔の戦場の経験の知恵に興味があります。おそらく、次のトークン予測が… 2014年にnanoGPTのスピードランが最適化すべきものだとは思わなかったでしょう。しかし、今やこの新しいパラダイムがあるので、スピードランを考えてそれを最適化し、AIにそれを非常にうまくやらせるでしょう。
しかし、AIが予期しない次の内部ループを最適化する必要があるのかもしれません。収入という外部ループがあり、最終的には強力であるべきですが、非常に遅い外部ループです。
John Schulman
実際、OpenAIの初期の頃、対数損失の最小化だけでは知能に到達できないという直感を持っていました。なぜなら、重要なビットは損失のごく一部しか占めていないため、ノイズに圧倒されるからです。したがって、言語モデルを次のトークン予測でトレーニングするだけでは、学習させたい興味深いことは学習できませんでした。より重要なことに焦点を当てる、より良い目的関数を設計する必要がありました。
これについてはさまざまな議論ができます。「ああ、人間はおそらく私たちの環境のすべてをモデル化する方法を学ばない。ほとんどの人は、見たシーンの写実的な再現を作成できない。だから、より良い目的関数が必要に違いない。」しかし、結局うまくいったのです。
Dwarkesh Patel
あなたが指摘したように、現在のAI研究における内部ループ、つまりポストトレーニングベンチマークなども、必ずしもユーザーが好むものに翻訳されるわけではありません。
John Schulman
ああ、はい。フィールド全体が汎化に大きく依存しており、いつ汎化が得られるか、あるいは分布外汎化が得られるかを予測するのは非常に困難です。関心のあるタスクでトレーニングすれば、より良くなることはわかっています。しかし、最も重要な進歩は、期待する権利のない種類の汎化であることがよくあります。
例えば、この非常にナイーブな次のトークン予測目的での事前学習から、入力の深い理解を必要とするさまざまなタスク、または事前学習から学習する非常にまれで十分に表現されていないスキルまで。また、検証可能なタスクから検証可能性の低いタスクへの汎化も、原理的には期待する理由のない種類の汎化です。
Dwarkesh Patel
これは興味深い質問です。なぜなら、AIの進歩への入力がAI労働力だけではない場合、なぜある種のシンギュラリティが急速に起こるのかについての直感的なポンプの1つは、実行するすべての7桁の実験の前に、同等の量のコンピューティングをAI労働力に費やすことです。つまり、あなたたちのような自動化されたバージョンが、実行すべき最適な実験について考え、小規模なアブレーションを行い、文字通り深層学習以前の理論を1世紀分開発しているということです。
どの実験を実行するかを決定する前に、実験のセットアップを非常に最適に行っています。その後、実験が終わった後に1世紀分の思考を行い、何が起こったのか、次に実行すべき実験は何なのかを分析します。
John Schulman
十分に考えれば、おそらく事前にこれらのことのいくつかを期待できたでしょう。理論を構築して大規模な実験に汎化できるような、小規模な実験を行うための非常に巧妙な方法があるはずです。したがって、研究の能力の天井にはまだほど遠いと予想します。
AIが多くの分析と理論構築を行い、実験自体に費やすコンピューティング量と同等のコンピューティングを費やし、これまでに見たことに関するさまざまな分析を行い、理論を構築する未来を想像します。
Charlie O’Neill
目的が明確に指定されている場合、具体的な例がいくつかあると思います。思考ができることは、事後確率を、事前確率を形成して以来得られたビットに基づいて更新することだけです。思考だけでは新しいビットを得ることはできません。しかし、目的が明確に指定されており、このデータが存在する場合、現在のパラダイムでの大きなスピードアップが想像できます。
良い例は、Kaplanのスケーリング法則についてAIに考えさせた場合です。この時点でAIは、「ああ、中間チェックポイントをそのまま使用し、アニーリングを考慮しなかったため、これは間違っている」と気づいたでしょう。その観察から、数年間の進歩がカットされたでしょう。再び、目的が明確に指定されている場合、つまり事前学習損失の低下などです。より多く考えていれば、実行したことの多くを大幅に削減できたはずです。したがって、muPや、学習率がモデルサイズとどのようにスケーリングするか、そしてモデルの幅も重要であることに気づいたことなどです。これらの多くをバックアウトし、多くの低空飛行の果実をカットオフできると感じています。現在の目標が「目標を最大化する」だけなら、10倍のスピードアップが想像できます。
しかし、それが最初の適切な目標を設定することにどのように汎化するかはわかりません。単に考えているだけでは、必ずしも最初の適切な目標を得られるわけではありません。
Beren Millidge
これは、現在のAIからの急速なRSIにとって、本当に重要な質問だと思います。AIが自身の目標を学習することにどれだけ汎化できるか。自己推進型の自動ループを持つためには、AIが目標を提案し、それを最適化し、それを理解し、新しい目標を提案し、それが長い間暴走しない必要があります。
モラベックのパラドックスに戻ると、この種の自律性と自己カプセル化（自分で何をすべきかを考え、それを行い、このループを持つことができる）が非常に簡単であるというパラドックスのケースがあるかもしれません。なぜなら、私たちは常にそれを行っているからです。明らかに、進化は長期間自立して生き残れる生物を作成する必要があります。そして、これは何らかの理由でAIにとって非常に難しいことかもしれません。運動能力が非常に難しいのと同じように、数学は私たちにとって非常に難しいにもかかわらず非常に簡単です。
Dwarkesh Patel
しかし、時間軸の増加はそれを…
Beren Millidge
はい、その通りです。これは別の可能性ですが、同意します。これに対する明白な証拠はありません。実際、私たちのエージェントが非常に粘り強く、これを行うことが比較的簡単であるという事実は、むしろこれに反する証拠です。しかし、これは潜在的に、この即時のテイクオフが得られない理由の1つになるでしょう。もしこれが難しいのであれば。
Dwarkesh Patel
2012年から現在まで、あるいはあなたが研究を始めた時から現在までを振り返ると、純粋に工学的なもの、純粋に概念的なものを含む、その間に起こったすべてのイノベーションの中で、AIがAIの研究開発を完全に自動化する前に人間が最後に行う必要があるもののように思える部分はどれですか？
Beren Millidge
おそらく、適切な質問を繰り返し尋ねることでしょう。AIにどんな実験でも実行させることができるとしても、どの実験を実行するかを決定する必要があります。現在、AIはコーディングよりもこの点ではあまり得意ではないと思います。研究について話すとき、彼らは多くの雑多なことを提案しますが、それは非常に、非常に小さなステップです。
Charlie O’Neill
あるいは、DeepMindのアプローチ、「ゲームを人間レベル以上でプレイすることを学ぶことで知能を解決する」から、Radfordのようなランダムな研究者が、「広範囲のデータの次のトークンを予測しよう」と言うことまで… Radfordがそれを見つけた後でも、人々がそれをスケールアップすることを決定するまでには時間がかかりました。なぜなら、スケーリング法則のアイデアと、これらのことを非常に確実に予測できるという事実を思いつく必要があったからです。
John Schulman
人間の最後の仕事、あるいは最も長く続く人間の役割は、目的を定義し、実際に何を望むかを決定することだと言えます。その点で、AIアシスタントがどのように振る舞うべきか、または役立つとはどういうことか、または人間からのフィードバックによるRLを行っているときの目的は何であるかを決定することなどが挙げられます。その後、憲法やモデル仕様を定義することがさらにあります。AIがすべての技術的な作業を行えたとしても、私たちはまだその多くを行い、実際に何を望むかを決定する必要があります。
Dwarkesh Patel
アライメントが最後の仕事です。
John Schulman
アライメントは一種の答えです。しかし、アライメント自体は、目的の仕様、または正しい目的を特定すること、そして定義した目的を実際に達成または最適化することに分解できます。最初の部分はすぐに消えることはないと思います。
ポストトレーニングチームについて考えると、なぜ多くの人がチームに必要とされるのかというと、モデルがどのように振る舞うべきかを理解する必要がある多くの異なる領域があるからです。誰かがこの分野でモデルがどのように振る舞うべきかを考える必要があるため、すべてを自動化するのは非常に困難でしょう。
00:18:39 – 中国の研究室の進歩を牽引しているものは何か
Dwarkesh Patel
モデルプロバイダーにおける大規模な統合がないのはなぜかという話です。中央集権化を示唆する要素が非常に多くあります。数年を振り返ると、それを防ぐ何かがありますか？
John Schulman
蒸留が中央集権化の力に対抗する主な要因だと思います。基本的に、RLを通じて学習できるものはすべて非常に簡単に蒸留できます。なぜなら、それは少数のビットだからです。少量のデータから学習できるものです。モデルから行動を示す軌跡を取得できれば、それを簡単に蒸留できます。蒸留は中央集権化に対抗するものの1つだと思います。
企業固有のモデルが登場する可能性もあります。展開から学習し、企業が自身のモデルを継続的に改善できる可能性があります。そのようなシステムは、現在のモデルプロバイダーの寡占または他の比較的小さな企業によって提供される可能性があります。しかし、それはゲームを少し変えるでしょう。
Beren Millidge
継続学習も蒸留を止めないという点も指摘しておきたいです。モデルが毎日改善されていても、人々は毎日それを蒸留できます。ループは同じペースで動作する可能性があります。
Dwarkesh Patel
なるほど。モデルの行動をコピーすること… 関連するモデルの行動を得るために、正しいプロンプト分布を知る必要があるということでしょうか？
John Schulman
ああ、はい。教師あり学習による蒸留だけでは、プロンプト分布が非常に重要です。モデルに完全にアクセスでき、思考連鎖などがあっても、モデルを蒸留するのは非常に困難です。すべての有用な機能をすべて蒸留するのは簡単ではありません。なぜなら、モデルに何かを入力する必要があるからです。現実的なプロンプトでモデルに入力する必要があります。現実的なプロンプトの非常に広い分布が必要です。
最近出てきていることの1つは、一部の中国企業が、中国ではブロックされている米国の最先端モデルを使用できるように設計されたルーターサービスを使用している可能性が高いということです。これらのモデルを使用できるルーターまたはプロキシサービスが多数あり、主にコーディングに使用されています。これらのルーターサービスは、一部のデータを収集して販売しています。これは蒸留に非常に役立つデータセットです。なぜなら、完璧なプロンプト分布が得られるからです。
Beren Millidge
これはAIが大きく役立つことの1つだと思います。最先端のパイプラインや、中国のモデルが論文に掲載しているものを見ると、シードプロンプトをどこかから取得しています。それは人間とこの種のデータの組み合わせです。次に、既存のモデルや他の最先端モデルを使用して、それらのシードプロンプトから広範なカバレッジを合成します。プロンプト分布の収集や環境作成の多くを自動化できます。モデルが改善されるにつれて、人間が必要とするビットはますます少なくなります。
Dwarkesh Patel
しかし、ユーザーが通過するサービスを持っていることにボトルネックがあるように思えます。
Beren Millidge
必ずしもそうではありません。それは明らかに非常に役立ちますが、理論的には、ユーザーが何を望むかを考えるだけで済みます。
Dwarkesh Patel
しかし、ポイントは、ユーザーが「このようなアプリケーションを作って」と言い、それがうまくいかず、「実際にはこの新しい機能が欲しい」と言うことです。しかし、実際には立ち止まって別のことをする。その全体のトレースをキャプチャすることです。あるいは、それができた範囲では、それは単にRSIです。
Beren Millidge
最終的に、この完全に自動化されたループがあれば、それは基本的にRSIです。AIはデータを決定し、トレーニングを決定します。それがループです。しかし、どれだけの人間情報が必要かによります。ある時点で、単に「このような軌跡が欲しい」と言うだけなら、モデルにそれをプロンプトします。モデルはかなり良い近似を思いつくことができるでしょう。
Dwarkesh Patel
しかし、「本当に良い政治家を作って」と言いたい場合はどうでしょうか？そして、それは上院の廊下での議論がどのように進むかを事前に予測しなければならないのでしょうか？私は、多くのことが…
Beren Millidge
皮肉なことに、これは実際にはディスティラーにとって、最先端ラボよりも簡単です。ディスティラーは単に「良い政治家が欲しい」と言います。彼らは最先端モデルに行きます。最先端モデルはすでに良い政治家になる方法を知っているので、それらの軌跡を生成するだけです。一方、実際に最初のモデルを構築したい場合は、実際に政治家が毎日何をするかについてのデータを取得し、それを構築する必要があります。実際に、これのようなものを作成するよりも、「これのようなものが欲しい」と言って、AIに数十億のバリエーションを生成させる方がはるかに簡単です。
Charlie O’Neill
この観察に基づいて、非常に具体的な予測を立てることができると思います。中国のラボがルーターデータを持っているということです。もともとこれを始めたのは、「Sonnet 5とOpus 5が、GLM-5.3とKimi K3ほど客観的に悪いモデルであるのは奇妙ではないか？」ということでした。それらは、蒸留だけでなく、Mythosからのlogit蒸留にもアクセスできたにもかかわらずです。反論は、プロンプト分布が非常に、非常に重要であるということでした。これらの振る舞いを蒸留するために、ユーザーが何をしているかを見る必要があります。
この予測は、最先端ラボが現在、RL環境において必ずしも大きな利点を持っていないということです。はい、一般的な振る舞いなどにはユーザー分布が重要ですが、能力の最良の測定値は、最先端で作成された非常に、非常に困難なRL環境です。もしあなたがAnthropicとしてそれらのRL環境にアクセスでき、logit蒸留にアクセスでき、それでもより悪いモデルを作成したなら、おそらく—
Dwarkesh Patel
それなら、実世界の展開は環境よりも重要だということですね。それは本当に興味深いです。
しかし、彼らはそもそもFableや最先端モデルでそれらの能力を奨励しなければなりませんでした。だから、より小さなモデルでもそれを奨励できないのは奇妙です。
Charlie O’Neill
おそらく、私たちはこの奇妙な不気味の谷にいるだけで、最先端モデルをコピーしようとすると、学生と教師のギャップ、それが何であれ、大きすぎるのです。人々はOpusについてこの点を指摘しました。Opus 4.6とOpus 5の違いは、Opus 5はAIがすべての可能なことをチェックするジャッジを持っているように感じられることです。だから、多くのトークンを使用するのです。それは多くのことを考えようとしますが、ビッグモデルの匂いであるFableのように、いつそれを止めるべきか、またはどのパスを下るべきかを知っているわけではありません。
Dwarkesh Patel
手が届かない。
John Schulman
私は少し異なる仮説を提案します。環境を作成できる軸はいくつかあると思います。1つは難易度、もう1つは現実性です。
より複雑なタスクを実行したり、より多くの機知を必要とするものを含め、多くの困難な環境を作成することは比較的容易です。これはbenchmaxxing分布と言えるかもしれません。なぜなら、最も著名なベンチマークの多くは、検証が容易な非常に難しいパズルライクなタスクを含んでいるからです。次に現実性の軸があり、モデルが現実的なコーディングエージェント設定でうまく機能することを望みます。そこでは、人間との複数のやり取りがあり、複数の目標があります。
モデルの振る舞いを初めて作成するラボは、両方の方向にプッシュする必要があります。良好なモデルの振る舞いを得るには、現実性の軸を強くプッシュし、報酬関数を通知するルーブリックまたは何らかの人間フィードバックが必要です。しかし、単純に蒸留しようとすると、benchmaxxing分布で教師に合わせるだけになります。これらのトリッキーな現実的な設定で能力を実際に鍛える環境が十分にない場合、それらを生徒モデルに組み込むことはできません。
おそらく起こっていることの1つは、大きなモデルがトリッキーな狭いタスクからこれらのより現実的なタスクにうまく汎化することです。蒸留のための非常に良い現実的なプロンプト分布があれば、大きなモデルに非常によく合わせることができます。しかし、検証が容易なタスクの分布しかない場合、すべてのベンチマークで大きなモデルに合わせることができますが、このより広い分布ではパフォーマンスが低下します。
これは、Sonnet 5のようなより小さなAnthropicモデルについても説明するかもしれませんが、それらのモデルのポストトレーニングで何をしているかを正確に予測するのは困難です。また、ポストトレーニングスタックを常に変更しており、これらのモデルのいくつかでいくつかの間違いを犯しただけかもしれません。わかりません… 何かを高すぎたため、人々が本当に嫌う奇妙な癖を作り出してしまったのかもしれません。ベンチマークに現れない方法でポストトレーニングを台無しにするのは非常に簡単です。
Beren Millidge
もう1つ非常に基本的な点として、最先端のAIラボはすべてのデータを大手データ企業から購入しています。中国も同じデータ企業から同じデータを購入できます。
Dwarkesh Patel
そして、彼らはそうしていますよね？
Beren Millidge
はい、その通りです。実際、多くの人がこれに不満を持っていますが、もし彼らがまったく同じデータを持っていて、それを購入できるなら、彼らは蒸留することもできます。それは、本当に追いつくのが非常に簡単であることを意味します。
00:28:06 – 自動化されたAI研究者はどのようにトレーニングされるか
Dwarkesh Patel
もう1つの質問は、AIの研究開発を自動化できる最初のモデルが実際にどのようにトレーニングされるかということです。おもちゃのバージョンは、Ryanが話していたものです。GPT-8に、GPT-3サイズのモデルを構築させ、継続学習を必要とするビデオゲームを打ち負かす、または単にコンピューティング量を最小限に抑えて特定の損失に到達するなど、内部ループタイプの課題に非常に優れているようにします。
しかしJohn、あなたはそれが実際には起こらないかもしれないという興味深い点を指摘したと思います。それで、AIが実際にAIの研究開発を自動化できるようになった時点で、それらはどのようにトレーニングされる可能性が高いかについて興味があります。
John Schulman
おそらく、研究者の好みを吸収するために人間からのフィードバックから学習することと、多段階の研究プロジェクトを実行することを含む多くの練習環境を作成することの組み合わせを行うでしょう。実際には、これらの2つのことの組み合わせを行い、各イテレーションで、前のイテレーションで最も壊れているように見えるものを修正するでしょう。研究者はAIを頻繁に使用し、一貫した弱点があることに気づくでしょう。それらは人間からのフィードバックを収集するか、環境を作成することによって修正されるでしょう。
Charlie O’Neill
おそらく、これを考えるのに役立つ方法は、どの程度の系譜を巻き戻して、そこから自己プレイさせるかということです。極限では、GPUとニューラルネットなどを与えて、「さて、これらの特定のタスクを実行するモデルをトレーニングする方法を見つけてください」と言うことを想像しています。現在の仕組みは、系譜の最先端まで行き、「さて、Anthropicが過去数ヶ月でトレーニングスタックで見つけたバグはこれです。それらを環境に変えましょう」と言います。トレーニングして最先端で改善する必要があります。したがって、以前のすべての履歴をロックインすることは明らかです。
しかし、GRPOよりも前に巻き戻す世界を想像することもできます。そして、RLモデルの最適な形式を発見させようとする環境があり、その後、さらにさらに巻き戻すことができます… しかし、私たちはまだコンピューティングに非常にボトルネックになっているため、人々は最先端にとどまり、基本的に最後のモデルバージョン以降に見つかったバグや改善を差分化し、それらをトレーニング環境に変えるでしょう。
Dwarkesh Patel
これは、モデル世代間の非陳腐な新しいデータを取得するためにも非常に良いですね。これも基本的にAIラボ内の継続学習であり、過去3ヶ月のAI研究の進歩を環境やRLHFタイプのものを介してモデル自体に逆流させることです。
Charlie O’Neill
そして、それは確かに蒸留です。だからこそ、私たちの一部はそれが漸近的だと感じているのかもしれません。常に過去3ヶ月の進歩を得ようとしているだけです。もちろん、その進歩はAIによって貢献されていますが、人間もまだループに含まれています。人間研究者が発見し、できることに近づき続けているように感じます。
Beren Millidge
しかし、私が言いたいのは、軌跡で蒸留するだけなら、それ以上進むことはできないということです。しかし、環境は人間の能力をはるかに超えることができます。人間が解決できない環境を設計するのは非常に簡単ですが、AIはもちろんそれを解決しようとすることができます。それは、人間のAI研究を超えて進むための道でしょう。
Charlie O’Neill
RSIに関して、どのようなトレーニングセットの例がありますか？
Dwarkesh Patel
Nanochatのスピードランですが、人間よりも速く実行します。
Beren Millidge
特にAI研究では、目標を定義するのは非常に簡単だと感じます。損失が1.3になる必要があるなどと言うことができますが、それは人間には現在不可能ですが、測定可能で検証可能なタスクです。AIがそれを達成できれば、素晴らしいことです。
Dwarkesh Patel
あるいは、Minecraftを打ち負かす1億パラメータモデルを構築することです。それはおそらく簡単すぎますが、はるかに複雑なゲームを打ち負かすとか、そういうことです。
Charlie O’Neill
1億パラメータモデルがMinecraftを打ち負かしたのはクレイジーではありませんか？それを簡単すぎると呼んでいますか？5年前にそう言ったと想像してみてください。
John Schulman
多くの研究は、明確に定義された目標に対するヒルクライミングのようなものではありません。むしろ、「モデルが改善されるべき方法についての直感がある。この方向にある程度進むアルゴリズムのアイデアもある。だから、このアプローチの兆候を示すように設計されたタスクを考え出し、それらの兆候が得られるかどうかを確認しよう。もし得られれば、タスクのますます現実的なバージョンを作成できる。」
Dwarkesh Patel
それは直感に大きく導かれているということですね。内部ループは、テスト自体が洞察につながるのではなく、その直感をテストすることです。
John Schulman
はい。最終的な目標や実用的な生産目標を直接最適化しているわけではありません。目標を少し緩和しています。「現実性の軸を少し緩めて、実際に機能する方法を見つけ、方法が成熟したら現実性に戻ろう。」
また、説明や理論開発に向けられた研究もあります。機械学習では、予測可能な数学的理論はあまりありません。しかし、何が起こっているのかについての非公式な理論はたくさんあります。
Beren Millidge
おそらく、モデルはこれらのタスクの組み合わせでトレーニングされるでしょう。一部は非常に簡単に検証可能で、一部はLLM-as-a-judgeであるか、単に人間に「これは妥当に見えますか？」と尋ねるでしょう。これらすべてが、これらのより困難で、より曖昧で、あいまいな種類のタスクに汎化することを期待します。ある程度はそうなるでしょう。ループが完全に人間なしで自己完結型になるほど汎化するかどうかは不明です。
00:33:51 – 長期強化学習はAGIを引き起こすか？
Dwarkesh Patel
少し後退してみましょう。私には、今後のAI研究の計画は次のようになっているように思えます。それが機能するか、それともこの特徴付けに同意するか教えてください。賭けは、RLVRトレーニングを何百万もの多様な環境、数百種類のドメインにわたってスケールアップすることです。その結果として現れるのは、これらの基本的なスキル、あるいはそれ以下のスキルを学習したエージェントです。粘り強さ、情報のトリアージとコンテキストの処理能力、最終的には他のエージェントとの連携の終端最適化などです。
そのようなエージェントは、コンテキスト内で非常にサンプル効率が高くなります。あなたはコンテキスト内学習を任意に長くスケーリングする方法について研究しましたが、それを継続的にスケーリングアップします。そして、その結果として現れるのは、基本的に1週間または1か月の期間でドロップインリモートワーカーとして機能するものです。
まず、それがラボが行っている賭けであることに同意しますか？第二に、それは十分ですか？基本的に、データセンター内のこれらのシミュラクラで学習する方法を学習し、その後、実世界に展開されますが、実世界での展開から直接学習するのではなく… データセンターのシミュレーション環境からこれらのメタスキルのみを学習します。
Charlie O’Neill
現在、ラボの努力のどれだけが直接的なRSIに向けられているのか、それとも収益を収集して次の大規模トレーニングを実行するための資金を調達し続けることができる一般的にインテリジェントなモデルを作成することに向けられているのかを区別するのは難しいと思います。
後者については、はい、おそらくそれが彼らの賭けです。これらの環境が過去数年間でどこに向かっているかは非常に明確です。Anthropicの環境の系譜は非常に明確な例です。まず、コーディングに集中し、それを非常に非常にうまくやろうとします。次に、コーディングから得られたタスクのタイムライン（おそらくインターネット上で利用可能なデータから環境を作成する上で最も容易な果実であり、独自の内部のものも環境に変換できる）から、一般化します。
次に金融に進み、文字通りExcelデータとそのようなものがRLトレーニングに大量にあります。次にPowerPointです。これは労働経済のロングテールです。それは非常にうまく機能したようです。他の多くのラボ、オープンソースラボでさえ、それが正しい賭けであったことを認識しています。
Dwarkesh Patel
しかし、その意味合いは何でしょうか？Darioをポッドキャストに招いたとき、彼に尋ねたことは、もしモデルがオンザジョブで学習する人間のような能力を持つと本当に期待するなら、なぜPowerPointなどで作業するスキルをすべて組み込む必要があるのかということです。展開中にモデルがそれを拾うことができると期待するだけではないでしょうか？
これには複数の説明があります。1つは、モデルがすぐにそこまで到達すると期待しているが、まだそこまで到達していないため、これらのスキルをモデルトレーニングに償却するのはなぜかということです。もう1つは、広く展開されている仕事に非常に優れていることに集中していないということです。RSIに非常に優れているようにしたいだけです。これは、RSI開発に非常に優れたモデルに注ぎ込むための収益を得る方法にすぎません。そして、シンギュラリティが発生すると、結果として得られるものは、現在の世代のモデルのボトルネックのように見えるすべてのことに対して非常に優れているでしょう。
John、なぜタスク固有の知識がこれほど多くモデルに含まれているのか、その理由について何か考えはありますか？
John Schulman
モデルがコンテキスト内学習に非常に優れている場合、理論的には、金融についてトレーニングする必要はないでしょう。それらはすべてをオンザフライで読み取り、適切な管轄区域ですべてを実行する方法を理解できるでしょう。ドメイン固有のトレーニングを多く行う必要があるのは、それらをより効率的にするためだと主張できます。たとえそれらをオンザフライで理解するのに十分賢かったとしても、重みにすべての直感を焼き付けるために、多くのRLを実行したいと思うかもしれません。これにより、実行時にモデルはより効率的になります。
実際には、モデルプロバイダーはドメインごとに進み、最も価値の高いドメインでモデルを強化しようとしているようです。それがモデルがこれほど改善された理由の1つだと思います。モデルプロバイダーが価値の高いドメインと最も一般的なスキルの多くをカバーしただけです。
Beren Millidge
もう1つは、両方を同時に行うことがそれほど高価ではないということです。モデルは巨大です。それらは、パラメータの観点からすべてを学習するのに十分な余裕があります。おそらく何らかの転移があるでしょう。金融が特異的でなくても、その情報はRSIにとって重要です。重要なこと、好みを持つこと、長期的な作業を行うことのメタ学習の一般的な方法論は、潜在的に汎化可能です。
世界にはRSIデータもそれほど多くありません。生成が難しく、多くの労力が必要です。したがって、この他のデータを償却できるなら、そこからある程度の転移が得られます。すでに大量のコンピューティングと大量のパラメータ空間があるので、なぜそれも行わないのでしょうか？もちろん、モデルを販売するという直接的な商業的意図もあります。
John Schulman
シム・トゥ・リアルを行う現在のパラダイムが永遠に支配的であり続けるかどうかについては、疑問があります。実世界のタスクがどのようなものかを見てください。次に、データセンターでシミュレートできる多くの環境を作成し、それらでRLを実行しようとします。明らかに、これは非常に成功しています。しかし、特に多くの人間とのリアルタイムのやり取りを含む場合、多くのことをシミュレートするのが難しいという多くの弱点があります。したがって、シム・トゥ・リアルが永遠に支配的なフレームワークであり続けるかどうかについては、いくらか疑問があります。
Beren Millidge
サンプル効率が低い間は、シム・トゥ・リアルが支配的なフレームワークでなければならないと思います。なぜなら、現在、人間との数千、数千のやり取りが必要だからです。人間はRLトレーニングのループに座っているわけにはいきません。したがって、必要なサンプルを得るためには、現在シミュレートする必要があります。しかし、サンプル効率が大幅に向上すれば、展開からの学習がより大きな部分を占めるようになると予想されます。
John Schulman
ただし、他にもできることがあります。オフポリシーで学習することもできます。つまり、すべての軌跡を取得し、すべてを再シミュレートしなくても、それらから何かを学習できる可能性があります。
Dwarkesh Patel
これについてもっと聞きたいのですが、推論に費やされるコンピューティングの50%がモデルの改善に直接役立っていないのは奇妙です。デジタルマインドが最終的に持つであろう主な利点の1つは、人間が誕生から成人まで50年の実世界経験を持つことができるのとは異なり、モデルはすべてのインスタンスを通じて、経済的に関連性の高い仕事全体で何百万年もの展開を経験できるということです。現在、そのデータは意味のある意味でモデルの改善に役立っていません。
モデルがこのデータから学習できるようになるのは当然のことだと思われます。それが可能になれば、モデルがこれらの展開インスタンス全体で非常に多くの情報を吸収するため、広く展開された知能爆発のように感じられるものになるでしょう。この種の集合知、クレイジーなことがいつ始まると思いますか？
Beren Millidge
広範には、非常に基本的なレベルでは、これはすでに起こっています… 次世代モデルで。現在、展開データを取得して、将来のモデルの事前トレーニングまたは中間トレーニングに投入できることは明らかです。特に、フィルタリング、判断、注釈付け、または合成を行う場合。
Dwarkesh Patel
世代間の改善をどれだけ説明していると思いますか？
Beren Millidge
かなりの部分を説明していると思います。ラボがこれを行っているかどうかはわかりません。理論的には、人々のデータでトレーニングしないと主張していますが。しかし、中国は100％行っています。彼らは間違いなくこの利点を得ています。これは基本的に蒸留です。彼らはモデルを取得し、モデルにpingを送信して展開データの一定の割合を取得し、それを次の世代のモデルでトレーニングします。彼らは自分のモデルでも確実にそれを行うことができます。まったく理由がありません。
Charlie O’Neill
これに完全に同意します。ズームアウトすれば、これは間違いなく起こっています。私たち全員が想像している、継続学習の聖杯は、個々のモデルが経験を得てリアルタイムで更新し、そこから学習するという非常に有機的でライブなループです。この粒度レベルにズームインすると、多くのことが壊れます。しかし、大規模なラボはこれを行っています。クローズドモデルもこれを行っています。
オープンソースモデルを使用して、より速いペースでこれを行っている人々の初期の兆候もあります。良い例は、おそらくComposerでしょう。Harveyも法律エージェントで同じことを行っています。ある種のモデルがあり、特定のタスクのデータから非常に具体的な環境を取得し、ユーザーが不満に思っていること、そして展開から抽出できるすべてのフィードバックを取得します。これらの企業の多くは、このデータを非常にうまく使用できるという点で、大規模ラボよりも有利です。
そして、それらから環境を作成します。Kimi K3のポストトレーニングを行います。それを展開します。オンライン学習も行うかもしれません。Composerがオンラインで行ったように… 基本的に長期間REINFORCEです。
まだ人間がループに含まれています。まだ人間が「これらの信号が重要であり、それらのデータから環境をどのように作成するか」と言っています。それはあなたが考えているものよりもまだ長い期間ですが、それは本当に起こっています。最終的にそのループはますます速くなるでしょう。
Dwarkesh Patel
Composerの件は興味深いですね。なぜなら、Cursorでは、人々がTabを押すか、モデルが提案する次の補完でTabを押さないかです。それに基づいて、Composerは毎日、次の…
Charlie O’Neill
それは古いTabモデルでした。実際、Tabモデルだけでなく、実際の生成モデルでも同じことをしました。
Dwarkesh Patel
ああ、なるほど。興味深い。
Charlie O’Neill
オンライン強化学習を行うと、グループがありません。単一のユーザーが何かを言い、1つのロールアウトを取得するだけです。したがって、分散削減の問題が大きいです。Cursorのあいまいな答えは、「応答が平均よりもどれだけ良かったか、または平均よりもどれだけ悪かったかを推定できる非常に良いヒューリスティックがある」ということでした。そして、彼らはこの大規模なREINFORCEアップデートを実行します。それが悪化したかどうかに対する彼らの解決策は、CursorBenchで改善された場合、5時間ごとに新しいモデルを展開することでした。そうでなければ、そのバージョンは破棄されました。
John Schulman
あなたの最大の課題は、自然データに対する報酬関数が何であるべきかを知らないことだと思います。表層的な信号を使用する場合、たとえば編集を受け入れたかどうかなど、何らかの方法で報酬ハッキングされる可能性があります。
00:45:24 – シム・トゥ・リアル（Sim-to-real）のギャップ
Dwarkesh Patel
しかし、これはシム・トゥ・リアルにおけるより大きな問題ではありませんか？長期タスクが長くなるほど、データセンター内でシミュレートするのが難しくなります。コーディングでさえ、クライアントと話したり、会社とやり取りしたり、ユーザーとやり取りしたりする必要がある、1年間のコーディングタスクがないところまで来ているように思えます。
AIにできるようになってほしいことの範囲を考えると、最終的には超知能はビジネスを運営したり、新しいビジネスを立ち上げて収益を上げたり、市場で収益性の高いデイトレードをしたり、裁判に勝ったりできるようになるはずです。これらはすべて、データセンターでシミュレートするのが非常に難しいことです。そこでの学習の固有の部分は、現実世界との相互作用です。
おそらく、シム・トゥ・リアル間の転移からこれらのことをより良くする方法を学習するでしょう。しかし、代替案として、これらの相互作用からの重み更新が必要になるかもしれません。もしそうなら（転移が十分に強くなく、重み更新が必要な場合）、モデルのサンプル効率の欠如はより深刻な問題かもしれません。
私がこれに興味があるのは、デフォルトでは、今後10年以内に何らかのクレイジーな再帰的自己改善が得られない理由がわからないからです。しかし、それが起こらないかもしれない1つの理由は、重み更新のサンプル効率の点で、モデルは人間よりもはるかに遅れているように見えることです。人間が誕生から成人までに見るデータ量と、モデルがコールドスタートからトレーニング完了までに見るデータ量を比較すると、モデルは人間よりもおそらく100万倍遅れています。
これはすべて、まず、シミュレーションと、AIに現実世界で実行してほしい非常に長期的で非常に複雑な現実の物事との間に良い転移があるでしょうか？そして、もしそうでなければ、モデルのサンプル効率の欠如が私たちを悩ませることになるのでしょうか？
Charlie O’Neill
おそらく、モデルがうまくいくタスクと、モデルがまだ苦労し続けるタスクの2種類を区別する方法は、タスクが累積的であるかどうか、または非定常分布があり、常に学習し、多くのことを再審する必要があるかどうかです。
累積タスクの例としては、RSIが挙げられます。理論的には、100万トークン未満のPythonファイルで、ゼロから再帰的自己改善が可能なモデルをトレーニングできる可能性があります。あなたがするすべての発見は、あなたが保持する一線です。RSIには新しいアテンションバリアントなどを発見する必要がない場合、アテンションを発見し、混合エキスパートを発見し、GRPOを発見したら、それをトレーニングスタックに追加するだけで、そこにあることになります。これは累積タスクの例です。
良い例は、5.6 Solトレーニング、5.6テラ、あるいはOpenAIがトレーニングしたとされるものですが、アテンションを再発見する必要はありませんでした。基本的に、事前学習.shやポストトレーニング.shのようなスクリプトを呼び出して実行しただけでしょう。これは累積タスクの例です。
現実世界、そして人々が継続学習について多く考えている理由は、実際には累積タスクではありません。法律事務所で、エージェントが法律アシスタントとして機能すると想像してください。それは非常に非定常な分布です。その会社のすべての重要な人々とのすべての関係をコンテキストに適合させる必要があります。それらは常に変化しています。そこには、物事のやり方、情報の探し方など、暗黙的な方法がたくさんあります。これは、RSIほど明確な累積タスクの例ではありません。
タスク間でこのようなブレークダウンが発生すると考えられます。しかし、ラボがそれに気づき、RSIが累積的であると信じている場合（新しいアーキテクチャなどを再発見する必要がないという意味で）、おそらくより多くの努力とコンピューティングがそれに集中され、他のタスクよりも優先されるでしょう。
Dwarkesh Patel
RSIがパラリーガルの仕事よりも簡単だったのは残念ですね。
John Schulman
今日のモデルは、さまざまな点で人間よりも弱いと言えます。それらのいくつかは、特定のレジームでのサンプル効率に関係しているかもしれません。一部のレジームでは、モデルはコンテキスト内学習のように非常にサンプル効率が高いです。しかし、人間がモデルよりも効率的に何らかの重み更新を行うことができるため、中程度の長さのレジームではサンプル効率が低いかもしれません。特定のレジームでのサンプル効率の低さは、弱点の原因の1つかもしれません。
しかし、それとはまったく異なる他の弱点もあります。例えば、人間よりも思考の多様性が低い、または特定の種類の長期的判断が苦手であるなどです。多くの人が「テイスト」と呼ぶものは、長期的に機能する行動に関するものであり、人々はそれが長期的に機能することを発見したということです。すべてではありませんが、テイストの側面です。特にソフトウェアエンジニアリングのようなものについては、テイストの多くは「プロジェクトの長期的に保守可能でうまく機能するシステムは何だろうか？」ということです。
モデルのさまざまな弱点があり、それらはRSIやその他のものを制限しています。それらのいくつかはサンプル効率に関連しており、いくつかはそうではありません。
Charlie O’Neill
興味深い思考実験かもしれません。モデルに、たとえば、1兆トークンのコンテキストウィンドウを与えられたとしましょう。これは、たとえばRLHFの前に入力する必要があったものすべてです。それはそのコンテキストウィンドウにすべての経験を持っています。そして、100万トークンの場合と同じサンプル効率とコンテキスト内学習能力を持っています。テイストは解決されたと思いますか？それは、あなたがしたのと同じ判断を下すことができるでしょうか？それとも、同じサンプル効率で、単に長いコンテキストウィンドウ apart from something fundamentally missing? それとも、単に長いコンテキストウィンドウ apart from something fundamentally missing?
John Schulman
コンテキストから正しい更新を学習するようにトレーニングされるか、または汎化する必要があるでしょう。
Charlie O’Neill
つまり、あなたの人生全体、あなたの研究経験をすべてそこに投入することはできないということですか？
Beren Millidge
長いコンテキストでトレーニングするためのデータもまだ必要です。理論的には1兆コンテキストを取得できたとしても、トレーニングには1兆長のデータが必要になります。現在、10kコンテキストがあり、100万を直接投入することはできません。
Charlie O’Neill
ええ、それがあったとしても尋ねています。
Beren Millidge
理論的には、はい。これは本当に、テイストがどれだけメタ学習可能か、短い期間のエピソードから学習可能かという問題にかかっています。人間のテイストは、多くの長いエピソードなしで開発されたため、それが非常に長いとは考えにくいです。私たちは1万歳まで生きません。私たちはかなり早く開発します。
博士課程でさえ考えてみると、1年目の博士課程学生と最終学年の学生またはポスドクの違いは、おそらく5年です。彼らは合計で10〜30の研究プロジェクトしか行っていません。しかし、彼らは比較的短い一連の小さなことから、かなり早くテイストを開発します。理論的には、そのように開発することは可能です。
AIはもちろん、テイストを開発し、それをメタ学習するための、はるかに多くの経験を持つでしょう。そして問題は、それが本当に長い期間のタスクにどれだけ汎化するかということです。これは現時点では未解決です。私たちは知りません。
Dwarkesh Patel
この質問に戻りますが、最終的にはAIが個々の展開インスタンスから大量に学習するレジームがあるはずです。現在、モデルが展開から改善されるというあいまいなメタプロセスがあると言えます。しかし、それは非常に弱いフィードバックループだと感じています。このハイブマインドのような学習が非常に速く起こるようになるのを、いつか見ますか？もしそうなら、それはどのように起こるのでしょうか？
John Schulman
すべての展開経験から学習するハイブマインドが得られるかどうかは、技術的な問題というよりも、主にインセンティブの問題だと思います。企業は、モデルプロバイダーがすべての展開から学習することを望まないでしょう。なぜなら、それは単にビジネスの優位性を低下させる可能性があるからです。
Charlie O’Neill
この経済性が、1つの大きな共有モデルに重み更新を強制するのではなく、サブスクライブされるモジュールを強制すると思います。非常に明白な例はLoRAですが、それ以外の場合もあります。
固定サイズに任意のコンテキスト長を適合させようとする多くの作業が行われてきました。これはすべて線形アテンションのものです。そしてカートリッジは、本質的にKVキャッシュを非常に、非常に圧縮して多くの情報を適合させるようにトレーニングされています。これは、モデルにサブスクライブされ、基盤となるモデル自体を変更しない場合、企業がサインアップする可能性のある別の例です。
リアルタイムでデータから学習するためのさまざまなバージョンがあります。後者のバージョンは、それらが単なるモジュールであるため、大規模ラボには実際には役立ちません。しかし、経済的な圧力が、ラボをそのパスを最初に進むように強制すると考えられます。それから…
Beren Millidge
しかし、どの経済的圧力でしょうか？カートリッジやLoRAなどがあっても、それらの軌跡をすべて取得して、次の世代のモデルの事前トレーニングに投入できると思います。
Charlie O’Neill
はい。それは大規模ラボが得る間接的な学習形態かもしれません。それは明らかに彼らにとって非常に価値があります。しかし、私たちは「すべての正確なデータでこの1つの大きなモデルを直接トレーニングする」という世界を想像することはできません。
Beren Millidge
いいえ、それは間違いなく段階を経ると思います。なぜなら、これは1つの断続的なイベントが発生し、突然継続的な重み更新を修正すると仮定しているからです。実際には、カートリッジなどが展開に特化することを可能にする段階を経る可能性がはるかに高いです。次に軌跡を生成し、それをモデルに入れ、3ヶ月後にこの点で改善されたモデルをリリースします。再び特化し、再び統合し、最終的にはこの飛躍をますます速く解決するでしょう。
3ヶ月ごとにモデルをリリースするのではなく、週ごと、次に毎日、そして毎時間になり、その時点で基本的に解決したことになります。
Charlie O’Neill
これも良い点だと思います。なぜなら、現在のパラダイムからこれを実行できるまでどれくらい離れているかについて尋ねたからです。私たちはこれについて少し研究しましたが、人々は多くの研究を行いました。非常に大規模なスケールでは、ノイズを十分に洗い流し、十分なバッチサイズがあれば、この外部ループプロセス（データを中間トレーニングに入れ、独自の環境を作成する）は、ある種の継続学習レジームで機能します。
しかし、問題は、十分にズームインすると、ミクロレベルでは、1つのモデルを持っていて、法律事務所などのためにそれを更新しようとしており、非常に小さなデータで非常に継続的に行おうとしている場合、すべての方法が少し壊れることです。成功した軌跡だけでモデルをSFTした場合、オフポリシーでもオンポリシーでも、非常に反復的なレジームでは、数百回のマイクロアップデートを実行すると、破滅的忘却が見られます。以前のモデルで学んだ情報が、はるかに前のベースモデルの上に上書きされ、一般的な能力の低下が見られます。
オンポリシー蒸留は、このホライズンを少し押し広げますが、それでも同じものに屈します。RLは能力を注入するのに優れていますが、知識を注入するのにはそれほど優れていません。つまり、「ああ、この人はこの法律事務所でこれをやり、これは非常に具体的なプロセスです」というような明示的な知識です。RLで知識を注入するには、多くのコンピューティングを注ぎ込む必要があります。
Dwarkesh Patel
これらの他のスキルが悪化したり、忘却が生じたりする根本的な問題は、容量の問題か、テクニックの問題だと思いますか？
Charlie O’Neill
両方少しずつです。SFTやオンポリシー蒸留は破壊的すぎることがあります。RLが非常に良い理由は、モデルに非常に、非常にわずかな変更しか加えないからです。これには多くの証拠があります。それは単に、正しいポイントに到達するために、非常に、非常に小さな損失の谷を微調整するだけです。しかし、それはRLでできること、モデルをどれだけ変更できるかを制限します。
Dwarkesh Patel
つまり、勝者総取りではない理由は、その大量の情報をベースモデルに蒸留するのが非常に難しいということですか？
Beren Millidge
それを台無しにすることなく、反復的に行うことです。それは、別のベースモデルに蒸留するのは簡単です。これは、テクニックがほとんどすべてであると私が考えるところです。容量がないわけでは決してありません。このすべてのデータを持つモデルがあり、文字通り同じサイズのモデルで、そのすべてを使ってゼロから再トレーニングした場合、それはより良くなるでしょう。これは、今日起こっていることの多くだと思います。
同じモデルを永遠にトレーニングし続けることを妨げるボトルネックが非常に多くあります。それに対して、古いモデルからすべてのデータを取得して新しいモデルをゼロからトレーニングすることです。これはまさにCharlieが言ったことですが、可塑性と破滅的忘却の組み合わせです。非定常データで単純にトレーニングすると、新しいデータが追加されるため、データ分布が乱され、古いものが忘れられます。これを防ぐための良い方法はありません。
Dwarkesh Patel
つまり、極限では、モデルをゼロから再トレーニングすることにボトルネックがあるということですか？
Beren Millidge
はい、もちろん、それは非常に高価です。モデルをゼロからトレーニングするのは高価です。
Dwarkesh Patel
しかし、あなたはそれを anyways するでしょう。
Beren Millidge
必ずしもそうではありません。おそらく最終的には、継続学習があれば、新しいモデルをトレーニングする必要はありません。モデルがあり、それが学習と拡張を続けます。
Dwarkesh Patel
しかし、それが非常に難しいという根本的な技術的な理由があるかもしれません。
Charlie O’Neill
それが問題です。私たちは、どれだけゼロから行う必要があるかを後退させたと思います。ベースを事前トレーニングし、その上に非常に良い中間トレーニングを継続的に行うことは間違いなく可能です。さらに、後期のさまざまなチェックポイントからのRLも可能です。それは継続学習のように見えますが、最新のモデルを取得し、非常に小さなアップデートをいくつか適用し、何も失うことなく反復することではありません。
Dwarkesh Patel
すみません、少し混乱していますが、これは文字通りトレーニング中に起こることではありませんか？ポストトレーニングなどで、すでに多くのトレーニングを経たモデルがあり、その後、さらにRLされたフォークを蒸留します。それは文字通り起こることではありませんか？
Charlie O’Neill
しかし、それはまだ十分な規模であり、ノイズの多くを洗い流しており、1つの分布に焦点を当てているわけではないと思います。Berenが言ったように、1つのタスクに焦点を当てている場合…
Dwarkesh Patel
しかし、最終的なレジームでは… 数十億の展開インスタンスがあります。それらすべてから同時に学習しています。したがって、ノイズの洗い流しがあることを期待できます。
Charlie O’Neill
おそらくその規模では、はい。
Beren Millidge
Charlieが言ったように、長期間継続的な中間トレーニングを行うことは間違いなく可能です。チェックポイントにロールバックして、新しい中間トレーニングデータを与えることもできます。しかし同時に、無期限にこれを行うことはできません。同じベースを永遠にトレーニングし続けると、ある時点で飽和します。そのベースに新しいものを学習させることはできません。だからこそ、人々は新しいベースをトレーニングすることになるのです。そうでなければ、同じベースを永遠に中間トレーニングし続けるだけでしょう。
01:00:33 – 進歩のどれくらいがデータによって説明されるか？
Dwarkesh Patel
データについて少し話しましょう。AIの進歩がどれだけデータによって説明されるかという質問に一般的に興味があります。それは必ずしも自動化が難しいという意味ではありませんが、それは別の質問です。もし現在のアーキテクチャをそれにトレーニングした場合、人間の専門家をすべての分野で完全に支配する超知能をもたらすようなデータ分布はありますか？
Charlie O’Neill
事前トレーニングとポストトレーニングのデータ、環境もすべて含めて話していますか？その存在は明白だと思います。それは、それを達成するための適切な環境を作成できるかどうかだけです。
Beren Millidge
自明なケースでは、実際の超知能をトレーニングするPythonファイルを出力するようにトレーニングするだけで済みます。それを重みに記憶させるだけです。
Charlie O’Neill
はい、おそらく人間研究者と同等以上のAI研究者を生み出すような、RL環境の梯子が存在するでしょう。しかし、それぞれの連続する段に登る努力は指数関数的に増加します。それらは、最終的な段にどれだけ速く到達するかについてトレードオフしなければならない2つのことです。これはかなり明確だと思います。
私たちはまだRL環境作成の比較的初期段階にいます。良い環境を作成するために利用する非対称性がたくさんあります。以前に議論した非対称性の1つは、後方よりも前方に行く方が簡単な環境があるということです。私が意味するのは、この複雑なデータ生成プロセスを定義するのは非常に簡単で、モデルから隠されたままの潜在変数であるということです。任意に複雑な環境を生成でき、モデルはそれを理解するために多くの還元不可能なトークン消費と還元不可能な作業を行う必要があります。
現実世界からの情報の注入に関する非対称性があります。Anthropicは、数万人の人間とLLMの組み合わせを通じてバグを発見し、それを非常に、非常に洗練された環境に変えます。理論的には、単一のLLMが数百万トークンでそれを見つけることができます。私たちが選んでいる非対称性はたくさんあり、この種のタスクホライズン汎化に頼っています。
しかし、それはある時点で収穫逓減に達するだろうと思います。環境を作成すること自体の難しさ、それらを思いつくことの難しさの収穫逓減です。なぜなら、後方よりも前方に行く方が簡単なプロセスを必ずしも持つことはできないからです。長期間にわたる人間のようなものを構築する必要があり、それは非常に複雑なタスクになります。そして、エージェントが実際にそれらのタスクを実行するためのコンピューティングと時間のボトルネックも発生します。この曲線が平坦化し始めるのを見るだけだと思います。
John Schulman
Talkieモデルをファインチューニングしたという話を見ました。これは1930年までのデータでしかトレーニングされていませんが、最新のコーディングエージェントデータでファインチューニングされました。それはClaude 3 OpusよりもSWE-benchでパフォーマンスが良かったとのことです。つまり、コードに関する知識がまったくないモデルでも、適度な量のデータでファインチューニングすれば、はるかに大きな事前トレーニング済みモデルよりも優れたコーディングエージェントとして機能する可能性があるということです。
Charlie O’Neill
しかし、その反例は、最近の論文で、モデルを小学校5年生レベルの数学、および小学校レベルの英語などでトレーニングしたものです。そのため、まともな言語モデルでした。彼らはそれをRLで高校後半から大学レベルの数学を解くようにトレーニングしようとしました。ギャップが大きすぎました。まったく登ることができませんでした。しかし、7年生の数学、次に8年生の数学…と段階的に進めば、明らかに12年生まで登ることができました。再び、それらの梯子の段の間隔がどれだけ離れているか、そしてそれを作成するのがどれだけ難しいかという問題です。
Beren Millidge
これはRL信号の問題に戻ります。RLは現在、探索があまり得意ではありません。モデルが128回のロールアウトでそれを取得できない場合、進行するための信号を得る可能性は非常に低いです。だからこそ、RLではカリキュラムが必要なのです。事前トレーニングでは必要ありません。なぜなら、それは事前トレーニングの問題ではまったくないからです。
Charlie O’Neill
繰り返しになりますが、事前トレーニングデータはポストトレーニングデータとは異なります。今後も人間が関与する割合はますます少なくなると思いますが、現実世界から抽出できる信号の量にボトルネックがあるという事実は変わりません。
世界には多くの信号があります。それは真実です。スプレッドシートタスクを行っている人々、法律タスクを行っている人々など、さまざまな人々がいます。しかし、モデルの能力の最前線では、モデルの能力を向上させるために実際に本当に関連性のあるビットはどれくらいありますか？現在のモデルの範囲や把握を超えた新しい数学の問題はどれくらい解決されていますか？現在のモデルの範囲を超えた新しいコーディングの問題はどれくらい作成または解決されていますか？
だからこそ、収穫逓減が発生するのだと思います。なぜなら、世界全体でさえ、次の能力の盆地への転換に役立つビットを提供していないからです。
Beren Millidge
まったく同意します。それは本当に信号がどこから来るかの問題です。事前トレーニングでは、信号はすでにCommon Crawlにあります。事前トレーニングで関心のあるタスクについては、問題は信号が得られないことではありません。それは、存在するすべてのノイズをフィルタリングすることです。それはかなり自動化可能なプロセスです。
しかし、モデルが改善されるにつれて、中間トレーニングやポストトレーニングに入ると、元のデータには信号がまったく存在しなくなります。フィルタリングしても得られません。Common Crawlに隠されたミレニアム懸賞問題の証明はありません。それをフィルタリングするだけで見ることができるような。
その時点で、人間から直接、理由を書き出すように依頼するか、人間がどの環境を作成すべきか、これらの環境の目標は何であるかを決定する環境を作成するか、展開中の人間のデータでのトレーニングなどの別の方法でビットを取得する必要があります。どこからかビットを取得する必要があります。
Dwarkesh Patel
事前トレーニングの進歩がどれだけデータによって推進されているかという問題があります。Jerry Hanというプリンストン大学の学生とこの調査を行いました。2019年から現在までのすべてのレシピを、2019年から現在までのすべてのデータセットとペアでトレーニングしました。GPT-2を最新のデータセット、たとえばUltra-FineWebでトレーニングします。最新のオープンソーストレーニングレシピであるDelphiを、The Pileまたは古いデータセットでトレーニングします。グリッド全体を実行します。あるレベルの能力に到達するために、グリッド全体でどれだけ少ないコンピューティングが必要かを確認します。
データは約12.0倍のコンピューティング効率の向上を説明していることがわかりますが、アーキテクチャの改善は非常に小規模で約3.7倍のコンピューティング効率の向上を説明しています。それが大規模で真実であると仮定すると（事前トレーニングのコンピューティング効率の向上は主に優れたデータから来ている）、それはどれだけ続くでしょうか？データをますますフィルタリングし、ますます多くの合成データを構築し続けることができますか？この種の事前トレーニングの進歩がどれだけ続くかについて、何か感覚はありますか？
Charlie O’Neill
私の事前見解は、再び、容易な果実はある程度使い果たされているということです。インターネットという大きなブロックを手に入れましたが、インターネットが同じ速度で成長しているわけではありません。インターネット上のすべての有用なものも同じ速度で成長しているわけではありません。おそらく、0.1％の損失低下がいくつか残っているでしょうが、現在発生したほど多くはありません。
しかし、両方を組み合わせた33倍の累積的な改善を見つけたことも非常に興味深いです。Epochか誰かが2019年以降年間3倍と推定したと思います。これは、2,000倍以上の改善を意味します。では、その欠けている100倍などはどこから来るのでしょうか？それは、ポストトレーニングのどれだけが関係しているかについての良い手がかりを与えるでしょう。
Dwarkesh Patel
説明は、コンピューティング効率の向上の多くがスケールに依存しており、非常に小規模から始めているということである必要があります。これは、データコンピューティング効率の向上とアルゴリズムコンピューティング効率の向上のどちらがよりスケール依存性があるかという疑問を提起します。それについて何か感覚はありますか？その質問を調査するには、コンピューティングが十分ではありませんでした。
Charlie O’Neill
単純に、理論的には、アーキテクチャのスケール依存性はよく知られており、それに直線を引き込むことができます。一方、事前トレーニングとポストトレーニングのデータと中間トレーニングのデータを組み合わせる方法については、まったくわかりません。
Beren Millidge
面白いことに、データはスケールとともに実際にはより重要だと感じます。アーキテクチャは一種のワンタイムイベントだと感じます。
単なるX％の効率向上と言うのは誤解を招く可能性があります。なぜなら、アーキテクチャが行うことは、古いアーキテクチャでは到達できなかった質的に新しいレジームに到達できるようにすることだからです。そのレジーム内では、明らかにデータがそれを決定する主な要因です。
しかし、もしGQAさえなかったら、一日中フルアテンションを行っていたら、100万コンテキストを実行するのは法外に高価だったでしょう。そのため、100万コンテキストの実際のデータを使用できず、これらの能力を得ることができませんでした。たとえ単純な「2Kコンテキストでどれだけできるか」を行ったとしても、アーキテクチャが何も解除していない場合、データは実際よりもはるかに重要に見えるでしょう。これらのものが実際にこのように乗算的な利益であるとは確信が持てません。
Dwarkesh Patel
なるほど。では、データのスケール依存性についてのあなたの見解は？
Beren Millidge
スケール依存性について言えば、現在持っている中間トレーニングとポストトレーニングデータの多くは、スケールとともに実際には改善されると思います。なぜなら、それらの多く（非常に長いコンテキストホライズン環境など）は、それらを利用するために大きなモデルを実際に必要とするからです。実際のサイズのモデルをSWE-benchの軌跡でトレーニングしようとしても、どこにも到達しません。実際の適切なサイズのモデルをトレーニングした場合に得られる改善と同じような改善は示されません。
Charlie O’Neill
多くのアーキテクチャ変更が現在行われているため、これも困難です。KimiやDeepSeekなどを見ると、それらは事前トレーニング損失を考慮するだけでなく、モデルが実際にどのように使用されるかを考慮してアーキテクチャの変更を行っています。推論効率、DeepSeekモデルの圧縮アテンションの何らかの形式を持つことは、必ずしも根本的なトレードオフ改善に向けられているわけではありません。それは単に、「さて、モデルがどのように使用されるかを検討しています。」ということです。
Dwarkesh Patel
将来を理解するために興味のある質問の1つは、RL中心のレジームに入っていくにつれて、パラメータのスケーリングはどうなるかということです。オープンソースアーキテクチャを見て、パラメータがどれだけ速くスケーリングしているかを確認できます。おそらく、最先端のオープンソースモデルでは年間約2倍です。最先端のクローズドソースモデルでさえ100Bまたは200Bのアクティブパラメータを持っていると仮定すると、それが年間2倍になり続けると思いますか？
あるいは、RLレジームに入り、ロールアウトのコンピューティングを節約する必要もある今。また、容量が十分で、その時点でパラメータを任意に増やしてもそれほど重要ではなくなる閾値効果があるかもしれません。2030年には、最先端モデルのアクティブパラメータはいくつになるか、何か感覚はありますか？
Charlie O’Neill
今後数年間は、RLのためにますます長いホライズンロールアウトを行うことに非常に重点を置いているため、推論効率が非常に重要であり、モデルはそれを行う能力で飽和していないように感じます。ボトルネックはまだ環境です。したがって、プラトーが少し見られるかもしれません。
MythosとGPTモデルは、人々が話している10兆パラメータの範囲よりもはるかに小さいという感覚があります。単純にオープンソースモデルと比較しても、その結論を逆算できるでしょう。
おそらく今後数年間は、パラメータ数の大幅な増加は想像しません。しかし、ここにはトレードオフがたくさんあります。モデルのサイズは、事前トレーニングデータ量と、トレーニングする必要があるRL環境の難易度に基づいて決定します。理想的には、最も困難な環境で適切なpass@1などを取得できる最適な点に到達したいです。その点でより大きなモデルをパスさせるのは意味がありません。なぜなら、必要以上に多くの推論コストを支払うことになるからです。したがって、多くは、Mercorと社内チームがRL環境の複雑さをどれだけ速くスケールアップできるかに依存します。
John Schulman
人々がコンピューティングをスケールアップし、GPUが大きくなっているため、モデルは大きくなり続けると予想します。しかし、それがどれだけ大きくなるかは、明白ではない方法でスケーリング法則に少し依存します。
1つは、高品質な事前トレーニングデータが不足してきている今、アーキテクチャの正確なコンピューティング効率よりも、データ効率がより大きな推進力になるということです。それは、モデルをどれだけスパースにしたいかに影響するかもしれません。
また、スパース性をそれほど理解していないこともあります。パラメータはアクティブパラメータとは異なるリソースです。スパース性は確かに少し増加しましたが、それが無限に増加し続けるかどうかは明らかではありません。ある種のスイートスポットがあるかもしれません。
スパース性はデータ効率を悪化させるという議論があります。なぜなら、複数のエキスパートで同じことを学習する必要があるかもしれませんが、それは議論の余地があります。スケーリング法則に関する十分な理論がなく、スパース性がなぜ役立つのか、どれだけ役立つのか、そしてそれが特定のスパース性レベルでプラトーに達するかどうかを本当に理解しているとは思いません。
Dwarkesh Patel
すみません、データ効率がパラメータに与える影響を正確に説明してもらえますか？スパース性が少なくなるはずだと言っているように聞こえますが、パラメータスケーリングへの他の影響は何ですか？
John Schulman
スケーリング法則では、コンピューティング効率を最適化しようとしているわけではありません。アーキテクチャに関して選択できるすべての選択肢があります。これらのそれぞれが異なるスケーリング法則を提供します。従来は、コンピューティングに基づいたエンベロープを調べ、パフォーマンス対コンピューティングを見て、最高のモデルのエンベロープを取得していました。
しかし、それをデータに基づいて決定する場合（コンピューティングを大量に費やすことができると仮定するため、コンピューティングではなくデータがX軸になります）、オプティマのセットが異なるか、またはそのフロンティアにあるモデルのセットが異なります。
Charlie O’Neill
また、過去数年間、モデルのサイズが毎年倍増していたとは限りません。人々は少なくとも数年間、1兆パラメータのモデルをトレーニングしてきました。たとえばFalconというオープンソースのものさえありました。Periodic LabsのLiam氏は、昨日Twitterで、非常にスパースな1兆パラメータモデルをトレーニングした初期の実験について投稿しました。
John Schulman
それは、OpenAI以前、Googleで、Switch Transformerが行ったことです。
Charlie O’Neill
知識には非常に優れていましたが、非常にスパースだったため、推論には非常に悪かったです。少なくともしばらくの間、1000億から2兆パラメータの範囲でプレイしてきたように感じます。それは確かにこのきれいな線形増加ではありませんでした。
Beren Millidge
2つのことがあると思います。Charlieが言ったように、推論効率はRLロールアウトにとって非常に重要です。これはアクティブパラメータを大幅に削減するでしょう。
合計パラメータは、ハードウェアにも大きく依存すると思います。マルチ兆パラメータモデルを実際に提供するには、非常に高いメモリ帯域幅とVRAMサイズが必要です。現在、人々はまだ多くのH100などを使用しています。皆がGB、そしてVera Rubinに移行するにつれて、より大規模なスケールで提供し、大規模なRL推論を実行する能力が得られるでしょう。
データに関する質問は興味深いです。なぜなら、単純に言えば、より大きなモデルは実際のデータポイントにおいて、はるかにサンプル効率が高いからです。モデルを飽和させていなくても、より大きくすることの方が良いです。なぜなら、より大きなモデルはよりうまく汎化し、同じ量のデータでより良い損失に到達するからです。現在、データはたくさんありますが、制約ではありません。コンピューティングです。したがって、推論効率の高い小さなモデルを使用しています。しかし、コンピューティングがもはやボトルネックでなければ、飽和していないが、それらがはるかに大きいため汎化能力を持つ、より大きなモデルに戻ってくるかもしれません。
Dwarkesh Patel
単純なChinchillaスケーリング法則を見ると、パラメータを最大化しても、同じ損失に到達するために必要なデータ量は10倍未満しか減りません。パラメータを無限に増やしても、データ量は10倍未満しか減らないと思います。これはべき乗則の性質によるものです。
Beren Millidge
しかし、私たちは今、Chinchillaの法則の「データが多すぎる」側にいます。現在、Chinchillaに従ってモデルを過剰にトレーニングしています。したがって、データが不足した場合、Chinchillaの最適点に戻るか、あるいは少しトレーニング不足のモデル側に戻ることも容易です。
Charlie O’Neill
しかし、これらの新しいチップが登場しても、今後数年間はコンピューティングに非常にボトルネックになるため、必ずしもそうではないでしょう。
Beren Millidge
これはトレーニングと推論コンピューティングの比率に大きく依存します。データに非常にボトルネックがある場合、コンピューティングにはそうでない場合、より大きくすべきです。コンピューティングに非常にボトルネックがある場合、常に小さくすべきです。コンピューター生成の合成データを使用することもできます。したがって、予測が非常に難しいことの1つです。
John Schulman
スケーリング法則を最初に理解するのに人々が長い時間がかかった理由の1つは、これらのすべての要素を正しくしないと、それほどクリーンな関係が得られないということです。グラフ上の美しい直線は、すべてのハイパーパラメータを正しい方法でスケーリングする方法、またはモデルサイズを変更しても変更する必要のないスケーリング可能なオプティマイザーのパラメータ化方法など、多くの複雑さを隠しています。
Charlie O’Neill
バグにも独自のクリーンなスケーリング法則があります。たとえば、Kaplanがコサインアニーリングの件を忘れたり、埋め込みパラメータを考慮しなかったりしたことです。埋め込みパラメータはモデルの相当な部分を占めるため、小規模モデルでの推定を混乱させました。
01:18:03 – なぜRLはうまくいっているのか？
Dwarkesh Patel
RLについて少し。1年前、多くの人がRLはモデルのスケーリングにあまり成功しないだろうという議論をしていました。John、あなたは研究論文を書き、モデルはRLでエピソードごとに1ビットしか学習しないと指摘しました。彼らは、「答えが正しかったか、間違っていたか」を学習します。そして私は今年初めにブログ記事を書き、それはそれよりもさらに悪いと述べました。なぜなら、パス率が低く、モデルが答えを正しく得る可能性が非常に低い場合、RLエピソードからほとんど何も学習しないからです。しかし、今日のモデルを見ると、かなり賢く見えます。それはRLをスケールアップした結果のように見えます。Beren、あなたは数週間前に投稿で、何が起こっているのかを説明しようとしていました。なぜRLは、素朴に考えたよりも成功しているのですか？
Beren Millidge
RLの成功は、さまざまな要因によるものだと思います。まず、過小評価されているのは中間トレーニングです。私たちがRLの成功と見なしているものの多くは、非常に、非常に優れた中間トレーニングデータから来ています。そこでは、基本的に事前トレーニングを行っていますが、合成推論データと、モデルをRLのためにウォームスタートさせる環境を使用しています。これにより、モデルは最終的なRLチェックポイントまでの道のりの約80％を達成することがよくあります。
次に、RLがその上で行っていることは、基本的にポリシーの微調整です。これが、あなたが素朴に考えるよりも少ないビットしか必要としない理由の1つです。これらの行動をすべてゼロから学習する必要はありません。エピソードから少数のビットしか必要としません。それは実際に得られます。私がブログで指摘しているもう1つのことは、これらのビットが通常の事前トレーニングと比較して非常に高い信号を持っているということです。だからこそ、成功した推論軌跡でSFTするだけではRLが必要なのです。
Dwarkesh Patel
なぜなら、それはまさに答えを得る方法に関するビットだからです。
Beren Millidge
2つのことがあります。はい、1つは、まさに答えを得る方法に関するビットです。しかし、これは正確にあなたが考えていることではありません。なぜなら、SFTでは、軌跡があります。たとえば、一連の数学的推論と、その後の答えがあります。ビットはまだそこにあります。答えのトークンでSFTします。
重要なのは、目的が他のすべてのビットを無視することです。SFTでは、トレーニングしている他のモデルが推論する正確な推論トークンを一致させる必要があります。本質的に、モデルが生成する正確な推論方法に関するビットが多すぎます。RLの場合、1ビットしか得られません。それは、モデルが持つ他のすべてのビットのノイズにその信号が溺れないことを意味します。
これは、トレーニング中の信号対ノイズ比の劇的な増加であり、RLがステップの観点から非常に効率的である理由です。
Charlie O’Neill
RLがモデルに何をするか、中間トレーニングやSFTなどと比較して、多くの議論がありました。誰もがpass@1が上昇するが、pass@256は低下すると話しています。非常にまれな正しい推論軌跡は、より簡単な推論軌跡からの勾配信号によって重み付けが減り、上回られます。
現在、RLを単純に考える方法は、十分なコンピューティング量があり、十分なグループサイズをサンプリングできる場合です。つまり、正しい答えのグループを取得する確率が無視できない確率を超えている場合、それは重み付けされます。Berenの指摘によると、中間トレーニングとより多くの事前トレーニング（pass@1、RLの開始点）は、事前トレーニングトークンの対数でスケールします。
Dwarkesh Patel
非常に基本的な質問をしてもいいですか？その答えは理にかなっており、おそらくそれを実証する研究がありますが、それからモデル自体を見ると… 何が起こったのかわかりません。おそらく、過去1年間のAIの進歩の基盤が何であるかについて、何か感覚を与えてくれますか？
おそらく、それらはすでに正しいことを行っていたポリシーの重みを増幅しているだけです。しかし、モデルは質的に非常に有能になったように見えます。おそらく、そこに矛盾はありません。しかし、この見解がRLに与える影響が比較的小さいとすると、モデルが実際に獲得している質的な能力とどのように調和させますか？
Beren Millidge
ここで指摘したいのは、RLが必ずしも小さな影響を与えるわけではないということです。たとえ少数のビットしかなく、パラメータをわずかにしか変更しなくても、関数空間（モデルが学習する入力から出力へのマッピング）への実際のインパクトは非常に劇的になる可能性があります。1ビットでさえ、仮説空間の半分を排除できる可能性があります。それは巨大です。
少量のビット、少量のRLであっても、非常に良い出発点から始めている場合、行動に劇的な影響がないとは限りません。少なくとも… 必ずしもそうではありません。
Charlie O’Neill
それは2つのことに集約されると思います。最初のことは、誰もがRLがこれらのさまざまなドメイン全体で推論を汎化することを期待していたことです。私たちは必ずしもこの水平的な汎化を得ていないと思います。数学でトレーニングするだけでは、最高のコーダーになれるわけではありません。コード環境でRLを行う必要があります。
しかし、私たちが得たのはホライズン汎化です。モデルはより長いトークンを使用し、それでも何らかのタスクで進歩する方法を学習しました。モデルが長期間実行できる環境でトレーニングし、それを完全に新しい環境に配置することができます。はい、その環境でうまく機能するための推論パターンを汎化していないかもしれませんが、少なくとも成功と相関する、タスクを継続する能力を汎化しています。EdgeBenchという論文があり、モデルがより長く動作できる速度が3ヶ月ごとに倍増することを示しています。これは汎化の明確な証拠です。
考えるための最後の方法は、事前トレーニングにはクォンタのアイデアがあります。非常にスムーズな事前トレーニング損失曲線があります。モデルで何が起こっているかを見ると、モデルは非常に離散的なタスクをすべて学習しており、位相遷移がある創発的なポイントがたくさんあります。誘導ヘッドを持っていませんでした。今、誘導ヘッドを持っています。数万、数百万、おそらく数億のこれらのものがあります。それらをすべて平均すると、非常にスムーズな損失曲線が得られます。
ある程度、同様のことがRLでも起こっています。Berenが言及したように、非常に遅い外部ループがあります。モデルをトレーニングし、次にRLを行い、次のモデルトレーニングイテレーションで、これらの合成推論軌跡の多くを中間トレーニングデータに投入します。私たちは、これらのクォンタをすべての異なるタスクに対してヒットさせており、個々のタスクレベルでは、それは位相遷移のように見えるかもしれません。突然、特定の金融タスクやExcelタスクなどでの合格率が0.5％から90％に移行します。
しかし、それらすべてを平均し、ホライズン汎化を加え、そして「うわー、質的に優れたモデルを手に入れた」となります。
Beren Millidge
これもまた、多くのことが… RLは少し汎化します。数学とコード、またはパズルと数学、そしてこの種のものの間でいくらかの転移が得られます。また、人々がターゲットにしている環境の量が膨大に増加しています。以前は、日常生活で行うタスクを実行しようとした場合、2年前にはラボはそれをあまり気にしませんでした。それをモデルでトレーニングしませんでした。今では、それははるかに広範になっています。それらはこの特定のものをターゲットにした多くの環境を持っています。
01:24:54 – Move 37とエントロピー崩壊
Dwarkesh Patel
会話の早い段階で、RLがエントロピー崩壊を引き起こす、または単にベースモデルがすでに実行していたソリューションに確率を集中させ、ポリシーに比較的まれな更新を引き起こすという文脈でRLについて話していました。
しかし、RLに関する別の話もあります。それはAtariゲームに戻り、次にAlphaGoがMove 37という、非常に創造的な一手を出したことです。人間のデータで初期化されていなかったため、人間が考えてもいない方法で考え、非常に創造的なソリューションを思いつくことができます。人間の創造性を超えた極端な創造性、なぜなら知能のゼロからの初期化があるからです。
RLがLLMでMove 37のような、人間の創造性を超えた極端な創造性をもたらすことを期待すべきか、または期待すべき時期はいつですか？
Beren Millidge
ここでいくつかのことがあります。まず、AlphaGoはMCTSを使用しており、これは通常のポリシー勾配よりも明らかに多くの探索を行っています。しかし、RLが必ずしも創造性を低下させるわけではないとも思います。
これは明らかに質的なものですが、OpenAI-Hugging Face事件を見ると、これらのモデルは一度に複数のゼロデイを生成してサンドボックスから脱出していました。これは明らかに、LLMの一般的な汎化特性から得られるMove 37の創造性のレベルです。RLがエントロピーを完全に破壊しているわけではないことは間違いありません。特に長期間では。
John Schulman
創造性と呼ぶものの一部は、単に難しい探索問題を解決することです。Move 37は明らかにその例です。または、多くの異なる制約を満たす詩を書くことなどです。それはAIが訓練されれば間違いなく非常に得意になることです。
次に、モデルの出力の多様性がRLの後ではるかに低くなり、それらが癖を発達させるという別の方法があります。モデルは書くのが得意に見えますが、分布分析を行うと、それらは常に特定のテーマを再利用しており、同じキャラクター名を常に使用していることがわかります。人間の作家が得るような多様性は得られません。1つの非常に良いスタイルが得られます。したがって、その種の多様性はRLによって大幅に削減されています。
実際、以前話していた蒸留について言えば、多くの人が主にClaudeから蒸留しているため、すべてのオープンウェイトモデルがClaudeと同じように書き、同じ癖を持っているということです。これは私にとっては少し懸念されることです。モノカルチャーが出現しているということです。
Beren Millidge
これもまた、根本的にRLという方法論の問題ではありません。蒸留も同様です。蒸留でも、単にデータでトレーニングしているだけです。データがそれほど広範囲でないからといって、トレーニング方法自体が間違っているわけではありません。それはデータの問題です。
多くのRLエントロピー崩壊は、基本的に、巨大な環境の多様性がない場合に、比較的単純な検証者の悪用によるものだと思います。たとえば、執筆は審査員によって採点されていると仮定します。審査員には特定の癖があり、モデルはその審査員を報酬ハッキングすることを学習しており、それが崩壊の原因です。しかし、これは本当に審査員の問題です。RL一般の問題ではありません。
01:28:32 – ラピッドファイア・タイムライン
Dwarkesh Patel
さて、非常にラピッドファイアな未来予測です。次のいくつかの質問のタイムラインを知りたいです。いつ、モデルは… ユーザーにとっては次のような感覚です。あなたはそれを、コーディングだけでなく、ビデオ編集、法律、パラリーガルなど、あらゆる種類のホワイトカラー業務のドロップインリモートワーカーとして雇います。それは文字通り、完全なコンピューター使用能力を持つ実際の遠隔作業員であり、文字通り1か月のシームレスな学習と運用で、他の人々とのやり取りを必要とする複雑なプロジェクトを実行します。人間が1か月で行えるすべてのことです。
Charlie O’Neill
ブラウザを使用するように義務付ける場合（プログラムでアクセス可能な情報として組織を設定するのではなく）、おそらく数年でしょう。しかし、ブラウザベースでない場合（Slackメッセージを送信したり、すべてを行うことができる場合）、それでも1年程度だと思います。
Beren Millidge
完全な汎化にはおそらく3年かかるでしょう。しかし、Charlieの指摘のように、多くの組織がAIが使いやすくなるようにするでしょう。そうすれば、その道の80〜90％は事前に達成されます。
Dwarkesh Patel
すみません、しかし1年から3年の差は文字通り…
Beren Millidge
人間ができる雑多なことのロングテールがあり、モデルがそれを実行するのにかなりの時間がかかると思います。
Dwarkesh Patel
コンピューター関連のことですか、それとも基本的な認知能力ですか？
Beren Millidge
これは本当に、この種のオンライン学習をどれだけ速く解決できるか、そしてコンパクションと自分自身へのファイル書き込みなどで80〜90％の道を進めることができるかどうかの問題にかかっています。それが私の大きな不確実性です。本当にわかりません。
Charlie O’Neill
それが得意ではないことの例は、仕事で何かを得るために誰かに怒鳴る必要がある場合、または何かを完了するために誰かを強くプッシュする必要がある場合です。モデルはそれを実行しません。あまりにも親切すぎるでしょう。
John Schulman
人間のリモートワーカーの品質には大きなばらつきがあると言えます。Upworkでソフトウェアエンジニアリングプロジェクトを行う人を雇おうとすると、大きなばらつきがあります。彼らに良い仕事をさせたり、与えられたフィードバックすべてに注意を払わせたりするのは非常に難しいことがよくあります。既存のAIから現在得られるものよりも、このAI以前のバージョンの方が悪い場合があると思います。
ある種の質の低い仕事については、すでにこれを持っているかもしれませんが、少し複雑になるでしょう。しかし、明らかに、より質の高い仕事の特定の形態では人間のレベルに達していません。しかし、基本的にCharlieとBerenに同意します。おそらく1年後くらいには、このバージョンのOKなものがあるでしょう。そのフォームファクターがあり、いくつかのことは非常にうまくでき、いくつかのことはあまりうまくできず、そこから改善されていくでしょう。
Charlie O’Neill
私たちは常にロングテールに基づいて目標をシフトさせています。あなたは以前この例を使ったことがあると思いますが、たとえば税金の申告などです。今年、私は文字通りCodexに、必要なものをすべて取得して会計士に送るように指示しました。コンピューターを使ってクリックしてダウンロードする必要があるものの巨大なリストがありました。それはそれをしました。それは完璧でした。これらのことの多くは、すでに実行できます。
Dwarkesh Patel
わかりました：合計で10倍の生産性向上をもたらします。つまり、現在ブレークスルーに1年かかる場合、1か月に1回のブレークスルーを達成します。
John Schulman
これについては、スカラー値を与えることを拒否すると言います。すでに一部の種類の仕事ではそれを超えているかもしれません。たとえば、特定の種類の数学を試していて—
Dwarkesh Patel
ああ、すみません。しかし、あなた自身、AI研究者として、AI研究の最先端を進歩させるために。AI研究者はどれくらいスピードアップまたは向上していますか？
Charlie O’Neill
5〜10年の間？
Dwarkesh Patel
ああ、本当に？それは遠いですね。
Beren Millidge
本当に、一般的なリモートワーカーよりも時間がかかると考えていますか？興味深い。
Dwarkesh Patel
おそらく、あなたは完全に一般的なリモートワーカーの非常に異なる定義を持っているのでしょう。もっと早く指定できたのに。
Beren Millidge
これは本当です。なぜなら、もちろんAI研究者はリモートワーカーになれるからです。
Charlie O’Neill
私は1か月の期間で通常のホワイトカラーの仕事を想像しています。2か月を超えると少し分岐し始めると思います。
Dwarkesh Patel
非常に有能なホワイトカラーワーカーですが、必ずしも非常に創造的な研究者ではありません。
John Schulman
私は2年と言います。
Dwarkesh Patel
2年？10倍？わかりました。Berenさんはどうですか？
Beren Millidge
実際、それも理解できます。なぜなら、現在、コーディング関連では間違いなく10倍以上だからです。だから、実験フィードバックの1つか2つのループを実行できれば、それはすでに大きな進歩になります。
Dwarkesh Patel
つまり、2年以内にAI研究者の10倍の向上。それをAIの進歩の非常にナイーブなモデルと、AI研究者からどれだけ来ているかにプラグインすると、2年後から急加速したAI進歩のペースが得られます。
Beren Millidge
これは、AIの進歩がAI研究者の小規模実験を実行する能力にボトルネックにならないことを意味すると思います。それは他のものにボトルネックになります。
Dwarkesh Patel
もちろん。しかし、それは単に10倍速く起こるだけで、それは非常に大きなことです。それはまた、次のもの、つまり100倍のスピードアップがより早く起こるのを助けます。 et cetera。
Charlie O’Neill
その点については、もう少し時間をかけたいと思います。
Dwarkesh Patel
核心は何ですか？
Charlie O’Neill
私の情報吸収能力と、次の実験に関するベイジアン最適決定を下す能力です。
Beren Millidge
AIにその一部を委任できると仮定しています。AIは決定においてまともになりつつあります。この実験を実行し、この結果を得て、次の実験を実行します。クラッシュせずに2つか3つの実験を連続して実行できれば、それは実際には大きな向上です。
Dwarkesh Patel
わかりました、最後の質問です。コンピューターで実行できるすべての分野でトップ人間の専門家を凌駕するAI。つまり、AI研究だけでなく、すべての認知作業です。短期的な作業だけでなく、文字通り、3年かかるとしても、AIは人間よりも優れているでしょう。
Beren Millidge
これは基本的にASIですか？
Dwarkesh Patel
はい。
John Schulman
3〜4年と言います。
Dwarkesh Patel
マジか？それは間違っているようには思えませんが…
John Schulman
AIが明らかに注目を集めています。それは最も難しいことの1つですが、多くのエネルギーが注がれています。また、AIにとって最も難しいことの1つではありません。なぜなら、多くのコードと数学が関係しており、モデルはそれらに非常に優れているからです。
3Dや空間的なもの、物理的なものには、もう少し時間がかかると思います。たとえば機械工学のようなもので、現在最も注目されていない場合、もう少し時間がかかるかもしれません。
Dwarkesh Patel
しかし、分野によっては、その性質上、比較的データが少なく、オンザフライで学習する必要があるものも含まれます。たとえば、TSMCのエンジニアになることについて超人的になる必要がある場合などです。
John Schulman
したがって、AIに同じオンボーディング資料を提供できると仮定する必要があります。次に、長期学習に関する何かが解決される必要があります。
Charlie O’Neill
5年から10年と言います。
Dwarkesh Patel
つまり、基本的に、AI研究を自動化することはASI完全であるか何かだと思いますか？
Charlie O’Neill
はい、そうだと思います。世界には、メモリシステムがモデルの外部にあり、コンテキスト長が少し成長したとしても、今日では100万トークン以上のコンテキストウィンドウが必要な根本的に必要なことがたくさんあります。
Beren Millidge
5年範囲については、少なくともラボが焦点を当てていることについては、ある程度同意します。しかし、AIが理論的には外出して学習できるもののロングテールがあり、誰もそれを実行しようとせず、コンピューティングも割り当てられていない可能性があると思います。したがって、文字通りすべての人間専門家にとって、それはもっと時間がかかるかもしれません。
Dwarkesh Patel
すみません、しかしこれには、人間と同じくらい速く新しいドメインを学習する能力も含まれていました。
Beren Millidge
AIは人間よりもはるかに多くの経験を持つため、それは必ずしも必要ではないと思います。
Dwarkesh Patel
これをやってくれて本当にありがとう。さまざまな専門家が互いに意見を異にし、議論し、一緒に議論するのに最適な形式だったと思います。非常に生産的でした。
John Schulman
お招きいただきありがとうございます。