数学を襲った雪崩がAI開発にも迫る
The avalanche that hit math is coming for AI development (dwarkesh.com)
要約
この記事は、数学分野でAIが急速に進歩した現象が、AI開発そのものにも同様の急激な進歩をもたらす可能性を論じています。AIがAI研究を自動化することで、数年かかる進歩が1年以内に圧縮され、あらゆる分野で人間を超えるAIが登場する未来が予測されています。この自動化は、AI研究の検証可能性と、AI自身の高速化・高性能化・多数化によって加速されると分析されています。
全文翻訳
数学を襲った雪崩がAI開発にも迫る
この記事の執筆と調査のかなりの部分で、Max Farrens、Gabe Fried、Thomas Larsen に協力してもらったことに深く感謝します。
この記事の朗読は、YouTube、Spotify、Apple Podcasts で視聴または聴取できます。
もし今年の初めに私に超知能まであとどれくらいかと尋ねていたら、おそらく少なくとも10年近くかかると答えていたでしょう。しかし、過去3ヶ月で私の見解は大きく変わりました。この問題について、ポッドキャスト内外で多くの人と議論してきました。そして、検証可能な領域におけるAIの進歩を観察し、それがAI研究自体に何を意味するかを考えてきました。
今では、AIがAI研究において最高の人間と同等になるまであと数年、おそらく数ヶ月しかかからないと考えるようになりました。また、AI研究の自動化は、1年間に膨大な進歩を圧縮するため、それほど遠くない将来(2030年までには、しかし早ければ来年にも)、あらゆる分野で最高の人間専門家と同等以上のAIが登場すると信じています。これは大胆な主張であり、私自身も数ヶ月前までは信じていませんでした。私の考えがどのように変わったかを説明させてください。
より推測的な議論に入る前に、AIがすでに最先端のAI開発を劇的に加速させているという証拠がたくさんあることを指摘しておきたいと思います。
例えば、独立した評価機関であるMETRは、Anthropic社内に3ヶ月間滞在した結果、「スコープが明確なタスクにおけるAnthropic社の全体的な進歩率は1年前の2倍であり、この加速の大部分はAnthropic社によるAIのR&Dへの広範な使用に起因する可能性が高い」と結論付けました。
OpenAIは9月にこの件に関するブログ記事を公開し、同社の研究者のうちAIを最も多く利用する10%が、夏の初めには1日あたり約1,000ドルの内部コーディングエージェントの使用量から、8月末には1日あたり7,000ドル以上に増加したことを示しました。
9月には、Anthropic社も同様のAIによる生産性向上に関する投稿を行いました。同社は、8月時点でClaudeがAnthropic社のAI R&D作業の26%以上を「リード」しており、2月には1%未満だったと報告しています。[1]
数学はAI研究のプレビューである
AIがAI研究を自動化した場合のインパクトの大きさや、それがいつ起こりうるかについて考える上で、私にとって非常に重要な更新は、数学におけるAIの能力がどれほど急速に爆発したかを目にすることでした。現在のAIは、スコープが明確な数学の問題を熱いナイフがバターを切るように切り裂いています。わずか2年前、私はDarioに、LLMがなぜこれほど多くの異なる分野の広範な知識を組み合わせて新しい発見をすることができないのかと尋ねました。そして、まさに今、検証可能な数学という領域で、AIは検索・照合による発見をこれほど大規模に行っているため、世界トップクラスの数学者やコンピュータ科学者が数十年かけて解決しようとしていた数百もの重要な結果が、将来のモデルリリースを盛り上げるためのサイドクエストとして次々と生み出されています。
2023年には「このモデルは4桁の数字の足し算を確実にできない」から、2024年には「このモデルは高校数学コンテストの問題をほとんど解けない」へ、2025年には「ああ、国際数学オリンピックで金メダルを獲得できる」へ、そして今年の初めには「ワオ、これは未解決のエルドシュ問題まで解いているが、それはおそらく人間がこれらの特定の問題を試みていないだけで、文献に類似の解がすでにあったからだろう」へ、そして約1ヶ月前には「おい、これは88時間でミレニアム懸賞問題を解いたぞ」へと、驚くほど速く進歩しました。
小説『エデンの東』には、「神々の転落について確かなことが一つある。それは、彼らは少しだけ落ちるのではなく、 crash and shatter するということだ」という一節があります。
確かに、進歩は数学の検証可能な部分、例えば反例の発見(新しい理論の考案などではなく)に不釣り合いに偏っています。Toby Ord は最近、このことについて素晴らしいエッセイを投稿しました。彼は次のように書いています。「現在のAIシステムは数学的証明の自動化を開始していますが、強力な質問をしたり、深い新しい数学的探求分野を見つけたりできるという証拠は、現時点ではほとんどありません。」
しかし、同じ点を別の言い方をすれば、「現在のAIシステムは、強力な質問をしたり、深い新しい数学的探求分野を見つけたりする能力なしに、ミレニアム懸賞問題を解決した」ということです。
そして、このスコープが明確な問題を解決する能力は、広く解釈された数学よりも、機械学習の研究にとってさらに大きな意味を持つでしょう。なぜなら、数学研究の目標は、単に長大な予想リストを証明または反証することではなく、数学的概念に関する人間の理解を拡張することだからです。トポロジー、群論、デカルト座標系のアイデアを生み出すことは、n個の点から作れる1単位離れたペアの数を正確に知ることよりもはるかに重要です。私たちは、それらが新しい数学的理論を引き出す可能性がある限りにおいてのみ、そのような難解な問題に関心があります。
しかし、AI研究では、優先順位は正反対です。AIラボは、新しいアルゴリズムのレシピが経験的にトレーニングをより効率的にしたり、より賢いモデルを引き出したりする方法を主に気にしています。彼らは理論そのものには関心がなく、過去1年半の深層学習における進歩のすべては、それほど多くの新しい理論を必要としませんでした。ランダムな予想をひたすらこなすことに相当することは、数学ではそうではないのに対し、機械学習では計り知れないほど価値があるでしょう。
AI研究は、現在のAIが特に得意としている数学の進歩の種類、つまり、驚異的な粘り強さと多くの隣接分野のアイデアを結びつける超人的な能力を組み合わせることで、多くの低空飛行の果実を実らせることに驚くほど似ています。
例えば、Transformerアーキテクチャについて話しましょう。私の友人であるAI研究者のSholto Douglasは、Transformerを実際に人々が発明した2年前にどのように発明できたかを説明する、常に途中半端なブログ記事を持っています。このエッセイが彼を停滞から抜け出させて完成させるかもしれませんが、その間、私は彼とのそのエッセイの内容に関する議論のいくつかを要約します。
2017年にTransformer論文が発表される前、多くの研究者はすでに、アテンションをトレーニングの並列化を改善し、より長いシーケンス間で情報を伝達する方法として特定していました。当時活発な研究者だったChris Olahは、「当時、Transformerアーキテクチャは、独立して効果的だった多くのアイデア(アテンション、残差ネットワーク)を組み合わせた自然なものだったと感じています。つまり、その中核となる要素のどれも、この分野の研究者にとって驚きではありませんでした」と述べています。
では、なぜ人々はTransformerをもっと早く発明しなかったのでしょうか?一つの理由は、この新しいアーキテクチャが、半ダースの追加の調整と革新を結びつけない限り、最先端よりも明らかに優れているわけではなかったことです。そして、これらすべてが長年文献に存在していたにもかかわらず[2]、誰もパズルのピースを組み合わせる方法を知りませんでした。それを行うには、もちろん研究のセンスが必要でしたが、同時に膨大な数の小さな実験も必要でした。
しかし、私が上で説明したこと、つまり、数十の異なるアイデアの組み合わせを粘り強くインテリジェントに照合することは、AIが数学への貢献において特に得意とすることを示している能力と全く同じです。
これはすべてを言うと、深層学習革命を2012年に開始したAlexNet以来、おそらくMLにおける最大のブレークスルーであるTransformerでさえ、Chris Olahがこのアテンション機能をより良く機能させるように一生懸命試みるように頼んだ場合、Claude 7が発明できるようなものです。
AI研究の実際には、数学よりも検証が難しい部分があることを明確にしておきたいと思います。だからこそ、OpenAIは、ミレニアム懸賞問題を自律的に解決できるモデルを持っているにもかかわらず、すべての研究者を解雇していません。しかし、AI研究は十分に検証可能であり、AIはすぐに人間でさえも凌駕するようになると考えています。その理由を説明するには、AI研究が実際にどのように機能するかという詳細に入る必要があります。そして、それらの詳細は興味深いですが技術的であるため、結論の後に続く付録に保存しました。もし興味があれば、読み続けてください。しかし、それまでの間、私がそこに到達すると予想する時期の見積もりを提供します。
もし私が、自動化された研究者が最高の人間AI研究者と同等になる中央値の年を選ぶとしたら(そしてラボが意図的に減速しないと仮定する)、2028年と推測します。
なぜAIが2年以内にこれほど優秀になれると考えるのでしょうか?回答をチェックでき、AIに数千回の練習ラウンドを与えられるすべての領域(例えば、競技プログラミングコンテストや、スコープが明確な数学の問題)で、彼らは数年以内にほとんどの人間より劣る状態から最高の人間より優れる状態へと移行しました。そして、付録で詳述するように、AI研究には同様の検証可能な特性があります。
もちろん、Ilya Sutskever のようなトップAI研究者が非常に優れている理由の大きな部分は、直接検証できません。例えば、数年先の正しい研究の方向性に賭ける能力です。しかし、数学で見たように、モデルは直接トレーニングされたものをはるかに超えて一般化します。OpenAIのモデルは、他のミレニアム懸賞問題を解決することによって明らかにトレーニングされたわけではありません。それは、より野心的で扱いやすい多くの数学的問題でトレーニングされ、そこから人間がかつて cracking したことのない問題を解決するまでに一般化しました。AI研究でも同様のことが起こると予想しており、検証可能な研究タスクでの数千回の練習ラウンドと、各世代のモデルが前の世代よりも広範に賢くなっているという事実の組み合わせにより、モデルは直接チェックできないAI研究の部分でさえも優れるようになるでしょう。
重要なのは、AI研究の重要な部分が自動化されにくいままなので、このマイルストーンに到達するのに時間がかかる可能性がかなり高いということです。2032年以降までそれが起こらない確率は25%だと推測します[3]。しかし、物事ははるかに速く進む可能性もあり、2027年にこのマイルストーンに到達する可能性もあります。私が知っている最も情報通りの研究者の何人か、つまり過去数年間で予測において非常に優れた実績を持つ人々は、AIが来年早くもAI研究で人間を上回ると予想しています。そして2027年は、Anthropic社のAI進歩率が1年間で倍増したというMETRの発見をテイクオフモデルにプラグインした直接的な結果でもあります。
元ゲストのAjeya Cotra がこのレポートに関するブログ記事で述べたように:
AIが現在、AI能力の進歩率をほぼ倍増させていると額面通りに受け止め、AIからの加速がスムーズであると仮定すると、これは単純に計算すると1年以内に極端な超知能に到達することを意味します。
私の中央値がそれほど早くない理由は、この単純なモデリングがどれほど正確であるかについて不確実性があるためです。しかし、来年このマイルストーンに到達しても驚くべきではなく、そのような世界に備えるべきです。
最良の研究者の自動化はAIの進歩を大いに加速させる
AIがAI研究において最高の人間と同等になったら、アルゴリズムの進歩は劇的に速くなるでしょう。その理由は3つあります。自動化された研究者ははるかに高速になり、それぞれが非常に賢く、そしてそれらがはるかに多くなるからです。
高速
今日のAIはすでに人間の約10倍の速度で作業しています[4]。そして、自動化された研究者は、夜間や週末も含めて24時間体制で作業するでしょう。その結果、個々の自動化された研究者は、人間の研究者ができることの約50倍の作業量をカレンダー週に詰め込むことになるでしょう。
もちろん、それはAIの進歩がすぐに50倍加速することを意味するわけではありません。それらの自動化された研究者は、実験のための計算リソースによって依然としてボトルネックになります。実験リソースは現在よりも速く実行されるわけではありません。したがって、収穫逓減があるでしょう。しかし、非常に急激な収穫逓減があったとしても、これだけでもアルゴリズムの進歩は現在よりも何倍も速く進むでしょう[5]。
より賢い
そしてこれは、このシナリオでは、すべての自動化された研究者が、今日の最先端AIラボの最高の人間と同等かそれ以上になるという事実を考慮する前のことです。
私の感覚では、特定の最先端ラボにおけるアルゴリズムの進歩の約80%は、上位50人の研究者によって推進されています。Zuckerbergが業界最高の才能を獲得するために数億ドルを支払うことを厭わなかったのも無理はありません。そして、この自動化された企業におけるすべてのエンジニアと研究者が、今日の最先端AIラボの最高の人間と同等のレベルになるという事実から、アルゴリズムの進歩はさらに大きく加速します。
より多い
問題に多くの作業員を投入することが常に役立つわけではありません。例えば、エージェントの群れはおそらく、単一のエージェントよりも優れた小説を速く書くことはできないでしょう。しかし、他のタスクは並列化に適しています。例えば、フェルマーの最終定理を形式化するために協力する多数のClaudeを示す以下のアニメーションを見てください。この偉業には数千のモジュール化されたサブタスクがあり、それぞれが独立して完了でき、各エージェントはローカルで作業が成功したかどうかを確認できました。
AI研究は、定理を形式化することに、小説を書くことよりも近いです。なぜなら、独立したモジュール化された作業がたくさんあり、進歩のための検証可能な代理が存在するからです。これは、エージェントの群れが1000の異なるアプローチを試して、どれが最もパフォーマンスが高いかを確認でき、パイプラインの各異なる部分に対してこれを独立して実行できることを意味します。AI企業はすでに、モデル開発の異なる部分で独立して作業する多数のチームで構成されています。1つのチームは事前トレーニングデータのフィルタリング方法を改善し、別のチームは特定の種類の合成RL環境の設計を支援し、別のチームはより良いアテンションカーネルを作成するなどです。異なる作業ストリームを独立して実行およびチェックできるこのようなドメインでは、多数の粘り強いヒルクライミングエージェントを投入すると、進歩が大幅に加速する傾向があります。
ここでも、並列研究者を増やすことによる収穫逓減は急激に起こるでしょう。チームで働いた経験のある人なら誰でも知っているように、10万人の共同作業者がいても、10万倍速くなるわけではありません。おそらく100倍速くもならないでしょう。しかし、自動化された労働力が桁違いに増えたことから、少なくとも数倍速くならないとは考えにくいです。
シンギュラリティ、あるいは火花が起こるかもしれない
したがって、より高速で、より賢く、より多数の自動化された研究者の組み合わせは、AIの進歩を大いに加速させるでしょう。しかし、このペースは続くのでしょうか、さらに速くなるのでしょうか、それとも遅くなるのでしょうか?その問題は、実際のペースがどれくらいであるかよりもさらに重要です。
ここで関連する2つの競合するトレンドがあります。そして、その後の進歩のペースは、どちらがより強力になるかにかかっています。一方では、RSI(Recursive Self-Improvement)により、自動化された研究者はより高速に、より賢く、より多くなり続けるでしょう。他方では、すべての簡単なアイデアが群れによって食い尽くされるため、AI研究はますます困難になるでしょう。
ちなみに、「アイデアを見つけるのが難しくなる」というのは、すでに起こっていることです。AI企業は、進歩率を維持するためだけに、毎年R&Dコンピューティングを4倍にし、労働力を倍増させる必要があります。
AIが賢くなる速度が、アイデアを見つけるのが難しくなる速度よりも速い場合、「ソフトウェアのみのシンギュラリティ」と呼ばれるものになります。このシナリオでは、コンピューティングを増やさなくても、AIの群れは急速に自己のより賢いバージョンを作成し続け、数ヶ月以内に現在のチップの物理的限界に迫る超知能に至ります。
しかし、アイデアを見つけるのが難しくなる速度が、RSIがAIを研究でより良くする速度よりも速い場合、私は「火花」と呼ぶものに至るでしょう。1年で3年から6年分のAI進歩が得られるでしょう[6]。そして、より多くのコンピューティングを構築するまで、物事は沈静化するでしょう。なぜなら、超天才の自動化された研究者でさえ、さらなるブレークスルーを起こす前に、より大きな実験を実行する必要があるからです。
もし押されるなら、「火花」シナリオに50%、そして「ソフトウェアのみのシンギュラリティ」シナリオに50%の確率を与えるでしょう。
はっきり言っておくと、「火花」シナリオ、つまりAI研究が自動化された後の最初の1年間で約4年分の進歩を遂げる場合でさえ、狂っているように感じるでしょう。それは、GPT-3.5からGPT-6 Astraへの飛躍がわずか12ヶ月で起こるようなものです。この飛躍が圧縮する進歩の規模を思い出してもらうと、GPT-3.5はまともなリカレント詩を書いたり、些細なPython関数を補完したりできましたが、ほとんど役に立たないおもちゃでした。一方、Astraは完全な ビデオ ゲームをゼロから構築し、フィールズ賞に値する数学的貢献を大量に生み出すことができ、私たちはすでにそれに慣れてしまっています。
過去4年間で、私たちは幼児から賢いインターンへと進歩しました。もし2027年または2028年からさらにそのような大きな飛躍を遂げた場合、わずかに検証可能なドメインでは、はるかに超人的な知能が得られるでしょう。例えば、次世代のAIアクセラレータを考案する上でNvidiaよりも優れているでしょう。現在の人間のCitadelやJane Streetよりも多くのお金を稼ぐでしょう(市場へのアクセスが同等であれば)。材料科学実験ラボへのリモートアクセスを与えれば、室温超伝導体を見つける上で人類の他の人々よりも優れているでしょう。
超知能は非常に優れたメタ学習者になる
さて、この時点で、あなたは尋ねるかもしれません。データセンター内でトレーニングされた超知能でさえ、人間の専門知識の基盤が長年の実世界経験であるドメインで、人間の専門家をどのように打ち負かすことができるのでしょうか?
現在AIをより賢くしている方法は、データセンター内から自動的に採点しやすいタスクでRL(強化学習)を行うことです。AIが書いた数百万行の新しいコードは、単体テストに合格しましたか?AIはより多くの未解決の数学的問題を解決しましたか?しかし、もちろん、世界のほとんどはそうではありません。私は最近のエッセイでこの点を指摘しました:
AIがビジネスを構築する方法をどのようにトレーニングするのでしょうか?裁判で勝訴するのに非常に長けたAIをどのように作るのでしょうか?あるいは、市場で収益性の高いデイトレードを行うAIを?あるいは、候補者が選挙に勝つのを助けるAIを?展開には世界との相互作用が必要であり、データセンター内だけで再現することはできません。
では、超知能はこれらの種類のタスクでどのように優れるようになるのでしょうか?明確にしておきます。すべての実世界の問題に対する答えを重み付けに直接埋め込むことはできないと考えています。むしろ、RLトレーニングをスケールアップすることで、検証が難しいドメインであっても、新しいコンテキストで迅速にランプアップするために必要な能力をAIに与えることができるという主張です。
複雑なタスクで本当に優れるようになるには、2つの要素が必要です。1つはドメイン固有の知識です。もう1つは、より一般的なスキルセットです。これは、有能な人間が持つようなスキルセットです。関連情報を探し出す能力、計画を立てる能力、間違いや障害を乗り越えてそれを推進する能力、学んだことを追跡する能力、そして他の人々と協力する能力などです。
RSI(Recursive Self-Improvement)の間、自動化されたエンジニアは、現在よりも数万倍多くのRLトレーニング環境を構築するでしょう。これらは、今日の環境よりもはるかに長期間実行され、高品質で、よりオープンエンドになり、はるかに広い範囲をカバーするでしょう。
AIは、それぞれが今日のビデオゲームにとってブガッティが馬車であるような、想像を絶する数の仮想世界で自分の道を学ぶでしょう。これらのゲームは、人間の娯楽のために作られたものよりもはるかに困難で、乱雑で、広大で、現実的になるでしょう。それらは、AIが長期間にわたって他のAIのチームと協力または競争することを要求するでしょう。例えば、AIは数百万もの他のAIで満たされた活気のあるシミュレートされたデジタル経済に投入され、成功した会社を共同設立するように指示されるでしょう。そして、このAIが理想的な企業構造について考えるだけで立ち往生するわけではありません…それは、最適な組織技術を理解するために、数世紀にわたる企業の競争を含む進化プロセスを経るでしょう。
AIはまた、科学、技術、政治、文化の歴史のすべてに関する無限のバックテストで自己トレーニングするでしょう。それらは、これまでに起こったすべての発見、発明、戦争、選挙、四半期ごとの収益報告を予測する必要があります。ここに1つの予測トレーニングタスクがあります。AIは、1700年以前の情報しか含まないトレーニングコーパスが与えられた場合、一般相対性理論を理解できるでしょうか?これは、人間がGRを発見する軌道に乗るよりもはるかに前のことです。別の例:1962年までのすべての新聞記事が与えられた場合、AIはキューバ危機がどのように展開するかを予測できるでしょうか?[7]
そして、これらの自動化された研究者が改善するのはトレーニングデータだけではありません。それらは、オンライン学習とサンプル効率のブレークスルーを通じて、基本的な学習アルゴリズム自体も根本的に改善するでしょう(これらはどちらも検証可能な代理を持ちます。付録で議論します)。人間が現在のLLMよりもデータから学習する上で、はるかに効率的で効果的であるのと同じように、将来のAIは学習効率において人間をはるかに超える可能性があります。
なぜ、検証可能なタスクからの転移が、これらのより一般的なスキルに多く見られると考えるのでしょうか?その理由の1つは、知能爆発中に発生するRLトレーニングの規模の1万分の1のスケールであっても、すでに多くの一般化が見られることです。Claude CodeやCodexを、これまで見たことのないプロジェクトに指示した場合、AIはどのように自分自身を方向付け、すべてがどのように連携するかを理解し、野心的な割り当てに取り組むかを知っています。
もちろん、検証が容易ではないタスクでのモデルの改善度を測定するのは難しいです。なぜなら、もし測定できれば…それらのタスクは検証可能になるからです。しかし、新しいモデルと古いモデルを比較するために、新しいモデルと話すことができます。私の経験では、AIはコードや数学とはほとんど関係のないこと、例えば、このエッセイを書くために必要だった抽象的な質問を調査するのを助けることなどで、はるかに改善しました[8]。
転移のもう1つの大きな証拠は、人間の進化です。私たちの汎用的な精神アーキテクチャは、非常に粗い検証者である最適化プロセスである進化によって開発されました。遺伝子を子孫に伝えることができたか、それともできなかったか?祖先の環境では、その結果に影響を与えたタスクは、狩り、捕食者からの防御、部族内での地位の維持などでした。
これらは、今日人間が取り組むことができるタスクのほんの一部です。進化は、ピューリッツァー賞を受賞する伝記を書いたり、高度な半導体を製造したり、数百万人の人々を率いる国家を導いたり、新しい数学分野を考案したりするために、私たちを特別に最適化したわけではありません。しかし、サバンナでの生存のために私たちを最適化することによって、進化は汎用学習者を作り出しました。
これらのAIをトレーニングする際に、私たちは同様のプロセスを実行していますが、それは意図的に、今日の世界での成功に必要なタスクにより近いタスクで行っています。そして進化とは異なり、AI企業はトレーニング中の転移を改善しようとしています(例えば、トレーニングから除外された難しいタスクでのパフォーマンスが向上することを確認することによって)。たとえ愚かで盲目な進化でさえ、サバンナで自己を広めるのに効果的な精神を構築することからこれほど多くの転移を得られるのであれば、AI企業が意図的に構築している、新しいコンテキストで迅速にランプアップできる柔軟で一般的な知能は、さらに進むはずです。
さて、たとえ超知能学習者であっても、データセンター内からすべてを理解することはできません。したがって、これらのAIでさえ、人々が予想するよりもはるかに速くその経験を得ることができ、展開から数ヶ月以内にトップ人間の専門家を上回ると考えています。
率直に言って、これらのことすべてを導いている直感の1つは、私が20代の友人をたくさん持っており、彼らが信じられないようなことを成し遂げ、彼らが参入した分野で世界をリードする企業やベンチャーを構築するのを見てきたことです。
歴史は、彼らが置かれた世界を駆け巡った超有能な若者たちで満ちています。27歳までに、ナポレオンはヨーロッパの他の大国のはるかに大きな軍隊に対して勝利を重ねました。25歳で、石油ビジネスに参入してからわずか2年で、ロックフェラーは世界最大の製油所の一つを経営していました。
ロックフェラーとナポレオンは経験を必要としましたが、数十年ではなく、わずか数年で済みました。それらの男たちの脳内で何が起こっていたとしても、AIはそれを再現できる(あるいは超えることができるでしょう。人間が経験から速く学ぶことの天井であると考える理由はありません)。
さらに、ナポレオンやロックフェラーとは異なり、AIはカレンダー時間でわずか数週間で展開されたコンテキストの数年分を蓄積できます。例えば、これらの将来のAIのいずれかに、現在のCEOよりも優れたFortune 500企業を経営させたいと想像してみてください。どれくらいの速さでランプアップできるでしょうか?CEOをシャドーイングさせれば、最初の朝に、会社がこれまでに作成したすべてのメール、Slackメッセージ、ドキュメントを読むことができます。初日の終わりまでに、その並列コピーは、すべての従業員と主要なクライアントにインタビューし、単一の人間が数ヶ月かかったであろう作業量を累積的に完了し、その後再び統合されるでしょう。明らかに、四半期ごとの収益にどのような影響を与えたかについてのフィードバックの一部は、数ヶ月の連続時間が必要です。しかし、それを認めたとしても、これらの将来のAIは、展開から数ヶ月以内にほぼすべてのドメインでトップ人間のパフォーマンスに到達できると期待すべきです。これは、この中央値シナリオではまだ2028年または2029年です。
そして、火花シナリオでさえ、これらすべてがAI研究が完全に自動化された後の最初の1〜2年で起こることを忘れないでください。物事はそこで止まりません。ソフトウェアの進歩が衰退したとしても、AIはより多くのコンピューティングを追加するのを助けることで火を煽り続けるでしょう。AIの助けなしでさえ、世界のAIコンピューティングは年間約3倍に増加しています。そして、火花から生まれるAIは、コンピューティングのスケールアップを継続するのを助ける上で、ギザギザに超人的になるでしょう。それらは、AIチップの設計、新しいファブのレイアウト、さらにはファブやデータセンターの一部を構築するのを助けるロボットの遠隔操作に非常に優れているでしょう。
したがって、火花シナリオでは、AIの能力は向上し続けますが、その進歩はより多くのチップ、データセンター、ロボットの構築によって推進されるため、ソフトウェアのみのシンギュラリティが数ヶ月で達成したのと同じ終点、つまり私たちにとってチンパンジーに対する私たちのような超知能に到達するには数年かかります。
次のエッセイでは、これらの知能がどのようなものになるか、そして世界をどのように変革すると予想されるかについて説明します。
付録
以前、AI研究が大部分検証可能である理由を説明すると約束しました。そこから始めます。その後、RSIに関する私の議論に対する最も強力な反論を検討します。
AI R&Dは大部分検証可能である
サンプル効率とオンライン学習
まず最初に強調したいのは、事前トレーニングと事後トレーニングは検証可能であるため(以下で説明します)、AIが人間と比較して最も腹立たしく重要な欠点であるサンプル効率の進歩も検証可能であるということです。ニューラルネットワークに何らかの能力を獲得させたい場合、人間が同じことを学ぶのにかかるよりもはるかに多くのデータを与える必要があります。
しかし、サンプル効率のあらゆる種類は測定可能です。特定の事前トレーニング損失に到達するのに必要なデータ量、RL環境で特定のスコアに到達するのに必要なタスク数、あるいはコンテキスト内学習のみから望ましいパフォーマンスレベルに到達するのに必要なフィードバックと時間さえも測定できます。
サンプル効率とオンライン学習は、実際には同じ問題の両面です。つまり、実世界のデータから迅速かつ効率的に学習する方法です。数十年間、人々はこの問題を機械学習における最も深い未解決問題、つまりAIのミレニアム懸賞問題に相当するものとして認識してきました。そして数学は、たとえ非常に困難であっても、検証可能である限り、これらの問題に何が起こるかを示してくれました。
AI R&Dには検証可能な代理が多数存在する
さて、サンプル効率、オンライン学習、その他のMLの問題における進歩が検証可能であると私が考える理由は何でしょうか?まあ、AI R&Dには大まかに3つの大きなカテゴリがあります。事前トレーニング、事後トレーニング、そして推論効率です。以下で説明するように、それぞれにトレーニングしやすい強力な検証可能な代理があります。そして、これらがすべてアルゴリズムの進歩を構成するため、AIの進歩全般はトレーニングしやすいということになります。これは、ある意味では驚くべきことではないはずです。データセンター内でテストできることに対して、モデルをはるかに良くすることができます。そしてAIトレーニングは文字通りデータセンター内で起こっています。
この検証可能性が2つの理由で価値があることを覚えておいてください。第一に、AI企業が数千回の練習ラウンドを通じて、特定のAI研究部分を改善するためにモデルにRLを実行できるようになります。第二に、これらの代理により、エージェントはローカルで特定のリーダーボードを打ち負かしたかどうかを確認してから貢献をマージできるため、並列作業が容易になります。
事前トレーニング
GPT-7を構築する際、事前トレーニングコンピューティング乗数をより良く見つけるためにRLを使用できます。例えば、GPT-7が固定された事前トレーニング損失までGPT-2サイズのモデルをトレーニングするのにかかるコンピューティング量を最小化するというRL目標を設定できます[9]。
そしてGPT-7が構築されたら、エージェントの群れを展開して、GPT-3サイズのモデルを可能な限り低いパープレキシティまでトレーニングする方法を見つけることができます。事前トレーニングの進歩の基盤である、保持されたテストセットでの損失は、検証が非常に簡単です[10]。
もちろん、小規模でうまくいったことが大規模でもうまくいくとは限りません。そして、有望な小規模な改善のどれが、より大きなモデルで組み合わされたときに実際に成果を上げるかを予測するには、センスが必要です。しかし、この種の直感もトレーニング可能です。例えば、GPT-7が1億パラメータ規模で行われたアルゴリズム改善が100億パラメータ規模で有効かどうかを予測するRL環境を作成できます。そして、この「センスベンチ」環境は、nanoGPTスピードランよりもRLのコストがかかりますが、最先端ラボ規模のコンピューティングがあれば、トレーニングするのはそれほど難しくありません。したがって、研究のセンスの重要な部分でさえ検証可能です。
事前トレーニングを自動化するだけで、AIの進歩は劇的に加速するでしょう。そして、その理由は3つあります。
第一に、事前トレーニングはモデルの知能と能力に非常に一般的な改善をもたらします。これには、圧縮と知能の関係に関する深い説明があり、これについてさらに学びたい場合は、3Blue1Brownによるこの優れたビデオをご覧ください。
第二に、事前トレーニングの改善を行うと、以前のより大きなモデルと同等に良い、より小さなモデルをトレーニングできますが、それはより速く、より安価にトレーニングされます。これは事前トレーニングをスピードアップするだけでなく、このベースモデル上での実験やRLロールアウトをより効率的にします[11]。そして、自動化された研究者もこのより小さなモデルのインスタンスであるため、より大きな研究者集団をサポートできるようになります。
第三に、より小さなモデルはより速くトレーニングされるため、RSIループ自体がタイトになります。RSI中、ラボはおそらく複数のデータセンターキャンパスにまたがる3ヶ月の事前トレーニング実行を行うことはないでしょう。自動化された研究者の軍隊はアルゴリズムの革新を非常に速く見つけるため、巨大な実行が完了する頃には、わずか1週間前にトレーニングを開始したはるかに小さなモデルによってすでに時代遅れになっているでしょう。これは、今日の技術でアルファ・ケンタウリへの宇宙船を打ち上げた場合、1世紀後に打ち上げられたものに輸送中に追い越される可能性があるのと似ています。さらに、より小さなモデルをより速くトレーニングしているため、毎日数千の実験を実行できる規模では、小規模な結果がより大きなモデルでも有効であると賭ける必要はありません。トレーニングしている規模で既にテストしています。
今日のパラメータサイズでさえ、ベースモデルはどれほど改善できるでしょうか?まだ多くの可能性があります。事前トレーニングの限界にはほど遠いです。AIラボMagicは最近、GPT-3のトレーニングに使用されたコンピューティングの半分(現在約50万ドル)で、今日のDeepSeek V4 Proのような主要なオープンソースベースモデルに匹敵するモデルを事前トレーニングしたと発表しました。桁違いのさらなる改善は完全に可能に見えます。
事後トレーニング
事後トレーニングのための3つの異なる検証可能な代理を次に示します。
第一に、自動化された研究者は、新しい環境セットでRLを行うのに必要なコンピューティング、データ、または時間を削減するように、事後トレーニングアルゴリズムを改善しようとすることができます(すべて測定可能)。
第二に、自動化された研究者は、モデルがその場で学習する能力を向上させるために取り組むことができます。そして、この進歩を簡単に測定できます。例えば、モデルをトレーニングされたことのない環境にドロップした場合、どれくらいの速さで状況を理解し、良いスコアを獲得する方法を見つけますか?そして、プレイしたことのないビデオゲームでどれくらいの速さで上達しますか?この種のメタ学習を測定するための、より多くの実世界のタスクを持つことができます。ByteDanceのEdgeBenchでそのようなタスクの例を確認してください[12]。
第三に、AI R&D能力を直接測定することもできます。AnthropicにはCoBenchと呼ばれる内部ベンチマークがあり、その研究者とエンジニアが今年解決した約500の実世界の問題が含まれています。すべてのベンチマークはRL環境でもあり、このようなRL環境はAnthropicがモデルに過去3〜6ヶ月の最先端の人間による進歩をやり直す練習をさせることを可能にします。
推論効率
AI R&Dのもう1つの重要な部分は、コンピューティングからより多くの成果を得るために、モデルと周辺ソフトウェアを設計することです。これは特に検証可能です。GPU使用率、トークンあたりのKVキャッシュサイズ、フォワードパスの総FLOPs、レイテンシなどを簡単に測定できます。
RSIへの反論
ここで、RSIに関する私の議論に対する最も強力な反論に対処したいと思います。
これらのボトルネックは深刻であり、最も攻撃的なテイクオフの可能性を完全に低下させることを明確にしておきたいと思います。だからこそ、2028年にGPT-3.5からGPT-6サイズの飛躍を遂げると考えています(明日から始まるクレイジーな一晩のシンギュラリティではなく)。
しかし、これらのボトルネックがこの未来の狂気を完全に薄めることはないと考えています(そしてボトルネックの首は実際にはかなり広いです)。なぜそう考えるのか説明しましょう。
継続学習によるボトルネック?
私は過去1年半にわたり、今日のAIに欠けている主なものは、実務経験から改善する能力であると主張してきました1.5年間の議論。新しいセッションはすべて、彼らの最初の仕事の日です。そして各セッションでは、数時間分の情報しか保持できないため、数週間または数ヶ月にわたって到着するフィードバックやノウハウを蓄積できません。昨年12月、これが私がAI研究をすぐに自動化できるかどうかを疑う主な理由でした。当時書いたように:
どういうわけか、この自動化された研究者は、人間がほぼ1世紀にわたって取り組んできたAGIのアルゴリズムを見つけ出すことになります。子供が持つ基本的な学習能力を持たずに?私はこれが非常にありそうもないと思います。
現在の継続学習の欠如が、2028年までに最高のAI研究者の完全な自動化を阻止しないと考える理由は次のとおりです。
第一に、AI企業は、現在持っているものと似たアーキテクチャで、その頃までに継続学習を解決するかもしれません。以前は、各セッションの終わりにモデルが自身の重みを更新できるようにするクレイジーなブレークスルーによってボトルネックになっていると考えていました。しかし今では、コンテキスト内学習をスケールアップすることで、セッションが実質的に数ヶ月長くなり、単一のインスタンスが実務で効果的に学習できるようになると考えています。そして、ラボが劇的に長い実効コンテキストウィンドウを達成するのを助けるかもしれない多くの 有望な アイデアがあります[13]。
第二に、継続学習者が継続学習を解決する必要はないかもしれません。前述したように、オンライン学習はクリーンな検証可能な代理を持つML研究問題です。2年前に、Navier-Stokesと継続学習のどちらが解決するのが難しいかを尋ねられたら、答えがNavier-Stokesだとは明らかではなかったでしょう。継続学習の方が難しかったことが判明しましたが、ラボはまだそれを解決していません。しかし、あなたはそれが、現在のミレニアム懸賞問題を解決しているモデルよりも1〜2年賢いモデルでさえ、たとえ現在のモデルのように記憶喪失であっても、それを cracking できないほど難しいと確信していますか?
これらのモデルは、まだ無邪気な賢いインターンであり、長期記憶を持たないまま、ミレニアム懸賞問題を解決しています。それは、トラックを側転しながらウサイン・ボルトにペースを合わせている人を見るようなものです。もし彼らが実際に走ることを許されたら、さらに速くなるでしょう。しかし、彼らが側転しながらこのレースに勝てないと言う人がいるでしょうか?
とはいえ、今後数年間で継続学習を解決できず、モデルが他の利点を通じてこの欠けている能力を補うことができないという深刻な可能性があります。だからこそ、イリヤレベルの研究者を自動化できなくなる確率を2032年以降に25%と見積もっています。
検証可能な代理を見つけることによるボトルネック?
一部の人々は、私がリストアップしたすべての検証可能な代理が現在のパラダイムを仮定していると主張するかもしれません。しかし、そもそもどの目的を検証するかを理解すること、つまりGPT-7にどの丘を登らせるかを選択することは、それ自体がAI研究の重要な部分です。これは「研究のセンス」と呼ばれるかもしれません。2018年以前は、次のトークン予測の損失を最小化することがAI進歩への最も扱いやすい道であると考える人はほとんどいませんでした。だから、エージェントの群れが特定の事前トレーニング損失を得るために必要なコンピューティングを削減する練習をすることができるnanoGPTスピードラン環境を構築しようとする人はいなかったでしょう。
ASIに至るまでに、複数の新しいパラダイムを越える必要があるのではないでしょうか?そして、各新しいパラダイムには、事前にわからない新しい関連代理が伴うのではないでしょうか?RSI中に自動化された研究者はこれらをどのように見つけるのでしょうか?
2つの応答があります。
-
Transformerは、既存の翻訳ベンチマーク(実際にはそれを打ち負かすために発明された)で可視化されていました。推論モデルや既存のコーディングおよび数学ベンチマークでも同様のストーリーです。パラダイムの飛躍の前に作られた代理は、パフォーマンスの大きな変化を捉えるのに完全に適しているようです。これは、AI学習アルゴリズムが非常に一般的であるためです。
-
パラダイムに依存しないアウトループ代理を考案することはそれほど難しくありません。モデルが解決するミレニアム懸賞問題の数。モデルを1905年以前のデータでトレーニングした場合、一般相対性理論を発見するのにどれくらい時間がかかりますか?まったく未知のビデオゲームをどれくらいの速さで習得しますか?などです。
全体として、RSIの影響に対する他の反論ははるかに強力だと考えています。これがRSIが重要でなくなる理由であるなら、私は非常に驚くでしょう。
データによるボトルネック?
データはAI進歩の主なインプットの1つではありませんか?それが同じ速度でスケールアップしない場合、RSIはどうやって起こるのでしょうか?
私の答えは、RSI中もデータは成長し続けるが、それをコンパイルするのはAIであるということです。事前トレーニングと事後トレーニングの両方にとって、より良いトレーニングデータを生成することは、それ自体がML研究問題であり、AIはそれ自体でそれを行う能力をますます向上させています[14]。
データがAI R&Dにとって非常に重要なインプットであることは事実です。Jerry Hanと私は実際、この件について研究を行いました。過去6年間で、事前トレーニングに関しては、モデルの改善よりもデータの改善から得られたアルゴリズムの進歩の方が3倍以上多かったことがわかりました。
しかし、事前トレーニングにおけるこれらの「データ」の改善は、通常のAI研究作業と非常に一致していると人々は認識していないと思います。基本的に、既存のデータをフィルタリングしたり、新しい合成データを生成したりするどの技術が、保持されたコーパスで経験的に損失を低下させるかを見つけることです[15]。
RLについても同様のことがますます真実になっているようです。DeepSeekは最近、新しいモデルの事後トレーニングについて説明した論文を発表しました。彼らは、基本的なRLアルゴリズムの変更はそれほど重要ではなく、「合成データと環境の規模、多様性、検証可能性の体系的な改善が、観察されたすべての進歩をほぼ説明している」と述べています。
そして、それらの環境が作成される方法はますます自動化されています。「大規模で自動化されたデータ合成および環境構築パイプラインに投資しています…難易度と正しさを報酬信号として使用し、モデルを反復的にトレーニングしてより良いタスクを構築します。」
実験によるボトルネック?
以前、現在の数学の加速と、AI研究で期待されることとの間に、この拡張されたアナロジーを作成しました。しかし、AI研究と数学の間には大きな違いがあります。数学では、ペンと紙で、新しい発見に推論していくことができます。AI研究では、アイデアを検証するために実験を実行する必要があり、これにはコンピューティングと時間が必要です。そして、自動化された研究者の数が増えるにつれて、それぞれが実験コンピューティングのパイのますます小さなスライスにしかアクセスできなくなります。
この異論に対する私の答えは、各エージェントは依然として大量のコンピューティングにアクセスできるということです。最先端ラボは、毎年コンピューティングを4倍以上に増やしています。この傾向が続くと、2027年末までにOpenAIは、数千のエージェントそれぞれに、毎日GPT-3サイズのトレーニング実行を実行するのに十分なコンピューティングを提供できるでしょう[16]。
2017年に元のTransformer論文でトレーニングされた最終モデルは、8台のP100で3.5日かかったことを覚えておいてください。これは今日レンタルすると約50ドルです(GPT-3のトレーニングコンピューティングの約1万分の1)。
Noam ShazeerやIlya Sutskeverのようなトップ人間のAI研究者が、毎日GPT-3サイズのモデルをトレーニングするのに十分な実験コンピューティングを持っていたら、現在よりも進歩が遅くなるかもしれません。しかし、彼らが全く進歩できずに、単に座ってクラスターが小さいと不平を言い始めるということは、私には非常に驚きです。さて、この量のコンピューティングを持つ数千人の優れた研究者がいて、それぞれが10倍速く考えているAIラボがどれほど生産的になると思いますか?この新しいラボに小切手を書きたいと思いませんか?
今日のラボでの研究と実験の性質は、研究者の時間がコンピューティングと比較して非常に限られているという事実を反映しています。トップAI研究者は個々に年間数億ドルを稼いでいます。したがって、ラボが今日コンピューティングを使用する方法は、コンピューティングではなく研究者の時間が主要なボトルネックであった場合に、どれほど効率的に使用できるかについてはほとんど示していません。
RSIエージェントの群れが、今日研究者が使用するよりもはるかに効果的に実験コンピューティングを使用する2つの主な方法があります。
-
即座に、彼らは労働力をコンピューティングと交換できます。貴重な研究者の時間を節約するために、今日の実験は、コンピューティングを非常に無駄にしており、そうすべきです。
代わりに、人間研究者は今日、多くの小規模な事前トレーニング実験を注意深く設定して監視するのではなく、並列でいくつかの巨大なマルチエージェントRL実行を開始するかもしれません。しかし、実験コンピューティングによってボトルネックになっている場合、前者のより多くのことを行うことができます。
自動化された研究者がRL実行を行っている場合、彼らはすべてのロールアウトトランスクリプトを読み、タスクが壊れている場合は即座に一時停止して環境全体を再構築できます。彼らは、モデルをわずかに改善するために、クレイジーな量の小規模なアブレーションを実行できるでしょう。そして、エージェントのチームがコンピューティングを組み合わせて、はるかに大きな実行を行うことを決定した場合、最も情報量の多いプールされた実験を設計するために主観的な数十年を費やすことができ、それが完了したら、新しい実験を設計する前に、それを包括的に分析するためにさらに主観的な数十年を費やすことができます。 -
これらの自動化された研究者は、小規模実験からの学習に関するはるかに優れた科学を考案することもできます。スケーリング法則自体が良い例です。GPT-4論文によると、10,000倍少ないコンピューティングでトレーニングされたモデルを使用して、そのモデルの最終損失を予測できたとのことです。より賢く、より高速な自動化された企業が行うことの1つは、muP(研究者が100倍小さいモデルからより大きな実行の最適なハイパーパラメータを予測できるようにする)のような、さらに多くのスケーリング現象を発見しようとすることです。これに似た発見は他にどれくらいあるでしょうか?
私は、非常に小さなニューラルネットワークからの学習が非常に有益であると考えていたAI研究者とチャットしたことを覚えています。彼はそれを次のように表現しました。「上の神々は下の蟻と同じ原則で働くに違いない。」
とにかく、付録に付き合ってくれてありがとう。超知能に関する次のエッセイをすぐに共有します。
1
「リード」を「高レベルのプロンプトからタスク全体をエンドツーエンドで完了する」と定義し、人間が監督します。完全に自律的な作業の割合(Anthropicは「AIは人間の介入なしに完全に自律的に動作する」と定義)は、まだ0%です。しかし、Claudeがリードしていた作業の割合も2月には基本的に0%だったことを覚えておいてください。そして、Claudeが「人間の指示の下で大量の作業を行う」と定義する「協力」レベルを下回る作業は、現在10%未満です。
2
Sholtoが彼のブログ記事で示すように、残差接続(2015)、レイヤー正規化(2016)、Adamオプティマイザ(2014)、インターリーブされたMLPレイヤー、位置エンコーディング、学習率ウォームアップも一緒に使用しない限り、アテンションベースのアーキテクチャはLSTMよりもパフォーマンスが向上しません。
3
その世界でさえ、AIは研究者の仕事をすべて自動化する必要がないため、AIの進歩は2032年よりずっと前に劇的に加速するでしょう。AIが実行できるすべてのタスクで人間よりも50倍高速に動作し、残りは人間のペースで進むと仮定します。AIが研究者の仕事の半分しかできない場合、人間側の半分がこれまでと同じくらい時間がかかるため、研究者は約2倍しか速くなりません。90%では、研究者は約8.5倍速くなります。99%では、30倍以上です。これはアムダールの法則です。高速化できない作業がペースを決定します。
4
OpenAIは、今日のモデルよりも賢く効率的でないGPT-5.2が、GDPvalベンチマークのタスクを人間の専門家よりも11倍速く完了したと述べています。生の生成速度も同様です。最先端モデルは毎秒約60トークンを出力します。これは、人間が話す速度の約13倍、人間がタイプする速度の50倍以上です。
5
私の直感は、Ryan GreenblattとEli Liflandによる素晴らしいエッセイに由来します。彼らのエッセイから適応させた思考実験を次に示します。「スロー」バージョンのOpenAI(SlothAIと呼びましょう)を想像してください。それは実際のOpenAIと同じコンピューティング能力を持っていますが、研究者は週に1時間しか働きません。彼らは単に世界で最も怠惰な研究者です。SlothAIはどれくらい遅く進歩するでしょうか?研究者が週の98%を寝て過ごしても、実験は実行され続けるため、間違いなく50倍遅くはありません。しかし、SlothAIの人々が1時間の労働でどれだけの注意深い実験を設計・分析できるでしょうか?SlothAIは、実際のOpenAIよりもコンピューティングをはるかに無駄にせざるを得ないでしょう。直感的には、SlothAIは少なくとも5倍遅いアルゴリズム進歩を遂げるだろうと思われます。
しかし、自動化された研究者で満たされた企業と比較すると、OpenAIはSlothAIです。したがって、SlothAIを生産性の低いものにしているもの(例えば、研究者が異なるアイデアをブレインストーミングし、実験を分析・設計する時間がはるかに少ないという事実)は、OpenAIにも当てはまります。人間の思考速度は生物学的な偶然です。私たちの速度が、思考を速くすることがもはや役に立たないポイントをちょうど超えているというのは、奇妙な偶然でしょう。
6
1年間に3年から6年のAI進歩というこの推定値は、実際にはその年で4年から9年の生のアルゴリズム進歩に対応します。これは、その年、トレーニングコンピューティングはあまり増加しないため、それを補うために追加のアルゴリズム進歩が必要だからです。そして、これはかなり攻撃的な推定値です!上限では、Transformerの発明からGPT-6のアルゴリズムレシピを得るまでを1年で行うようなものです。
7
そして、数百万もの他の歴史的な質問の予測トレーニングを行うことができます。各トレーニング中に、AIは数百時間考えることができ、関連ドメインの計算AlphaFoldタイプのモデルを構築してから回答を与える可能性があります。
もちろん、世界の固有の混沌のために、超知能でさえも理解できない予測もあります。しかし、多くはそうではないでしょう。そして、この種のトレーニングから、AIは最も抜け目のない、最も先見の明のある人間でさえも凌駕する科学的および政治的判断力を獲得するでしょう。それらは、ビスマルク、リー・クアンユー、レオ・シラードよりも、彼らが取るあらゆる即時の行動の非常に長期的な影響を予測する上で優れているでしょう。
8
より具体的な例として、最近、モデルがマフィアスタイルのソーシャルデセプションゲームであるBlood on the Clocktowerで対戦する評価を公開しました。最近リリースされたモデルは、今年の初めにリリースされたモデルを圧倒し、はるかに優れた戦略的推論、長期的な一貫性、マルチエージェント協調、そして全体的な抜け目のなさを示しました。これは、AIが一般的に改善している(直接トレーニングされていないと思われる)評価の多くの種類の1つにすぎません。
9
すでにnanoGPTスピードランと呼ばれる公開チャレンジがあり、これはAndrej KarpathyによるGPT-2タイプのアーキテクチャの実装に由来します。
10
デバッグもトレーニング可能です。トレーニング実行に微妙なバグを注入し、それを見つけることに対してモデルに報酬を与えることができます。以前の投稿で、実際の事前トレーニング実行がどのように失敗したかの例をいくつか書きました以前の投稿。
11
ちなみに、これはすでに起こっていることだと理解しています。ラボは、単にスケールアップするのではなく、より小さなモデルをトレーニングして多くの実験を実行することをますます好んでいます。
12
これらのエージェントが実行する必要のあるタスクには、ノイズの多いLIGOデータから重力波を検出する、正規表現エンジンを修理する、新しいビデオゲームをプレイすることを学ぶ、などが含まれます。このような環境では、エージェントは多くの時間を実験に費やし、フィードバックを得て、アプローチを修正できます。
13
人々が継続学習について話すとき、しばしば2つの異なる問題をまとめています。第一は、新しい従業員のように、数週間または数ヶ月にわたる実務経験から単一のモデルコピーを学習させることです。上記で説明したように、これは主にコンテキスト内学習をスケールアップし、モデルにそのような経験から学習する方法を教えるトレーニング環境を構築することから来ると考えています。第二の問題は、経済全体に展開されている何百万ものコピーの経験からベースモデル自体が学習できるようにすることです。これは、人間が決して一致できない超人的な広範な経験をモデルに与えるでしょう。これは私が広範に展開された知能爆発と呼んだものです。しかし、個々の人間の専門家と同等のAIを得るためには、それは必要ありません。
14
実際、AIは人間のデータを超えて進むことを余儀なくされるでしょう。なぜなら、RSI中にモデルは人間の能力を超えて進歩するからです(そして一部のドメインではすでにそうしています)。
15
オープンな事前トレーニングコーパスを見て、それらが時間とともにどのように進化してきたかを見てみましょう。私たちのブログ記事から:「2019年にOpenWebTextから始めました。これは、RedditからリンクされたWebページのみを含み、十分なアップボートがあり、重複排除およびフィルタリングされていました。そのため、約90億トークン(これは主にGPT-2がトレーニングされたものです)でした。2025年までに、UltraFineWebのようなオープンソースデータコーパスは、はるかに大きくなっただけでなく(インターネット全体をスクレイピングして使用するため)、より洗練されたフィルタリング(例えば、経験的にモデルパフォーマンスを向上させるデータを予測する分類器をトレーニングすることによって)を使用しています。」これらはすべて、パンとバターのML研究作業です。データセンター外の専門知識を必要としません。
16
OpenAIは、2025年末に174万H100相当を保有していました[epoch.ai/data/ai-chip-users?view=graph&tab=main]。それが2026年と2027年を通じて4倍になると、2027年末までに約2780万H100相当になります。H100eあたり1e15 FLOP/sで、年間8.78e29 FLOPになります。元のGPT-3は、最終トレーニング実行に約3.14e23 FLOPを使用しました。これは、OpenAIの2027年末のフリートは、年間280万回のGPT-3トレーニング実行規模の実験、または1日あたり約7,660回の実験をサポートできることを意味します。そして、フリートの3分の1だけが実験に専念している場合でも、10,000エージェントは4日に約1回のGPT-3規模の実行を行うことができます。