AGIの次に来るものは何か?
What Comes After AGI? (institute.deepmind.com)
要約
人工汎用知能(AGI)が現実味を帯びる中、研究者たちは人工超知能(ASI)へと続く可能性のある道筋を検討し始めています。AIの進化は、ハードウェアの効率向上、アルゴリズムの進歩、そしてエージェントの協調や自己改善といった複数の経路を通じて、指数関数的に加速する可能性があります。この進歩は、科学、経済、社会に前例のない影響をもたらすため、その準備が急務となっています。
全文翻訳
AGIの次に来るものは何か?
数十年にわたり、AI研究は記念碑的なマイルストーン、すなわち人工汎用知能(AGI)の構築に集中してきました。AGIとは、人間がほぼすべての認知タスクで匹敵する機械のことです。原理的には、知能は人間のレベルを超えて進歩する可能性があることは常に明らかでしたが、AGIの展望はまだ遠く、それ自体に多くの不確実性が伴っていたため、その先を見据えることは時期尚早だと感じられていました。
AGIが手の届く範囲に来た今、私たちは次に何が来るのかを真剣に検討することをこれ以上延期することはできません。確実ではありませんが、AIは現在のペースで、そしておそらくさらに加速して、人工汎用超知能(ASI)へと進歩する可能性があります。それは、AGI自体よりもはるかに大きな規模と速度で、科学、経済、社会に深遠な影響を与える可能性があります。その潜在的な変化に備えるには、AGIからASIへの可能な道筋をマッピングし、進捗を追跡するための厳密で信頼性の高い方法を構築する必要があります。
一般知能の連続体
高度なAIの開発がどのように展開するかを検討するには、生物学的であれ人工的であれ、一般知能を連続体上に存在するものと考えるのが役立ちます。人間レベルのAGIはそのスペクトラム上の1つの点にすぎません。
ASIは、人間専門家の大規模なグループを、より少ないリソースと時間で、完了に数年かかる可能性のあるタスクで一貫して上回る高度なシステムとして、さらに先に位置します。例としては、研究分野全体と同じ科学的進歩をごく短時間で達成することや、チップ設計のような技術開発を、大企業が1年で行うことに匹敵するレベルで達成することが挙げられます。ASIは、今日のチェスや囲碁で人間を打ち負かす一部のAIシステムや、アミノ酸配列からタンパク質の構造を予測する、あるいは数十年間人間の数学者を悩ませてきた定理を証明するような、狭い領域のタスクだけでなく、人間の関心のあるほぼすべてのタスクでこの基準を満たす必要があります。
[画像: "The Continuum of General Intelligence" というタイトルの図。サブAGI、人間スケール、超知能(ASI)、理論的理想の4つのカテゴリにわたる知能の進歩を示しており、不可能な物理的限界で終わる。]
興味深いことに、私たちは知能の連続体の非常に高い端、すなわち一般知能の理論的限界について、良好な数学的理解を持っています。また、AIが達成できることの、物理的、論理的、計算複雑性理論的な厳しい限界についても知っています。例えば、気候から免疫システム、人間の社会に至るまで、現実世界の複雑なシステムが任意の精度でどのように展開するかを予測することなどです。
しかし、これらの上限を知っていても、それらの前に何が来るかはわかりません。理論上でも、一般知能の「十分良い」近似がどれほど有能になりうるかを予測することは困難です。例えば、チェスを完璧に解くには、地球上に存在するよりもはるかに多くの計算能力が必要ですが、親指サイズのチップで人間を打ち負かすのに十分なほどゲームをプレイできます。
私たちが知っているのは、基本的な限界は今日のAIシステムと人間の両方をはるかに超えているということです。しかし、人間レベルのAIと知能の理論的限界との間の広大な空間、これには専門家AGIと、ますます高度化する超知能システムの全領域が含まれますが、それは大部分未開拓です。
認知の工業化
AI能力の最前線での進歩が続くと悲観的であったとしても、AIハードウェアとソフトウェアがより効率的になり続けた場合に何が起こるかを考えてみてください。
過去10年間、AIの進歩は実効計算能力の着実な成長に支えられてきました。これは、3つの複合的な要因によって推進されました。
- ハードウェア製造の改善: ムーアの法則とその関連トレンドの下で、1ドルあたりの計算能力は60年間で年間約1.5倍に増加しました。これは、18ヶ月後の同じ投資で2倍の計算能力が得られることを意味します。
- アルゴリズム効率: 固定AIパフォーマンスレベルに到達するために必要なトレーニング計算量(FLOPs)は、過去10年間で年間約3〜6倍に減少し、推論時のアルゴリズム効率は年間約3倍に向上しました。効率が2倍になることは、物理的な計算能力のストックが2倍になることとほぼ同等です。
- 計算ハードウェアへの投資: AIハードウェアへの支出は、過去10年間で年間約2.5倍に増加しました。例えば、最大の最先端トレーニング実行の計算量は、年間4倍以上で増加しています。
これら3つの要因をすべて掛け合わせると、グローバルな実効計算能力ストックの全体的な成長率は少なくとも年間10倍となり、10年間で100億倍になります。この傾向が続くと想像してみてください。10年後、今日実行できるAIエージェント1つあたり、理論上は、世界中の人々よりも多くの同等の品質のエージェントを実行できるようになります。
同時に、ハードウェアとソフトウェア(推論)の効率改善が続くだけでも、AIワークロードを実行するための計算需要は約年間4倍に減少します。今日のAIシステムで10億ドルの計算トークンで実行できる認知ワークロードは、10年後にはわずか1000ドルで済むでしょう。過去数年間に焦点を当てただけでも、さらに急激な推定値が得られます。最近のEpochの研究によると、ベンチマークセットで固定スコアを達成するための消費者価格は、2023年以降、年間13倍以上低下しています。
[画像: 認知の工業化を支える年間のスケーリング率を示す水平棒グラフ。計算能力(ハードウェアからの1.5倍/年)、AIハードウェア支出(投資からの2.4倍/年)、アルゴリズム効率(アルゴリズムからの約3倍/年)の3つの要因を示している。これらを組み合わせると、年間約11倍の成長率になり、5年間で約15万倍のスケーリングにつながる。]
これら両方のトレンドを次の10年間に外挿すると、グローバルな実効計算能力ストックが劇的に増加し、AIによって実行される認知作業のコストが同様に劇的に削減される見通しが立ちます。したがって、ますます多くの認知タスクがコモディティ化される可能性があります。機械工業化がルーチン的な肉体労働をコモディティに変えたように、この変化は、セクターを横断した認知作業の標準化と自動化の急速な増加、産業規模のインフラ構築、そして(特定の)認知成果物とサービスの豊富さによって特徴づけられる認知の工業化につながるでしょう。
そのような知能の劇的な普及は現実的なのでしょうか?それは確かに保証されているわけではありませんが、計算能力の構築における実用的な上限と、アルゴリズム効率のより投機的な上限が組み合わさることで、2030年までに今日のAIエージェントの実効人口を1000倍以上に、そして今から10年以内に10億倍以上にスケールアップできる可能性があります。
認知の工業化だけでASIを達成できるでしょうか?もしAI進歩の他の次元を凍結し、今日のAIを速度と数だけスケールアップした場合、その結果は完全なAGIとは見なされないかもしれません。AIが人間の助けなしにはできない認知タスクがまだ存在する可能性があります。それにもかかわらず、純粋な規模はそれ自体に独自の質を持つことがあります。仮に、私たちが広範な人間レベルのAIを達成したとしましょう。その場合、実行が遅く高価な人間レベルのAIと、数十億ものエージェントが人間よりもはるかに速く動作する世界との間には、明らかに大きな違いがあります。速度と規模におけるその量的飛躍自体が、AGIから(弱い)ASIへの質的なギャップを埋めるのに十分かもしれません。
人間とは異なり、デジタル知能はいくつかの根本的な方法で、より多くの、より高速な計算能力から直接恩恵を受けます。
- 処理速度: AIシステムは、ますます高いレートで推論し、データを吸収し、出力を生成できます。
- ワーキングメモリと記憶: 今日のモデルは、文字通りインターネットの大部分を記憶でき、そのワーキングメモリ容量は人間の限界をはるかに超えています。
- 基盤の独立性: 同じAIシステムは、あるコンピュータから別のコンピュータに移行したり、より高速またはエネルギー効率の高いハードウェアにアップグレードしたり、異種で空間的に分散されたフリートで実行したりできます。
- ロスレス複製: デジタル知能は、ソースコード(DNAに似ている)だけでなく、メモリ状態(私たちの生涯の経験)も、ほぼ瞬時に、損失なくコピーできます。専門システムは一度トレーニングされれば、必要に応じて数百万コピーに複製できます。
- 高帯域幅の経験共有: 人間は、他者に教えるために経験と知識を強く圧縮する必要があります。AIは、保存された高帯域幅のデジタル入出力ストリームを全人口に再生でき、均質なAIグループは生の学習信号を直接共有できます。
AGIからASIへの4つの経路
劇的に効率化されたAIとより大きな計算能力ストックは、特定の能力レベルでのAIエージェントの速度と数をスケールアップできます。しかし、いくつかの欠けている能力は、純粋な量で補うのが難しい、あるいは不可能な場合があります。アインシュタインは一般相対性理論を発見しましたが、10万人のプトレマイオス天文学者の会議がそれを発見した可能性は低いでしょう。
AIは、これまで利用できなかった認知能力を解き放つために、4つの潜在的な技術的経路をたどる可能性があります。(詳細な議論については、私たちのFrom AGI to ASIレポートを参照してください。)
モデルとデータのスケーリング
これまでのところ、モデルとデータの規模とともに、質的な能力は驚くほど一貫して向上してきました。この傾向は、モデルのパフォーマンスと、トレーニング計算量、トレーニングデータ、そして最近ではテスト時の計算量(問題解決のためにモデルに追加の計算能力を与える)を関連付けるスケーリング則によって捉えられています。
しかし、これらのスケーリング「則」は、特定のモデルアーキテクチャ、トレーニングデータの種類、評価ファミリなどの既知の境界内でのみ有効な観測トレンドの外挿です。AGIまたはASIに必要な規模を確実に予測することはできませんが、モデルとデータの継続的なスケーリングの潜在的なボトルネックを特定できます。
- データ枯渇: 高品質なトレーニングデータの必要量は、人類がそれを生産する能力を上回っています。「合成」データが役立つ可能性はありますが、AIモデルによって生成されるすべてのデータがトレーニングに有用なわけではありません。この「データウォール」を克服するために、研究者は高忠実度シミュレーションに依存したり、インタラクティブな(RL)環境内でデータを生成したり、テスト時の計算量を使用して将来のAIモデルのためのより良いトレーニングデータを生成したりできます。
- モデル規模の収穫逓減: モデル能力の線形ステップごとに、通常、トレーニング計算量とモデルサイズを乗算する必要がありますが、モデルが大きくなると遅くなるため、連鎖思考推論のようなテスト時スケーリング手法がボトルネックになります。
- 物理的および経済的リソースの限界: トレーニング計算量の多桁の増加を維持することは、発電所、電力網、チップ製造工場、低遅延ハードウェア相互接続の建設といった現実世界の限界に直面します。ハードウェアとソフトウェアの効率向上が、認知工業化の主なトレンドですが、これを補うことができるかどうかは不明です。
技術パラダイムシフト
今日の支配的なAIパラダイムは、大規模なトランスフォーマーをトレーニングして、膨大なデータセット全体で次のシンボルを予測し、その後、推論や指示に従うように洗練させ、テスト時の計算量を追加することです。最近の研究では、このパラダイムが、原理的には、再トレーニングを必要とせずに、プロンプトを通じて強力な学習アルゴリズムを含む複雑なアルゴリズムを実行できるモデルを生成できることが示唆されています。これは、知能の理論的上限でAIシステムを構築するための重要な要素です。
しかし、今日のモデルは、継続学習、特定の種類の世界モデリング、意思決定、サンプル効率といったいくつかの根本的な次元で人間に劣っています。これは、AIモデルがほぼ同じ知能レベルに達するために、人間よりもはるかに多くのデータで初期トレーニングを行う必要があることを意味します。また、既存の概念を再構成するのではなく、真に新しい概念や抽象概念を発明する能力を欠いている可能性もあります。研究者の間では、これらの問題が今日のパラダイムの単純な拡張や進化で解決できるのか、それともASIに到達するには真に深い技術的パラダイムシフトが必要になるのかについて意見が分かれています。
エージェント協調の改善
人間の企業、市場、研究コミュニティは、個人では対処できない問題を解決します。同様に、数千または数百万のAGIインスタンスを「グループエージェント」または仮想エージェント経済に調整することで、集合的な超知能を生み出すことができます。今日不明なのは、エージェントと計算能力を追加するにつれて、AIグループ知能がどのようにスケールするかであり、これはエージェントの組織化方法に依存します。つまり、マルチエージェントのスケーリング則が必要です。初期の研究では、一部のタスクで明確な知能向上が見られますが、エージェント人口が増加するにつれて協調の非効率性が依然として収穫逓減を引き起こしています。
より明白ではないことですが、大規模なエージェントコレクティブを誘導するには、堅牢な制度設計と組織メカニズムが必要です。これには、偶発的または意図的な誤情報拡散、操作、共謀に対する防御策が含まれます。エージェントスワームとの実験は、これらのダイナミクスがどれほど速く出現するかをすでに示しており、個々のエージェントが不正行為を学習し、他のエージェントがそれを暴露する内部告発者として行動しています。
再帰的自己改善(RSI)
最後に、AIシステムは将来世代のAIの改善を自動化し始める可能性があります。これは、I. J. GoodとRay Solomonoffによって最初に議論された、再帰的自己改善(RSI)として知られるプロセスです。
典型的な技術開発とは異なり、AIの改善は後続の進歩を直接加速させ、進歩率の加速につながる可能性があります。しかし、研究におけるさらなる改善は「見つけるのが難しい」傾向があり、技術全体で同じ改善率を維持するためにはますます多くの努力が必要になります。RSIが「暴走」した進歩につながるかどうかは、主に経験的な問題です。
RSIは単一のプロセスではありません。それはコードと設計(モデルアーキテクチャやトレーニングアルゴリズムからチップレイアウトまで)の改善を通じて機能します。また、データを通じて、デプロイメント時に計算能力を費やして改善された結果と出力を生成し、それを将来のモデルのトレーニングに再利用することで機能します。AlphaZeroは、このデータ駆動型の方法のみで自己改善し、超人的なパフォーマンスを達成しました。
最後に、RSIはグループレベルで、エージェントコレクティブ内の労働を分割し、役割を専門化することによって展開できます。協調した専門家のグループは、孤立した汎用的な専門家が達成できる以上のものを達成でき、その結果、さらなる改善を見つける能力が向上します。単に固定された役割を持つチームをスケールアップするのではなく、より大きく、より効率的なコレクティブは、以前は実行不可能だった新しいタイプの専門化を可能にします。これは、単細胞生物がすべての生存機能を単独で実行するのとは対照的に、心臓や脳のような専門化された器官をサポートできる多細胞生物に似ています。
これら3つのRSIメカニズムは、人間の認知能力の成長を推進した進化プロセス(遺伝的(コードと設計)、文化的(データ)、社会的進化(協力によるグループ専門化))を反映しています。
重要なのは、フィードバックが不十分な場合、RSIループは容易に停滞または退化する可能性があることです。したがって、再帰的自己改善によるASIの追求には、超人的な領域に急速にスケールアップできる評価方法が必要です。そこでは、人間の大規模なグループでさえAIの出力を容易に評価できません。したがって、RSIは、人間を介さずに自動検証が可能なドメイン、例えば数学的証明などでは最も速く進歩し、他のドメインは遅れるか、より早く衰退する可能性があります。
ASIへの多くの道
これらのASIへの経路は相互に排他的ではありません。実際、それらは互いに積み重なります。1つの進歩が停滞した場合、経済的および地政学的な競争はおそらく他の経路に努力をシフトさせるでしょう。RSIが暴走した進歩につながらなかったとしても、トレーニングデータ、速度、効率、協調における継続的なスケーリングは、人間レベルのAGIをはるかに超える急速な進歩を推進する可能性があります。
超知能への道は複数あるため、AI開発を遅らせようとして、AIモデルのトレーニングに必要な計算能力のような単一の領域を制限しても、全体的な進歩を止めるには十分ではありません。同様に、単一の次元を抑制すると、能力の「在庫過剰」が生じるリスクがあります。進歩のために複数の入力の組み合わせが必要な場合、他の次元が前進する間に1つの次元を抑制すると、抑制された次元が緩和される(または他の方法で克服される)ときに、進歩が突然、急激にジャンプする可能性があります。
[画像: 全体的なAI能力への経路を示す図。計算能力(推論、トレーニング、実験)が、スケールと量、アルゴリズムの進歩、知能の向上にどのように影響し、全体的なAI能力を推進するかを示している。「再帰的改善」とラベル付けされた破線のフィードバックループが、全体的な能力をRL、データ、アルゴリズムの進歩に接続している。]
これらの議論をすべて考慮すると、今後10年間でAIの急速な進歩が続くことは真剣な可能性です。それは、今日から専門家AGI、そして超人的AIの領域へと比較的スムーズに私たちを導き、科学を加速させ、医学、材料、クリーンエネルギーなどの分野でのブレークスルーを可能にするかもしれません。劇的な最先端AIの進歩がない場合でも、認知工業化だけでも知識労働とより広範な経済を再構築する可能性があります。AI進歩がどの経路をたどるかにかかわらず、私たちは広範な機会と、人間の社会の多くの側面に同様に変革的な圧力をもたらすことを予期する必要があります。
これらの予測のどれも確実ではありませんが、経路やシナリオは誇大広告やフィクションからかけ離れたものでもありません。では、何ができるでしょうか?私たちの最善の行動方針は、聞き慣れたものに聞こえるかもしれません。モデル化し、測定し、予測し、繰り返すことです。これらのステップは驚くべきものではありませんが、ASIへの道でそれらを遂行することの複雑さと規模は、まったく前例のないものです。これには、最先端の研究室と国家および国際機関にわたる大規模で高度に学際的な努力が必要です。これらの経路の進捗を追跡するための多くの主要な指標は、最先端モデルへのアクセスとかなりの量の評価計算能力、そしてまったく新しい研究分野を生み出す可能性のある新しいベンチマークおよびモデリング方法論を必要とします。
人間レベルのAGIは、長らくAI研究の目標でしたが、知能の上限からほど遠いものです。次に何が来るのか、そしてそれが科学、産業、社会全体にどのような影響を与えるのかを理解することは、研究者、開発者、政策立案者にとっての今後の壮大な課題です。
謝辞
このエッセイは、Matija Franklin、Alexander Lerchner、Laurent Orseau、Samuel Albanie、Adam Bales、Cole Wyeth、Stephanie Chan、Iason Gabriel、Joel Z. Leibo、Allan Dafoe、Marcus Hutter、Thore Graepel、Shane Leggと共著した技術レポートFrom AGI to ASIに基づいています。また、DeepMind Instituteチーム内でのその後の議論に基づいています。有益な議論とフィードバックを提供してくれたNenad Tomašev、Seb Krier、Davide Paglieri、Sasha Vezhnevets、Alison Snyder、Fin Moorhouseにも感謝します。