ポストAGI時代
The Post-AGI Era (avidfayaz.com)
要約
AGI(汎用人工知能)が到達したと著者は主張し、機械がドメインを横断して推論し、未知の問題に適応できるようになったと述べている。しかし、その経済的・社会的な影響はまだ限定的であり、多くの組織はAGIを既存のワークフローを効率化するツールとして利用している段階である。真のポストAGI時代は、組織自体が自律的な知能を中心に再設計されるときに始まると論じている。
全文翻訳
ポストAGI時代
AGI(汎用人工知能)が到来した。より正確には、機械が現在、ドメインを横断して推論し、未知の問題に適応し、かなりの自律性をもって複雑なタスクを実行できるようになったということだ。
これはAIが完璧になったり、普遍的に超人的になったり、あるいは知能が最終的な状態に達したことを意味するわけではない。AGIは、汎用性と自律性の閾値として理解するのが最も良い。それを超えることが重要であるのは、単にAIがより有能になったからではなく、それによって仕事や組織自体の設計方法について根本的に異なる問いを投げかけることができるようになるからだ。
そのような主張に対する即座の反論は、もしAGIが到来したのなら、それが伴うはずだった莫大な経済的・社会的な変化はどこにあるのか、というものだろう。その答えは、モデルの能力と経済的な採用は、非常に異なる時計で進んでいるということだ。AIはすでに、半導体やデータセンターを中心とした生産性、仕事、設備投資、そして産業全体に実質的な影響を与え始めているが、ほとんどの組織は依然として、AIが人間を既存の仕事の遂行においてより良くするツールとして機能するという、根本的にAGI以前のフレームワークを通してこれらのシステムを使用している。
混乱の一部は、AGI自体の意味からも生じている。歴史的に、この用語は、狭いタスクに限定されるのではなく、ドメインを横断して動作できる知能を広く指していた。しかし、モデルがそれらの初期の閾値の多くに近づき、それを超えるにつれて、この用語は、ほぼ完璧な信頼性、普遍的な優位性、あるいは人工超知能に近づくものといった追加的な期待を徐々に蓄積してきた。目標は、テクノロジーとともに移動してきたのだ。
我々はまた、依然として驚くほど初期の段階にいる。この閾値を超えたと私が考えるモデル、Astraは、この記事の執筆時点ではごく最近リリースされたばかりであり、さらに有能なシステムがすでに開発されている。同時に、AIはすでに多くの人々にとって「十分良い」という閾値を超えており、それは日常的に遭遇するほとんどのコンピューターベースの仕事において、意味のある支援ができる時点である。それが起こると、根本的な能力が劇的に変化している場合でも、知能のさらなる増加はユーザーにとって漸進的に感じられることがある。
それでも、十分良いAIとAGIは根本的に異なる。十分良いAIは人間が既存の仕事をより効率的に実行できるようにするが、AGIは人間がそのワークフロー内に留まる必要があるかどうかを問うことを可能にする。その区別こそが、ポストAGI時代の始まりである。
だからこそ、AGIレベルのモデルの出現により、新しい形態の企業が可能になるのだ。既存の人間ワークフローにAIを適応させるのではなく、これらの組織は、高度なスキルを持つ仕事を、協調し、互いを評価し、パフォーマンスから学び、運用されている環境を継続的に改善する自律エージェントのシステムに分解することから、逆方向から始めることができる。実質的に、組織自体が再帰的に自己改善ループに入ることができるのだ。
したがって、我々は歴史上の珍しい瞬間にいる。AGIレベルのシステムは現在入手可能であるが、それらの周りに構築されている経済の多くは、依然として根本的にAGI以前のモデルに従っており、自律的な知能そのものの周りに設計された組織ではなく、人間のためのツールを作成している。
Infinite Ascentで私たちがどのようにこれに取り組むかの一例を挙げると、まずハーネスとトレーディングエージェントを構築して市場で運用できるようにし、これらを組織内の自動化できる最初の役割として扱った。次のステップは、エージェントのパフォーマンスのレビュー担当者を作成することであり、それにより、それらの作業を評価し、最もパフォーマンスの高いエージェントの最も効果的な行動を強化するメタハーネスを開発した。同時に、進化プロセスが探求を犠牲にして局所的な最大値に収束するのを防ぐために、特定の期間のパフォーマンスが弱いエージェントであっても、意図的に保持しようとしている。
階層をさらに上に進むと、エージェントは最終的に、それら自体が運用されているコードとインフラストラクチャを改善できるようになるべきだと考えた。そのため、トレーディングエージェントとレビュー担当エージェントの両方が使用するシステムを監査し、問題を特定し、それらの作業をサポートするインフラストラクチャを改善するIT部門と見なすものを実装した。次のステップは、このプロセスをさらにスタックの下位に拡張し、組織によって生成されたパフォーマンスデータを使用してオープンモデルをポストトレーニングし、最も効果的であることが証明された行動を強化することである。
したがって、AGIのより重要な影響は、AIが単に人間にとってより良いアシスタントになったときではなく、ますます自律的なシステムが組織の大部分自体を運用し始め、実行した作業から学び、その学習を利用して作業を可能にするシステムを改善するときに感じられるだろう。
知能が制度に先行する
最先端のAIシステムの能力と、それらの周りに構築された組織との間に、興味深い非対称性が現れている。最も有能なモデルを開発している研究会社は、既存の人間のワークフローをより効率的にするためのツールやサービスを通じて、それらを商業化し続けている。その意味で、ポストAGI知能を取り巻くビジネスインフラの多くは、依然として根本的にAGI以前のモデルに従っている。
これが持続する構造的な理由もある。最先端の研究室は、多くの産業にわたる水平的なプロバイダーであり続けることから恩恵を受けている。個々の垂直産業の運用層に深く入り込むことは、ますますそれらのモデルに依存している企業と競合することになる。モデル開発自体は同じ競合を生み出さない。これは、再帰的改善がこれまで、自律的な組織の構築ではなく、モデル層に最も集中してきた理由を説明するのに役立つかもしれない。
これは、より広範な経済の多くにも当てはまる。多くの組織はすでに、ますます自律的なシステムの基盤を提供できる、膨大な量の過去のワークフローデータ、組織的知識、および継続的に生成されるパフォーマンスデータを持っている。しかし、ほとんどの組織はこれまで、AIを組織自体を再設計する機会としてではなく、主に効率化ツールとしてアプローチしてきた。
これは、最初からポストAGIアーキテクチャを中心に構築できる新しい企業に機会を生み出す。これらの企業は、数十年にわたる継承されたワークフロー、組織構造、およびインセンティブに自律システムを後付けする必要はなく、代わりに最初から人工知能を中心に企業を設計できる。
これらのアーキテクチャがその価値を証明し、既存の組織がそれらをより積極的に採用し始めると、この機会の窓は長くは開かないだろう。それまでの間、テクノロジーが可能にすることと、組織が実際にそれを使用している方法との間のギャップは、重要な裁定の瞬間を表している。
最初の移動者としての優位性は、アーキテクチャを早期に構築することだけでなく、システムが継続的に自己改善するにつれて蓄積されるデータ、経験、およびイテレーションにある。したがって、このプロセスを最初に開始した組織は、ポストAGI企業を作成するための根本的なアプローチが広く理解された後でも、後続の採用者を追い越すことができるかもしれない。
モデル層
今日の最も有能なAGIレベルのモデルは依然としてクローズドであり、OpenAIとAnthropicは現在、内部で利用可能なさらに有能なモデルで最先端を走っている。オープンウェイトモデルは、AstraやFableと同等の最も要求の厳しいクロスドメインタスクにおいて、クローズドな最先端モデルにまだ遅れをとっているが、現在のトレンドラインが続けば、数ヶ月以内にクローズドな最先端モデルに匹敵するオープンモデルが登場すると予想される。
より有能なオープンモデルは、ポストAGI組織がRSI(再帰的自己改善)を自身のインテリジェンススタックのより深い部分に拡張することを可能にし、システムの展開、特化、および改善方法に対するより大きな制御を得られるようになる。
まず、研究ラボやクローズドソースモデルへの依存は、重大な集中リスクを生み出す。これらのモデルが組織のあらゆる層に組み込まれるにつれて、それらを制御するラボは、企業がどのように運営されるかについて、不釣り合いな影響力を持つようになり、我々は制御外にある決定、アクセス、および能力にますます依存することになる。
これは、サイバーセキュリティ、金融、防衛など、重要なまたは高リスクの環境で事業を行うあらゆる組織にとって、重大な課題を提示する。これらのドメインでは、組織は、最も有能なモデルへのアクセスを維持するために、モデル開発者が許可されるべき使用、安全性、またはそれらの価値観との整合性について下す判断の変更に依存することはできない。重要な能力は、最終的には外部組織によって行われたポリシー、制限、または戦略的決定に依存することはできない。
第二に、クローズドソースモデルへの依存は、根本的な情報非対称性を生み出す。組織の最も価値のあるワークフロー、研究、および知的財産の一部を、別の会社のシステムに公開することになる。その会社は同時に、自社の製品が依存しているインフラストラクチャの能力を拡大しているのだ。
これには悪意は必要ない。モデル企業は、製品がどのように使用されているか、システムがどこで失敗するか、どの能力がユーザーに要求されているか、どのワークフローが経済的に価値があるかから必然的に学ぶ。時間の経過とともに、製品が依存しているインフラストラクチャ自体がアプリケーション層に移動し、その上に構築された製品と競合し始める可能性がある。
最先端モデルにおける、より深い認識論的な問題(由来の問題)もある。ユーザーも、多くの場合、ラボ自身も、すべての能力、洞察、または知識の断片がどこから由来したのかを完全に追跡することはできない。Navier-Stokesの論争は、モデルが洞察を独立して到達したのか、それともその推論が以前に遭遇した資料の影響を受けたのかを判断することが、いかに困難になるかを示している。戦略的に機密性の高いドメインで働く組織にとって、その不確実性だけも重大である。
第三に、そしておそらく最も重要なのは、クローズドモデルは、組織が自身の再帰的自己改善ループをどれだけ深く拡張できるかを制限することだ。組織が自身のパフォーマンスとデータに基づいて継続的に改善したい場合、その学習をAIスタック全体に押し戻す能力が必要になる。
クローズドモデルでは、そのフィードバックループは、モデルを取り巻くアプリケーション、ツール、コンテキスト、メモリ、オーケストレーション、およびハーネスを改善できるが、組織は根本的な知能自体を完全に制御することはできない。したがって、生成された最も価値のあるパフォーマンスデータは、システムのあらゆる層での変更に自由に変換できない。
真の自己改善には、ポストトレーニング、特化、および組織が学習したことに基づいて知能を継続的に再形成する能力を含む、モデル層自体の制御が必要となる。モデルを固定された終点として扱うのではなく。
ちょうど2人の人間や組織が同様の能力から始めて経験を通じて分岐できるように、2つのエージェントは全く同じAGIレベルのベースモデルから始めて、ますます異なるシステムになることができる。エージェントAは、あるドメインのために自身のパフォーマンスとデータを通じて最適化されるかもしれないが、エージェントBは別のドメインのために最適化されるかもしれない。どちらも一般的に知能的であり続けるが、それぞれが特定のタスクを実行することから学ぶことによって、その能力を継続的に深めることができる。
知能に最終的な頂点はない
ここで、AGI、あるいは人工超知能(ASI)とよく関連付けられる誤った仮定の1つを払拭することが重要である。すなわち、十分に知的なシステムは、定義上、最初からあらゆるタスクにおいてほぼ完璧であるという仮定だ。
その仮定は、暗黙のうちに知能を最終的な頂点を持つものとして扱っている。しかし、歴史はそうではないことを示唆している。19世紀末、一部の物理学者は物理学の根本構造はほぼ理解されていると考えていたが、相対性理論と量子力学が全く新しい現実の層、そしてそれらとともに全く新しいクラスの問いを明らかにした。
知識の追求は有限な探索ではない。あらゆる進歩はより大きな深さを示し、発見できることは、それを実行する知能によって制約されるだけでなく、探索の創造性によっても制約される。
これは超知能システムにも当てはまるはずだ。モデルはドメイン全体で驚異的なパフォーマンスを発揮するかもしれないが、自身の経験、パフォーマンス、およびデータを通じて、特定のドメイン内での改善の余地がまだ膨大に残っている可能性がある。したがって、AGIレベルの知能は追求の終わりではなく、より専門化され、より有能なシステムが上昇し続けるための基盤となるだろう。
だからこそ、ポストAGI企業は、AIの約束を真に実現するのであれば、アプリケーションとハーネスから、組織を実行するコード、そして最終的にはビジネス自体が運用するモデルのポストトレーニングに至るまで、スタックのあらゆる層での継続的な改善を中心に構築されなければならない。
あらゆる方向への知能
私が『RSIと歴史の始まり』で書いたように、ポストAGIシステムを構築するために使用されるアーキテクチャは、パフォーマンスが意味のある評価を受け、システムにフィードバックできるあらゆるドメイン、あらゆる方向に拡張できる。AIモデル企業がモデルの能力を継続的に構築、評価、改善するために使用する自己改善アーキテクチャは、資産管理のためのAGIシステム、あるいはロボット工学における物理的なAIの開発と最適化に同様に適用できる。
根本的な原則は同じである。パフォーマンスを観察し、そこから学び、システムを改善し、繰り返す。変化するのは、その知能が推進されている方向だけである。
したがって、そのような企業を構築するには、組織自体のための新しいフレームワークが必要となる。AIを追加すべき固定構造として既存の部門、役割、階層を扱うのではなく、組織は、その仕事を構成する根本的なタスク、決定、および目標に分解できる。
これらのそれぞれが、より大きなインテリジェントシステムのコンポーネントになることができる。エージェントによって実行され、他のエージェントまたは外部の結果によって評価され、パフォーマンスから生成されるフィードバックを通じて継続的に改善される。組織自体が最適化できるものになるのだ。
したがって、ポストAGI時代は、特定の閾値の知能を超えるモデルによって可能になるかもしれないが、そのような知能が自律的に行動し、自身のパフォーマンスから学び、RSIを通じて継続的に改善することを可能にするアーキテクチャを中心に構築された組織によって定義されるだろう。
おそらくこのフレームワークの最も重要な結果は、組織の運用と組織の改善がますます同じプロセスになることである。実行されるすべてのタスクは、新しい経験とパフォーマンスデータを生成する。すべての結果は、システムが学習できる別の信号を提供する。その学習は組織全体に流れ込み、エージェント、ハーネス、コード、そして最終的にはモデル自体を改善できる。
したがって、ポストAGI企業は単に自律的に仕事を実行するだけではない。その仕事を実行する行為は、それをより良く実行するために必要な知識を継続的に生成する。組織が運用すればするほど、自己改善のための材料がより多く作成される。
経済的影響
ポストAGI時代の経済的影響は、経済学と人類の歴史において前例のないものになる可能性があり、同じアーキテクチャがソフトウェアから物理的なAIやロボット工学に拡張されるにつれて加速するだろう。
この影響ははるかに深く研究される必要があり、この移行を以前の技術革命とあまりにも安易に比較することには注意が必要だ。AIはしばしば鉄道、電力、あるいはインターネットと比較される。しかし、これらの技術のいずれも、自身の改善に直接参加する知能を持っていなかった。ポストAGIシステムは、根本的に異なるものを導入する。それは、フロンティアに向かって自身を継続的に推進し、自身のパフォーマンスを改善し、ますます人間主導の組織では追いつけないペースでそれを行うことができる知能である。
間違いなく、この規模の移行は非常に破壊的になりうる。しかし、考慮に値する別の可能性もある。すなわち、進歩の驚異的な速度そのものが、混乱の期間を圧縮するという可能性だ。以前の技術的激変は、しばしば数年または数十年かけて展開され、経済と制度を古い均衡と新しい均衡の間で長期間とらえ続けた。RSIは、その間隔を劇的に短縮する可能性がある。したがって、移行は規模においては深刻であると同時に、期間においては驚くほど短いものになるかもしれない。なぜなら、混乱を引き起こすシステム自体が、次にくるものの創造を同時に加速させるからだ。
一見したところ、ここからより悲観的な未来像を導き出すのは容易である。AGI到来前に資本を蓄積した人々が永続的な経済的上位階級を形成し、他のすべての人々が生産的な仕事から次第に追い出される世界だ。しかし、私にとって、これはポストAGI経済についてあまりにも静的な考え方である。なぜなら、それはAGI以前の世界の経済構造が、テクノロジーがそれらの構造が構築された条件を根本的に変革しても、そのまま維持されると仮定しているからだ。
私は、よりもっともらしい長期的な方向性は、驚異的な豊かさであると信じている。この結果は決して保証されているわけではないが、エネルギー、商品、インフラ、ソフトウェア、食料、医薬品、輸送、そして最終的には物理経済の多くを最適化する、ますます自律的なシステムは、人間が必要とし、欲するものを生産する能力を劇的に拡大するだろう。より大きな生産的な豊かさ自体が、その豊かさがどのように分配されるかを決定するわけではなく、アクセスを管理する制度は依然として重要であり続けるだろう。
したがって、定義的な経済問題は、多くのドメインにおける希少性から、豊かさの管理へと徐々に移行するかもしれない。知能とますます物理的な労働の両方が、劇的に低い限界費用で生産およびスケールアップできる場合、結果として生じる生産能力の拡大は、経済全体に強力なディスインフレ圧力、そして一部のセクターではデフレ圧力を及ぼす可能性がある。
生産要素としての知能
だからこそ、知能自体がますます生産の基本的な投入要素の1つになるのだ。それが異常なのは、その経済的意義が同時に2つの方向で複利計算できることだ。我々は経済全体に増大する量の知能を展開できるようになるだろうが、展開されている知能自体もますます有能になり続けるだろう。
したがって、システムの各世代は、自律的に実行できる仕事の量と、そもそも対処できる問題の範囲と複雑さの両方を拡大できる。単に安価になるか、より豊富になる静的な投入要素とは異なり、知能は同時に、より利用可能になり、より強力になることができ、生産、研究、および発見の全く新しい領域に押し出すことができるようになる。
希少性の移動
知能が豊富になるにつれて、他の制約がますます重要になる。コンピューティング、エネルギー、物理インフラ、土地、原材料、そして新しい容量を構築できる速度が、ポストAGI経済の主要なボトルネックの一部になるかもしれない。
しかし、ここでもダイナミクスは異常である。なぜなら、それらのリソースを要求する知能は、それらを拡張するために同時に適用できるからだ。AIは、エネルギーグリッドを改善し、負荷分散と間欠性を最適化し、より効率的なハードウェアとインフラストラクチャを設計し、科学研究を加速し、そして潜在的に全く新しいエネルギー源を解き放つのを助けることができる。
これは別の再帰的ループを生み出す。より多くのエネルギーはより多くのコンピューティングを可能にし、より多くのコンピューティングはより多くの知能を可能にし、そしてより多くの知能は、より効率的で豊富なエネルギー源とインフラストラクチャを作成するために向けられることができる。
そのループを支える物理的な基盤をどれだけ効果的に構築できるかが、最終的にポストAGI経済がどれだけ早く出現できるかを決定するだろう。
したがって、ポストAGIの未来は、単に人間労働者がはるかに少ない今日の経済として想像されるべきではない。それは、知能、労働、資本、生産、そして希少性そのものとの関係における、はるかに深い変革を表すかもしれない。
道を拓く
ポストAGI経済の出現は、知能が何に能力があるかにかかっているだけでなく、それがスケールアップすることを可能にする物理的および制度的インフラストラクチャを構築するかどうかにかかっている。
機械的な課題はすでに巨大である。知能が継続的に運用、実験、学習、改善する世界は、今日のAI経済よりもはるかに多くのコンピューティング、エネルギー、データセンター、ネットワーク、および物理インフラストラクチャを必要とするだろう。しかし、そのインフラストラクチャを構築する上での多くの制約は技術的なものではなく、許可や規制から、根本的に遅いペースで動く世界のために設計された制度に至るまで、人間的なものである。
ポストAGI時代の恩恵を完全に実現したいのであれば、これらのシステムははるかに速く進化する必要があると信じている。知能は驚異的な速度で複利計算できるかもしれないが、その物理的な基盤の構築を許可する速度によって制約され続けるだろう。
ここにも楽観的な理由がある。これらのリソースを消費する同じ知能は、より効率的なコンピューティングシステムを設計し、グリッドを改善し、間欠的なエネルギー源をバランスさせ、新しい形態のエネルギー開発を加速し、そしてそれが依存するインフラストラクチャを構築するためのより良い方法を見つけることによって、それらを拡張するためにますます向けられることができる。もし我々がそのプロセスを可能にするならば、エネルギー、コンピューティング、そして知能の間のループ自体が、ますます自己強化的になることができる。
オープンな知能も同様に重要になるだろう。組織がこのエッセイ全体で説明されている再帰的自己改善システムを構築するためには、単に知能へのアクセスだけでなく、検査、展開、特化、ポストトレーニング、そして最終的に制御できるモデルへのアクセスが必要となる。
西側の技術的レジリエンスとリーダーシップの観点から見ると、これは特に重要である。今日利用可能な最も強力なオープンな最先端モデルの多くは、中国の研究機関によって開発されている。例えば、MoonshotのKimi K3は、推論、コーディング、および知識作業で競合するように設計されたオープンウェイトの最先端モデルとして明示的にリリースされている。西側の研究組織は、オープンな最先端を無競争のままにしておくべきではない。
NVIDIAはここで特別な認識に値する。そのNemotronプログラムは現在、モデルの重み、トレーニングデータ、レシピ、および評価ツールを公開しており、NVIDIAはオープンな最先端モデルの推進に特化した連合を設立した。オープンな知能がポストAGIエコシステムを構築するための真剣な基盤であり続けるためには、この種のさらに多くの努力が必要だと信じている。
私たちの役割
私とInfinite Ascentのチームにとって、知能の爆発によって駆動される拡大する豊かさのこの未来は、私たちが深く信じているものであり、リソースを向けることを選択したものである。
この時代におけるエンジニアと研究者の役割は、ますますポストAGI組織自体を構築すること、自律的な知能が組織の階層を徐々に上に移動し、その仕事のより多くを担当し、自身のパフォーマンスを評価し、その下のシステムを改善するシステムを開発することになっていくと見ている。
ある意味では、これらの組織を構築する高度な技術チームの野心は、自分たち自身の現在の役割をますます不要にすることである。人間が無関係になるからではなく、我々が解決に成功したすべての問題が、次の問題に進むことを可能にするからだ。常に新しい問い、新しいフロンティア、そしてそれらを追求する意思のある人々が値する新しい問題が存在するだろう。
私たちは謙虚さをもってその未来にアプローチしている。ここで表現されているアイデアのいくつかは、私たちが予想するよりもはるかに長い時間がかかるかもしれないし、この規模の変革は、必然的に人々の生活に、完璧に事前に予測できない方法で影響を与えるだろう。
しかし、私たちの根本的な信念は、深い楽観主義に基づいている。より高い知能は、最終的に、より大きな豊かさ、より大きな知識、そしてより大きな可能性の世界を生み出すことができ、同時に、知的な生命と私たちの周りの自然界の両方に利益をもたらす方法で構築することを可能にするだろう。
それが私たちが前進させようとしているフロンティアである。