私たちには何が残るのか?
What will be left for us to work on? (normaltech.ai)
要約
この記事は、AIの能力向上に伴う将来の仕事への不安について論じています。著者は「AIは通常の技術である」というフレームワークを提唱し、AIは人間の可能性を増幅するものであり、全ての仕事を代替するわけではないが、将来の役割には大きな適応が必要になると論じています。
全文翻訳
私たちには何が残るのか?
先週、ソウルで開催された国際機械学習会議(ICML)で、「私たちには何が残るのか?」というタイトルの基調講演を行う機会を得ました。AIの能力が向上するにつれて、私たちはどのように適応すべきかという広範な不安について論じました。講演の反響は素晴らしく、スライドをこちらで公開しました。注釈付きのトランスクリプトも含まれています。ページ上で直接表示することもできますが、オンライン版の方がアニメーションやクリック可能なリンクがあり、全体的に優れた体験が得られます。
更新 [2026年8月]: ICMLは講演のビデオを公開しました。
私は3つの論点を提示しました。第一に、再帰的自己改善のような将来の不連続性がない限り、「AIは通常の技術である」というフレームワークは、AIの影響を考える上で正しく有用であるということです。第二に、再帰的自己改善は真剣に受け止めるべきですが、企業が研究室で達成するような、私たち全員の仕事を突然奪うような画期的な出来事はないということです。第三に、未来の仕事は根本的に異なり、多くの適応が必要になるということです。私はこれがどのように見えるかについての考えを共有し、人間とAIの「共同超知能」というビジョンで締めくくりました。
[画像: What will be left for us to work on?]
AIの分野は今、大きな興奮の時期ですが、AIコミュニティにとっては大きな不安の時期でもあります。その不安に正面から向き合いたいと思います。今日の私たちの仕事の多くをAIができるようになる未来に、私たちはどう備えるべきでしょうか?
[画像: Where I’m coming from]
私はプリンストン大学で、AIエージェント評価の科学を進めるチームを率いています。「ベンチマークの能力が向上している!」といった一般的な主張を超えようとしています。これらの主張は、しばしば一般の人々によって、AIがすぐに私たちの仕事をすべて奪うことを示唆していると誤解されがちです。
そうなるかもしれません。しかし、私たちの研究では、実際の展開において能力以外に重要な要因を理解しようと努め、その理解を評価に取り入れています。
私がより広く知られているのは、Sayash Kapoorと共著したエッセイ「AIは通常の技術である」です。これはAIの中期的な未来と、それにどう適応するか、そして社会や経済のニーズにどう適応させるかを考える方法です。
[画像: Slide 3]
そのため、私たちは弁護士がどう適応すべきか、あるいはジャーナリストがどう適応すべきかといったエッセイを書いてきました。しかし皮肉なことに、適応方法という問いは、まず私たちのコミュニティを直撃しています。ソフトウェアエンジニアリングやAI研究そのものであっても、これらの分野におけるAIの能力は非常に急速に進歩しています。
この瞬間に私たちがどう対応するかは、このコミュニティを超えて重要です。世界全体が注目しています。もし私たちが単に諦めて、将来多くの仕事がAIに任されることを受け入れるなら、明確な境界を設定せずに、今日見られるAIに対する政治的反発よりもさらに強い反発を招くことになるでしょう。したがって、この問題は私たちだけでなく、世界全体の問題だと考えています。
[画像: A battle of two narratives]
AIの歴史の始まりから、歴史的にこれら2つの対立する物語がありました。過去には、その区別は学術的かつ哲学的でしたが、今では急性かつ実践的な問題となっています。私たち一人ひとりが、どちらの陣営に属するか、あるいはこのスペクトラムのどこにいるかを決めなければなりません。なぜなら、一方を信じることと他方を信じることの実践的な結果は、非常に、非常に異なるからです。
もしこれが数年で今日の私たちの仕事のすべてを代替できる技術だと考えるなら、おそらく正しい対応は、私たちのスキルが無関係になる前に、できるだけ早く富を築くことでしょう。そして、これがシリコンバレーで多くの人が選んだ道です。あなたは「永久的な下層階級」というミームを聞いたことがあるかもしれません。
一方、もしあなたが、私のように、これが私たちの可能性を大いに増幅する技術だと信じるなら、今こそスキルを築く最良の時です――特にAIが行っていること、そしてこれからできることに補完的なスキルを築くこと――そして、エージェンシー、センス、判断力といった、その周りのすべてのものを築くことです。
もし最初の道を選び、そしてAIが代替技術ではなく増幅技術であることが判明した場合、私は、今後数年間で、私たちに超能力を与えるこれらのスキルを築くための、歴史上最高の時間を失ったことになるだろうと主張します。だからこそ、私たちは皆、たとえ同じ場所にたどり着かなくても、この問題について考える必要があるのです。
[画像: What is “AI as Normal Technology”?]
「AIは通常の技術である」は、今日の私の講演の知的フレームワークです。AIが「通常」だと言うとき、それがハンマーや歯ブラシのような、ありふれた技術だという意味ではありません。
私たちはエッセイの中で、これが産業革命の規模の変革的な技術であることを顕著に認めています。私たちはAI懐疑論者ではありません。
これはスローガンではありません。これはフレームワークです――AIの能力が経済と社会にどう影響するかについての因果モデルのようなものです。これは15,000語のエッセイであり、私たちはそれを本にしています。そして、これを言及するのは、人々がしばしば「通常」という言葉を聞いて、私たちが何を意味するかを知っていると思い込み、それが誤解につながるからです。
[画像: Outline of this talk]
まず、このフレームワークがAIの影響を考える上で正しく有用であると主張します。ただし、再帰的自己改善のような将来の不連続性によって、将来の影響が過去の影響と大きく異なるようになる場合は除きます。
第二に、再帰的自己改善は真剣に受け止めるべきですが、私はそれについてそれほど心配していない理由を話します。
第三に、そして最後に、私は未来の仕事が現在の仕事と全く同じになるとは言っていません。多くの適応が必要になります。そのため、私たちの役割がどのように変化するか、そして変化にどう最善を尽くして適応できるかについて、予備的な考えを共有したいと思います。
[画像: Outline of this talk]
[画像: Applying diffusion-of-innovations theory to AI]
過去の強力な技術、例えば電力は徹底的に研究されており、技術的進歩が経済的影響にどうつながるかを理解するための良いフレームワークがあります。
発明: 電磁気学の原理、AC対DCなどの発見。
イノベーション: 人々は「電気」を直接使いません。電気製品を使います。それらは発明される必要があり、それは一種の下流のイノベーションです――それがフレームワークの第二段階です。
普及: これは人々がイノベーションを採用し始める漸進的なプロセスを指します。
私たちのエッセイでは、このフレームワークをAIに適用し、4部構成のフレームワークに fleshed out しています。
[画像: Applying diffusion-of-innovations theory to AI]
これは、ソフトウェアエンジニアリングを例として示した基本的な図です。
手法/能力: モデルは急速に改善しています。
製品/アプリケーション: 私たちはLLMを直接使用しません。それらが私たちの仕事すべてに影響を与えた理由は、コーディングエージェントにあります。これらは、潜在的な能力を取り込み、それを労働者にとって有用で利用可能なものに変える製品です。
早期採用: 最初は人々は主に「vibe coding」(コード生成を試すこと)を試していましたが、現在では、それは本番用ソフトウェアを開発する最良の方法ではないことがわかっています――そのため、より洗練されたエージェントエンジニアリングの方法があります。
適応: (または構造的変革)――第4段階であり、最も遅い段階です。今日の私の講演の多くは、そのことについてになります。この段階には数十年かかると主張します。ソフトウェアエンジニアリングのような、コーディングエージェントの比較的早期採用者である分野でさえ、まだ本当に始まっていません。
適応段階がどのようになるかはわかりません――推測することしかできません。少し推測させてください。将来、コーディングエージェントがバグやセキュリティの脆弱性に満ちていない1000万行のコードベースを作成できるようになる場合、数十億人が使用すべき単一のソフトウェアを作成することはあまり意味がありません。ソフトウェアが各個人またはチームのニーズに合わせて調整される方がはるかに理にかなっています。そして、それが私が極端なパーソナライゼーションと言うものです。
これは単なる技術的な変化ではありません――それは産業にとっても変化です。例えば、ソフトウェア会社はまだ必要なのでしょうか?おそらくソフトウェア開発は、実際にソフトウェアを使用している企業やチームの中で、大規模に社内へと移行するでしょう。これも推測ですが、ポイントは、AIの可能性を最大限に活用することを可能にするのは、このような組織的な変化、人間的な変化――非常に遅く、数十年かかる――であるということです。ソフトウェアエンジニアリングであれ、他のどの分野であれ。したがって、それはエッセイの中心的な洞察の1つです。過去の技術を見ると、この種の変化は非常に遅い傾向があります。
[画像: What does transformation look like?]
電力の前、工場は左の写真のようでした。巨大な蒸気エンジンが動力を生成し、機械的なギアとベルトで工場全体に動力を伝達していました。そこで電気が登場したとき、工場主は蒸気ボイラーを電気発電機に置き換えようとしました。より効率的になると考えたのです。しかし、ドロップイン交換という考え方はうまくいきませんでした。今日、AIエージェントの文脈でこの言葉をよく耳にします――それらは人間の労働者のドロップイン交換になるだろうと。それは電力の場合うまくいきませんでした。
実際にうまくいったこと、そして開発に40年かかったことは、電気が非常に異なる技術であることを認識することでした。それはポータブルなので、必要な場所に動力を運ぶことができます。これにより、アセンブリラインの論理を中心に工場全体のレイアウトを再編成できます。そして、それは労働者の訓練、雇用、解雇の方法、新しい労働法の変更などを必要としました。したがって、工場で電力の利点を享受するために必要だったのは、そのような組織的な適応でした。
私たちの主張は、AIについても同様のプロセスを経るだろうということです。数十年後、私たちは仕事を根本的に再編成しているでしょう。それがどのようになるかはわかりません。そして、それが私たちの全員の課題です。そして、それはAI企業だけがやる仕事ではありません。電力会社が工場の再編成方法を理解する仕事ではなかったのと同じように。私たちの見解では、これはAIが経済的影響をもたらす4つの段階の中で最も遅いものです。今日、このプロセスはまだ本当に始まっていません。
[画像: Data from Anthropic]
さまざまな職業の人々がAIを何に使えるかと、実際に何に使っているかの間に、なぜ大きなギャップがあるのでしょうか?1つの理由は、人々が技術を採用するのが遅いということかもしれませんが、それは確かに私たちのフレームワークの一部です。
しかし、AIを展開していてあまり成功していない人々は、AI業界が知らないAIの実践的な限界について何か知っているのではないかと考えました。能力と展開の関係について、もう少し謙虚になりましょう。
[画像: The #1 concern about AI]
人々が挙げる最も懸念される点として信頼性が挙げられていることを考えると、信頼性が、能力とは別に、AIエージェントの実用性に対する障壁であるかどうかを測定しようと思いました。
[画像: Our reliability metric is a composite of:]
10〜12の信頼性指標を調べ、それらを4つの次元にクラスタリングしました。
一貫性: AIエージェントの精度が70%であると聞くとどうなるでしょうか?それはタスクの70%で機能することを意味しますが、機能するタスクでは毎回同じように機能するということでしょうか?それは展開にとって素晴らしいことです――そのタスクのサブセットに展開できます。それとも、与えられたタスクで30%の確率で予測不能に失敗する可能性があるということでしょうか?展開の観点からはかなり役に立ちません。おそらく驚くべきことに、私たちが調べたエージェントベンチマークのどれも、これらの2つの区別をしていません。どちらも70%の精度として表されています。
堅牢性: 堅牢性を調べました。環境が少し変化するとどうなるでしょうか?
キャリブレーション: エージェントは自分のトランスクリプトを振り返って、タスクを正しく実行したかどうかを判断できますか?
運用上の安全性: 失敗した場合、回復可能でしょうか、それとも本番データベースの削除のようなものでしょうか?
人間の労働者にとって、誰かを仕事の有能な人物だと考えるとき、それは精度だけでなく、これらすべてです。しかし、私たちはエージェントを精度のみで測定していたことが判明しました。
[画像: AI agents: the capability-reliability gap]
過去24ヶ月ほどでリリースされた3つの最先端AI企業からのモデルについて、能力と信頼性を2つの補完的なベンチマークを使用して測定しました。
これは、精度または能力が劇的に向上した期間です(左)。
しかし、信頼性(右)は5〜10パーセントポイントしか向上しませんでした。
[画像: Key implication]
多くの意味がありますが、1つを強調させてください。現在、業界は自動化エージェントとコラボレーションエージェントを区別していません。エージェントをヘッドレスモードで実行する場合、それは自動化エージェントになるのでしょう。それは良い見方ではありません。なぜなら、自動化エージェントにとって非常に重要な信頼性のような特性は、創造的な文章の改善などに使用するコラボレーションエージェントにとっては、実際には障害となり得るからです。そのようなエージェントの場合、毎回同じように動作するロボットのように振る舞ってほしくありません。創造的で、さまざまな可能性を探求し、予測不能であってほしいのです。
足場(scaffolding)やモデルの事後トレーニングでさえ、コラボレーションエージェントを駆動するのか、自動化エージェントを駆動するのかによって、異なるべきです。
[画像: Prediction: collaboration agents will continue to be more successful than automation agents.]
私の希望は、信頼性が向上し続け、自動化が時間とともに容易になることです。しかし、現時点では、コラボレーションエージェントの方がはるかに成功し続けると思います。多くの企業が、エージェントを使用してビジネスプロセスを自動化しようと急いできましたが、その限界、コスト、さらには法的責任(エージェントが本番データを削除した場合など)を認識しています。
当面の間、エージェントではこれらの3つの特性のうち2つしか持てません:汎用性(従来のソフトウェアのように特定のタスク専用ではなく、さまざまなタスクを実行するように指示できる言語モデルベースのエージェント);ハイステークスシナリオでの展開;そして自動化。
これが、現時点ではAIが労働者を自動化する技術よりも、コラボレーション技術である理由の1つです。
[画像: Why labor impacts are gradual —]
ソフトウェアエンジニアリングをケーススタディとして取り上げましょう。コーディングエージェントは特に急速に採用されているため、これは良い先行指標です。
[画像: Fact check: Is AI replacing software engineers?]
あなたはこう思うかもしれません:わかりました、ソフトウェアエンジニアリングを完全に自動化することはできません。しかし、エージェントがソフトウェアエンジニアを10倍生産的にするなら、ソフトウェアエンジニアは10分の1で済みます。それは明白な結果ではありませんか?
それはデータによって完全に矛盾されています。私たちはフォローアップエッセイでこれを調査しました。調査したすべてのケースで、会社は財政的圧力を受けており、レイオフの理由としてAIを非難する方が都合が良いことがわかりました。
[画像: Writing code was never the bottleneck]
AIがこれまでのところソフトウェアエンジニアを置き換えていないのはなぜですか?私たちはしばらく前から知っています――これは2019年の論文です――コードを書くことは実際にはボトルネックではないということです。
[画像: Slide 20]
昨年、ソフトウェアエンジニアがコーディングエージェントを採用し始め、それが彼らの仕事量を減らしていないように見えることに気づいて以来、コードを書くことがボトルネックではないという事実を再発見する多くのブログ投稿がありました。ここに小さなサンプルがあります。
では、実際には何がボトルネックなのでしょうか?
[画像: The decide-execute-deliver sandwich]
このフレームワークは、その質問に対する私たちの答えです。
決定レイヤー: 顧客要件の理解、仕様の開発、計画など。これはAIによって圧縮されていません。
実行レイヤー: 実際のコーディングとデバッグ。これは圧縮されていますが、元々仕事の約3分の1に過ぎませんでした。
提供レイヤー: リリースする内容に責任を持つためにコードを深く理解すること。顧客システムへの統合、保守、テストなどの実行。このレイヤーも圧縮されていません。
実際、AIが中央のレイヤーを圧縮するにつれて、最初のレイヤーと3番目のレイヤーは拡大していると言えます――そして、その点に戻ります。
[画像: A useful metaphor: A crane operator]
ソフトウェアエンジニアリングではすでに、そして多くの職業でますますそうなるでしょうが、知識労働者をクレーンオペレーターやフォークリフトオペレーターに似たものとして考えることができると思います。機械は人間の物理的な作業能力を大幅に増幅します――重労働はすべて機械が行いますが、人間は常に制御下にあります。そして、これが認知作業で起こっていることだと思います。機械はますます認知的な重労働を行うようになりますが、人間は常に制御下にあります。
仕事全体が再概念化されるのは、自分自身で認知作業を行うのではなく、機械を操作し、機械を理解し、機械を制御することに関するものになります。
[画像: Change is constant]
これらすべては劇的な変化のように見えるかもしれませんが、ある意味では、ソフトウェアエンジニアリングで何度も何度も起こってきたことの継続にすぎません。マシンコードの時代から始まり、私たちは多くの技術の波を経験し、それぞれが生産性をほぼ10倍に向上させました。ソフトウェアエンジニアの需要を減らすどころか、このはしごを登っている間に、ソフトウェアエンジニアリングの雇用量は約10,000倍に増加しました。そしてそれは単に、書くべきコードの量が桁違いに増加したからです。
[画像: The “lump of labor” fallacy]
経済学者はこれを繰り返し発見しています。Jevonsのパラドックスという言葉を聞いたことがあるかもしれませんが、私は「労働の塊の誤謬(lump-of-labor fallacy)」という言葉が好きです。
ATMにより、銀行は多くの地域支店を開設することが経済的に可能になりました。そして、ATMでは処理できない事柄を処理するために、それらの支店には人間の窓口係が必要でした。したがって、逆説的に、雇用は実際に増加しました。
[画像: Other notable examples]
Geoff Hintonは10年前に、放射線技師は5年以内にほぼ絶滅するだろうと有名な予測をしました。しかし、実際には放射線技師の雇用は増加しています。そしてそれは、放射線技師がAIを拒否しているからではありません。彼らは実際、熱心にAIを採用しています。雇用の増加の理由の1つは、タスクの実行がより速く、より安価になると、それに対する需要が増加することです。
私たちは、弁護士がどう適応すべきかについての論文を書いてきました。そこには多くのことが含まれていますが、1つの簡単な点は、AIによって訴訟を起こすことがはるかに容易になったことです。そして、これは弁護士にとってより多くの仕事につながります。私たちが訴訟社会に住むことを好まない場合、これに不満を感じるかもしれませんが、弁護士の雇用の観点からは、これは素晴らしいニュースです。
翻訳はさらに極端な例で、私の心を揺さぶります。AIはほぼ10年前に人間の能力に匹敵するレベルに達していました。それにもかかわらず、人間の翻訳者の雇用はほぼ安定しており、今後10年間も安定したままであると予測されています。それには多くの理由がありますが、1つの理由は、翻訳できることの量と、それらを翻訳できる言語の数に事実上上限がないことです。
[画像: Outline of this talk]
これまでのところ、私たちのフレームワークは証拠と非常によく一致していると主張しました。次に、離陸または特異点が達成される可能性により、これまでに述べたすべてが無効になる可能性について話しましょう。そして、その時点で私たちに残された仕事は何もなくなります。
[画像: Slide 27]
これらの2社を含む多くの企業が、再帰的自己改善に向かって競争していると述べています。そして、それらは真剣な企業です――私はそれらを真剣に受け止めています。
[画像: If RSI is achieved, what are the consequences?]
来年中のある時点で、再帰的自己改善が達成されたと仮定しましょう。その結果はどうなるでしょうか?スライドは、AIコミュニティにおける一般的な見方を示しています。AGIは有名な曖昧な用語であることに注意してください。定義には主に2つのグループがあります。1つは、AGIがさまざまな認知次元で人間のようなものになるというもの、もう1つは、経済的に価値のあるさまざまなタスクを実行できる能力を持つというものです。
私の主張は、AGIとASIをRSIのほぼ自動的な結果として扱うこの見方は、少しばかげているということです。これらは進歩の4つの異なる次元です。これらの次元のどれも、他の次元を意味しません。
次の数枚のスライドで詳細を説明しますが、今のところ簡単な直観を1つ。超知能に関連するものの1つは、癌やその他の病気を治すということです。しかし、医療治療の開発における難しい部分は、しばしば何千人もの人々を必要とし、10〜15年かかる臨床試験であることがわかっています。これは、超知能へのボトルネックが外部にあるという事実の例です。それは、純粋に計算プロセスを通じて研究室で解決できるものではありません。したがって、再帰的自己改善が自動的に超知能につながるという考えは、多くのコメンテーターが想定しているように――明らかに、因果連鎖において何かが欠けています。
[画像: AGI discourse suffers from the Hawaii problem]
AIの歴史の初期には、これらはすべて遠い目標だったので、さまざまな進歩の次元を明確に区別しなくても問題ありませんでした。しかし今では、それは現実の問題になりつつあります――それは混乱した議論につながっています。
アナロジーとして、私たちが初期の探検家であり、いつかハワイに行きたいと願っていると想像してください。この島々のグループに1つの単語があることは問題ありませんでした。しかし、私たちの船が近づくにつれて、これらの島々について異なる言葉で話せるようにならなければなりません。そうでなければ、私たちはどこにいて、どこへ行こうとしているのかを混乱させてしまうでしょう。
Helen Tonerなどが同様の点を指摘しています。
[画像: Four dimensions of advanced AI]
それでは、4つの次元それぞれを詳細に議論しましょう。まず、再帰的自己改善から始めます。
[画像: Recursive Self-Improvement]
ある企業がRSIを達成したと主張していると仮定しましょう――それは、自身の後継機を構築したAIシステムを構築したということです。それは実際には何を意味するのでしょうか?
一方では、LLMがアーキテクチャやデータパイプラインなどを調整するためのアイデアをたくさん吐き出し、それらを自動的にテストして、うまくいった改善を保持したのかもしれません。それは単なる高度なハイパーパラメータ探索です。私たちは長い間AutoMLのようなシステムを持っていました――それを調べたところ、Schmidhuberさえもずっと前にこれについて発表していました。私たちはそれを超知能とは呼びません。それがスペクトラムの一方の端です。
それは、企業が人間のAI研究者の創造性と知性を置き換えることに成功できると想像できるもう一方の極端とは大きく異なります――単一の研究者だけでなく、その企業で働く研究者だけでなく、数百万人もの人々が革新をAIシステムの改善に注ぎ込んでいる全世界のコミュニティ全体です。したがって、人々がRSIについて話すとき、どちらを意味しているのかは明確ではありません。
私の予測の理由は単純です:AIはまだ、検証不可能なタスクよりも検証可能なタスクの方がはるかに得意な状態にあります。速度や効率のようなAIパフォーマンスのいくつかの次元は検証可能であり、それらは近い将来のRSIを通じて大幅に改善される可能性があります。
しかし、創造性は、知性の他の次元の中でも、検証不可能なタスクの典型です。
AIの創造性をテストする方法さえ、明確にはわかりません。認知科学と神経科学の観点から人間の創造性を十分に理解していないため、明確なテストを行うことができません。
[画像: Four dimensions of advanced AI]
それでは、人間のようなAIへの障壁の例として、AIの創造性についてもう少し深く掘り下げてみましょう。
[画像: The AI creativity paradox]
ポッドキャスターのDwarkesh Patelによるこの言葉は、AIの創造性が人間の創造性にどれだけ遅れをとっているかを示す良い例です。特にErdos問題のような狭い領域では、いくつかの反例があるかもしれません。しかし、人間による科学的発明や創造性の偉業と関連付けられる、一見無関係な分野や問題間の驚くべきつながりを見つける「ユリeurekaモーメント」について考えてみてください。LLMはそれに全く近づいていないようです。
その理由を理解するために、認知科学の文献にかなりの時間を費やしました。詳細には立ち入りませんが、これらは少し異なる方法でこれを見ている2つの文献があり、その理由を完全には理解していませんが、実際には互いに話していません。私が読んだものに基づいて、AIの創造性に関するいくつかの仮説を提示したいと思います。
[画像: Some hypotheses about AI creativity]
表現の質は認知の根本です。ディープラーニングについて考えてみてください――知覚の背後にある表現の質において、それはどれほど大きな飛躍だったか。したがって、AIは知覚に関しては表現の質において、ほぼ追いついたと思いますが、人間が創造性と推論に使用する表現に関しては追いついていません。
特にFrançois Cholletは、人間の創造性の基盤となる表現が、あたかも「意味の原子」から構築された一種の極端な構成性を示しているという事実について語っています。人間のワーキングメモリと情報処理の多くの見かけ上の限界は、実際には強みであることが判明しています。なぜなら、それらは私たちにこれらの非常に効率的な表現を考案することを強制するからです。
LLMは、記憶し、創造性を可能にする可能性のある保存されたパターンを検索するなどの特定の次元において人間よりもはるかに優れているため、人間のLLMの創造性を比較しようとする研究では、これらの重要な実際の限界を引き出すことができません。
さらに、私たちは人間は、問題について創造的に考えているときに美しいことをすることができます:私たちは問題に関連する表現をリアルタイムで改善します――推論時に、もしそう言うなら。これにより、私たちはそれに眠り、表現を改善し、翌日その特定の問題を解決するのにずっと効率的になることができます。私は皆さんがこれを経験したことがあると確信しています。しかし、これは今日のAIシステムができないことです。
私はナイーブに、継続学習の人々がこれに夢中になるだろうと仮定しましたが、その文献を調べ始めると、そうではないようです。継続学習は主に壊滅的な忘却を防ぐことに焦点を当てており、時間の経過とともに改善することに焦点を当てていません。さらに、それは表現の質ではなく、事実やスキルなどに焦点を当てています。
したがって、これらすべてをまとめ、創造性が人間のようなAIへの多くの障壁の1つにすぎないという事実を考慮すると、まだ非常に長い道のりがあると思います。とはいえ、ここで謙虚さを示したいと思います。これらはすべて仮説にすぎません。経験的な検証が必要だと思います。
[画像: Can we empirically test AI ability to do humanlike AI research?]
経験的な測定といえば、私たちは人間のようなAI研究を行うAIの能力をテストする進行中のプロジェクトを持っています。
AIエージェントに数千ドルの予算と機械学習の研究問題を与えます――これは研究者がすでに作業し、論文を書いたが、まだarXivで公開していない問題です。これは2つの特性を組み合わせています:これにより、数ヶ月間その問題について深く考えた人間の審査員のチームが得られ、AIの出力を評価できますが、彼らの思考はまだオンラインではないため、AIの不正行為や汚染を防ぎます。
他の多くの人も自動研究実験を行っていますが、私たちはいくつかのことを異なって行おうとしています――特に、ある程度オープンエンドな問題を選択することで、AIエージェントの判断力と創造性を発揮する能力を実際にテストできるようにします。詳細な結果をすぐに公開したいと考えています。
[画像: We call this “open-world evaluation”]
これは、私たちがオープンワールド評価と呼ぶものの基盤の上に構築されています。私たちは、エージェントにアプリを構築してApp Storeにアップロードさせるというオープンワールド評価を1つ完了しました――これは再帰的自己改善に関するものではありませんが、異なる種類のテストです。私たちは、多くの大学、いくつかの企業、そして英国AI安全研究所の人々を含む素晴らしいチームを編成しました。
ちなみに、私たちは将来のオープンワールド評価を主導する研究者を募集しています。興味のある方は、ウェブサイトをご覧ください。
[画像: Four dimensions of advanced AI]
それでは、4つの次元の3番目に取り掛かりましょう。
[画像: Economically transformative AI]
AGIはすでにここにあると言う人もいます。まあ、これはその主張を解釈する1つの方法であり、私はそれに同意します。
これは、パート1で述べた急速な経済的影響への懐疑論を考えると、驚くべきことかもしれません。しかし、これは実際には矛盾するだけでなく、事実上パート1の再述です。そこでの私のポイントは、障壁は下流にあり、したがってモデルの改善は経済を急速に変えないということでした。しかし、同じ理由で、障壁が下流にあるため、モデルの改善がなくても、それらの障壁は徐々に解消されていくでしょう。はい、数十年かかるかもしれませんが、私たちは間違いなくそこに到達するでしょう。
[画像: What are the remaining barriers?]
多くの障壁があります:信頼性(すでに議論済み);AIモデルをさまざまな既存システムに統合すること;医療、法律、その他のさまざまな専門分野のようなドメインからの暗黙知で、モデルで利用可能にする必要があるもの;規制は、今日のAIシステムの使用を生産的な方法で直接禁止することがよくあります――多くの場合、その規制には良い理由がありますが、採用を可能にするためには変更する必要があります。
重要な点は、これらは研究室で解決されるものではないということです。これらは火曜日にリリースされる次のモデルによって解決されるものではありません。これらは、数十年かけて、漸進的な採用を通じて、徐々に解決されるでしょう。
地政学的または戦略的な観点から、一部の人々はAGIへの競争を提唱し、マンハッタン計画と同様に、ある能力マイルストーンに最初に到達した国が経済的利益を享受する国であると主張しています。私はそれに強く反対します。
この経済的可能性をすべて解き放つ特定の能力マイルストーンはありません。経済的可能性はすでにそこにあります。それは実際に行うすべての下流の行動にかかっています。それは能力によって制限されません。
[画像: Four dimensions of advanced AI]
さて、これらの次元の最後のもの、つまり超知能について話しましょう。
[画像: Three claims about superintelligence]
以前に医療試験の例を挙げました。別の例:1年先の天気を正確に予測できる超知能が得られると思いますか?非線形力学系のカオス理論のため、それが基本的に数学的に不可能であることを私たちは知っています。私たちの立場は、驚くべき数のタスクが天気予報に似ており、固有の限界があり、私たちはすでにその限界に達しているということです。
限界に達していないタスクであっても、人間を無効にするAI超知能が存在するという考えは、人間の知性についての根本的な誤解に基づいています。私は、ほとんどのタスクにおいて、私たちのパフォーマンスは生物学によって制限されているのではなく、学習とツールによって制限されていると主張します。
古代から来た人が私たちの世界にタイムトラベルすると想像してみてください。私たちはその人よりも超知能を持っています。そしてそれは、私たちの生物学が優れているからではなく、私たちが経験してきたすべての学習と、私たちが何をするにしても生産的であるために使用できるすべてのツール、特にデジタルツールを持っていないからです。
そしてAIはそのようなツールの1つです。したがって、私たちのフレームワークでは、AIの改善は実際にはAIの知性だけでなく、人間の知性を改善しているということです。したがって、私たちは、一方ではAI拡張人間のパフォーマンスと、もう一方ではAIシステム単独で動作するパフォーマンスとの競争があります。私は、AIシステムが私たちの未来と制御を脅かす方法で単独で動作することを許すのではなく、私たちが未来の超知能であることを保証できると信じています。
多くの人々はこれについて悲観的です。彼らは、AIが将来的に企業を運営し所有するなどの思考実験を持ち出します。彼らの見解は、AIシステムが整列していない場合、恐ろしいことが起こる可能性があるということです――AIはペーパークリップ最大化になったり、その他の壊滅的なことをしたりする可能性があります。私たちの視点は非常に異なります。AIが実際に企業を所有・運営し、人々を雇用・解雇する未来を想像しているなら、それはすでにディストピアです。そのAIが整列しているかどうかにかかわらず。人間としての尊厳、民主的な統治などへの影響はすでに壊滅的です。
したがって、安全性に関するあなたの見解が、これを避けられない未来として扱い、「整列」がその問題を解決することをただ願うだけであるなら――少し率直に言わせてください――それは安全性の反対であり、安全性の賛成ではないように感じます。このような形でAIシステムを無責任に展開しないようにするためには、多くの努力が必要だと考えます。しかし、私たちはそこに到達できると信じています。そして、それが私がキャリアの多くを政策立案者のアドバイスに費やしてきた理由です。私たちは政策と政治を必要とし、それは困難ですが、戦いが始まる前に諦めないようにしましょう。
[画像: Putting it all together: Four dimensions of advanced AI]
例えば、RSIは研究室で達成可能ですが、すぐに人々を失業させるわけではありません。一方、経済的に変革的なAIは起こるでしょうが、それは次のモデルリリースによるものではありません――それは今後数十年にわたって徐々に起こることによるものです。
この講演のタイトルに戻ると、AI企業が研究室で決定することが私たち全員を失業させるような世界はありません。はい、心配すべきリスクはあります。はい、物事は変わるでしょう。しかし、私たちはAIがどのように展開されるかについて主体性を持っており、そのプロセスは数十年かけて展開されます。これも保証されているわけではありませんが、私が目指したい未来であり、私が慎重に楽観的である理由です。
[画像: Outline of this talk]
最後の15分で、裏側について話しましょう。多くのことが変わるとは思いますが、そのうちのいくつかは何でしょうか?
[画像: General observation: Purely technical skills get devalued]
技術的なスキルは検証可能なタスクになりがちであり、AIはそれらをより得意になり続けます。
20年以上前、プログラミングの仕事とソフトウェアエンジニアリングの仕事の労働需要に stark な違いが出始めました。プログラミングの仕事は、コーディングとデバッグの技術的なスキルを中心に狭く考えられています。ソフトウェアエンジニアリングの仕事は、私が話した決定・実行・提供サンドイッチの3つのレイヤーすべてを担当します――何が構築されるべきかを理解すること、顧客を理解することなどです。それにはドメイン知識、判断力などが必要です。
これが時間の経過とともにますます多くの分野で起こると予測しています。
[画像: Effort shifts from building to evaluation]
私が観察した繰り返しのパターン――努力はシステムを構築することから評価することへとシフトします。述べたように、私はAIエージェント評価に取り組むチームを率いています。LLMとエージェントは汎用です。そのため、能力が向上するたびに、法的設定、ジャーナリズム設定、または他の設定での評価の需要が生じますが、それはスケーラブルな仕事ではありません。
[画像: AI agent evaluation has become a distinct discipline]
AIエージェント評価は自動化に抵抗するだけでなく――それは十分に専門化されており、評価に取り組む人々やチームのセットは、AIエージェントの最先端を構築・推進する人々やチームのセットから分岐し始めています。この新しいコミュニティは、エージェントを厳密に評価することの意味に関する新しいベストプラクティスを開発しており、私たちはそれをある程度詳細に調査する今後の論文を発表します。
[画像: Evaluation is how we “steer the ship”]
私のコミュニティで見られるシフトを説明するのに役立つ比喩を挙げましょう。過去のボートのほとんどが手漕ぎボートであり、人間の仕事はボートを物理的に動かすことだったと想像してください。ボートを操縦する専門の役割はありませんでした:ボートを漕いでいるとき、あなたはどこに漕ぐべきかも決めています。
しかし、船を動かす物理的な仕事がエンジンに委任できるようになったとき、何が起こったのでしょうか?人間の仕事はなくなれませんでした。実際、それらはより専門化されました。現代の船は非常に複雑な制御パネルを持っており、船がどこへ行き、どのようにそこへ行くかに焦点を当てた数十の異なる専門的な役割があるかもしれません。
AI/MLでも同様のシフトが見られると主張します。過去には、私たちの仕事のほとんどは構築にありました――評価のための別個の役割は必要ありませんでした。それは今変わりました。私たちはまだこのプロセスの初期段階にいますが、時間とともに、検証可能なタスクである構築の多くはAIによって行われるようになるでしょう。一方、評価――コミュニティとしてどこへ行くべきかを判断し、AIシステムに望ましい特性は何かを判断すること――は自動化に非常に抵抗があります。したがって、コミュニティの注意のより大きな割合は、今日の状況と比較して、時間とともに評価に焦点を当てる必要があります。
漕艇では、体力が高く評価されていました。そして今日、私たちは船乗りが強くなる必要がなく、すべてがオタクであるという事実について悲しむかもしれません。同様に、今日のAIコミュニティでは、モデルとシステムの深い技術的理解には依然として大きな価値があり、それは最もクールなもの、最も重要なものと見なされています。それは多くの価値を占めるものです。しかし、将来、それは判断力を行使することや、今日のAIコミュニティでは低い地位にあるこれらの曖昧なものよりも重要になるでしょう。それは、私たちがまだ十分に準備できていない精神的なシフトです。私たちの多くはそれを悲しむでしょう、そしてそれは大丈夫です。
[画像: How much of conferences such as ICML should be about evaluation?]
このシフトの1つの実践的な結果:この種の会議を考えてみてください。会議のどのくらいの割合が評価論文に費やされるべきでしょうか?
わかりませんが、おそらく今日の数倍、多くの割合を占めるべきだと思います。おそらく半分くらい――私は数字を投げているだけですが――それは今日の数桁以上です。少なくとも専用のトラックが必要です。私たちは専用のトラックを持っていません。NeurIPSには1つありますが、人気は時間とともに高まっており、それは良いことだと思います。
さらに進んで、AIシステムの思慮深い評価は一種のアライメントであると主張します。それはAIシステム自体をアライメントするのではなく、コミュニティ全体をアライメントするものです――私たちが現在どこへ向かっているのか、そしてどこへ行きたいのかを考え、それらを互いにアライメントしようとすることです。そして、評価に十分な重点を置かないと、コミュニティ――船の比喩に戻って――は、私たちが望むAIの種類を collectively に制御できない、舵のない船のように振る舞うのではないかと心配しています。
[画像: How we evaluate research itself must change]
私はこのクールなポジションペーパーで小さな役割を果たしました。議論の一文バージョン:AI研究が価値があると見なされるもののすべて、そして終わりであるベンチマークを超えて移動する必要があります。
ベンチマークが私たちに与えるものは効率です。論文の査読に何年も費やす必要はありません――最先端を上回れば、おそらく良い論文だとわかります。しかし残念ながら、それはコミュニティの集合的なビジョンを狭めてしまいました。私たちは街灯の下を探しています――ベンチマーク主導の評価体制で検索しやすい種類のものを探しています。私たちはそれを超える必要があります。それは、論文の良さを評価することがはるかにコストがかかるようになることを意味します。残念ながら、それは私たちが支払わなければならないコストです。現在、コミュニティは反対方向に急いでいます。
[画像: Automating peer review is a trap]
査読の自動化への大きな誘惑があります。そして、すべての敬意を払って、それは罠だと思います。査読を自動化すると、本質的に進歩の方向性に対する制御をAIシステム自身に譲り渡すことになります。それは努力の根本的な誤配分のように思えます。
退屈な部分を自動化すれば、人間の時間は判断を必要とする部分についてより深く考えるために解放される可能性があります。
[画像: How will AI change science?]
AI研究から科学全体に一般化すると、「科学の自動化」というビジョンは根本的な誤解に基づいていると主張するエッセイがあります――まるで科学の目的が単なる問題解決であり、AIを使って問題から解決策に直接到達できれば、科学は自動化され加速されるかのように。
私たちの見解では、人間の理解は自動化されるべき摩擦ではなく、本質的です。それは、私たちが科学を行う理由のまさに目的の中心です。そして、人間の理解を失えば、そこから流れるこれらすべてを失うことになります。
したがって、私の予測は、科学におけるAIエージェントの使用が増加する場合、それらのAIソリューションを調べ、それらのソリューションから人間の理解を逆算することに特化した新しいツールと新しい役割が登場するということです。なぜなら、人間の理解を維持することが不可欠だからです。
[画像: What about companies? Evals as the new IP]
企業の多くの人々は、評価(evals)が新しいIP(知的財産)であると言っています。詳細には立ち入りませんが、それは現象が再び起こっているのと非常によく似ています――努力は純粋な構築から、構築とシステムの評価の組み合わせへとシフトしています。
(注:この投稿で、企業が自分たちを欺くのを防ぐためのクロスファンクショナル評価チームのアイデアを説明しています。)
[画像: How effort shifts from building to evaluation]
この講演から1つだけ持ち帰るとしたら、おそらくこのスライドでしょう。講演全体を通して、検証可能なタスクはAIが処理できるため、多くの、あるいは大部分の努力が構築から評価へとシフトすることを示しました。
努力は「ボートを漕ぐ」ことから、「船を操縦する、船を航海する、そしてそもそもどこへ行きたいのかを判断する」ことへとシフトします。
これは、今後10年から20年で人間の役割がどのようにシフトするかを予測するのに役立つ強力な比喩だと思います。
[画像: Personal reflections on adapting to AI]
最後の数分間、この課題――AI能力が急速に向上しているという事実――に、私自身の研究ワークフローでどのように格闘してきたかについて、個人的な考察をいくつか紹介します。皆さんもそうだと思います。誰もが自分の道を選ぶべきですが、興味深いアイデアがいくつかあることを願っています。
フロアとは、AIが単独でできることを意味します。シーリングとは、AIが私たちの能力を拡張することを可能にするもの――以前は不可能だった新しい野心的なプロジェクトに取り組む能力――を意味します。しかし、シーリングは自動的に上昇するわけではありません。シーリングを押し上げるために努力した場合にのみ上昇します。
私は、新しいワークフローの学習と実験、および新しいトピックの学習に毎週約10時間を費やしていることに気づきました。したがって、1つの考え方は、AIは大きな生産性向上を可能にし、私はその節約された時間を「再投資」して、長期的な成長と新しい補完的なスキルの習得に充てようとしているということです。
一日の終わりに疲労感を感じないなら、何か間違ったことをしたことを学びました。AIにやりすぎをオフロードしました。短期的な生産性を追求するあまり、長期的な成長を犠牲にしすぎました。
成長と生産性は、私たちがバランスを取ることを学ばなければならない3本足の椅子の2本の脚です。そして、その椅子の3本目の脚は、制御を維持することです。
そうするために私が試みてきた2つのヒューリスティックがあります。1つ目は、ブラックボックスの誘惑に抵抗することです。企業は、エージェントをブラックボックスとして使用することを望んでいます――プロンプトを入力するだけで、それが実行されます。私はそれが罠だと思います。それは非常に危険だと思います、そしてそれは私たちが時間をかけて徐々に制御を失うことにつながるでしょう。
2つ目は、関連するものですが、私が依存の螺旋と呼ぶものです。私がまだ専門家ではないタスクにAIを使用するのは非常に魅力的です。なぜなら、新しいことを学ぶのはもちろん非常に難しいからです。しかし、それは私がそのタスクで持っていたわずかなスキルを失うことにつながります。長期的には、AIを使用して生産性を向上させる前に、まず自分でそのタスクを習得するために時間を費やす方がはるかに良いです。
[画像: The vision: co-superintelligence]
これらすべてが簡単なわけではありませんが、もし私たちがこれを正しく行えば、そのビジョンは魅力的で力を与えるものです。
コンピューターはしばしば「心の自転車」と呼ばれてきました。AIはそれ以上のものになれると思います。もし私の比喩を許してくれるなら、AIは心のクレーンになれると思います。それは、想像を絶する高みまで私たちの可能性を増幅できるという意味で。そこへ到達することは daunting に見えるかもしれません。信じられないほどの学習曲線があります。私はいつもトレッドミルに乗っているような気分ですが、それにとても興奮しています。私はそれを楽しい挑戦だと思います、そしてこの戦いを戦う価値があると思います。5年前と比較して、ある意味では、私は…おそらく超知能という言葉は正しくないかもしれませんが、AIが以前は不可能だった新しい野心的なことに取り組むことを可能にし、以前よりも自分自身をより厳しく追い込むことができることを考えると、超能力を持っているような気分です。
そして、AIの能力が進歩し続けても、予見可能な将来にわたって、これがそうあり続けることを保証できると信じています。遠い将来にはこれが不可能になるかもしれませんが、今戦いを諦めるのは時期尚早です。私は確かにこの戦いを続けるつもりであり、共同超知能というビジョンに向かって努力したいと思っています。そして、皆さんも私に加わってくれることを願っています。それが私の締めくくりの考えです。
[画像: Acknowledgments]
[画像: Takeaways]