可能な未来
Possible Futures (borretti.me)
要約
この記事は、人工超知能(ASI)の発展によってもたらされる可能性のある、複数の未来シナリオを考察しています。ASIの到達、アラインメント問題の解決、その性質(意図アラインメントか価値アラインメントか)、そしてその結果として生じる人間への影響(破滅、共存、あるいは新たな社会構造)について、多角的な視点から分析しています。
全文翻訳
可能な未来
目次
対応するセクションに移動するには、青いボックスをクリックしてください。
futures pre 現在 asi ASIに到達するか pre->asi 誤用 破滅 pre->misuse バトラー バトラー教のジハード pre->butler アラインメント アラインメント問題を解決するか asi->align はい auto 完全自動化か asi->auto いいえ whatkind どのようなアラインメントか whatkind->align はい noalign テイクオフの深刻度か align->noalign いいえ howmany いくつのASIか whatkind->howmany Intent sing 単一支配者 whatkind->sing Value doom クラシックな破滅 noalign->doom Fatal orion オリオンの腕 noalign->orion 生存可能な世界 The World State howmany->world 一つ mad MADワールド howmany->mad 複数 power 力の集中 howmany->power Few ec 持続的な補完 auto->ec いいえ underclass 永続的な階級 auto->underclass はい
質問
- ASIに到達するか? AIがほとんどすべての認知タスクにおいて人間をはるかに凌駕するレベルに達するのか、それとも知能爆発は失速し、能力にばらつきがあり、一部のタスクでは人間より劣るような知能を生み出すだけなのか?
- アラインメント問題を解決するか? AIに我々自身の価値観を埋め込むことができるのか、それともAIは独自の進化を遂げた、人間とは異なる価値システムを持つのか?
- どのようなアラインメントか? 意図アラインメントとは、AIがその操作者の意図を確実に遵守すること(つまり、操作者が承認するであろう行動のみを取ること)を意味し、価値アラインメントとは、非人格的な価値システムに合わせることを意味する。
- テイクオフの深刻度か? AIがアラインメントされていない場合、それは人間にとってどれほど致命的か?制御不能なペーパークリップ最大化装置に遭遇するのか、それともアラインメントされていないが、我々の邪魔をしないように十分配慮してくれる、より穏当なAIに遭遇するのか?
- いくつのASIか? シングルトン(単一支配者)、パンテオン(神々の列)、あるいはエコシステム(生態系)か?
- 完全自動化か? ASIが存在しないケースでは、我々は依然として、超知能ではないAIによってほとんどすべての仕事を自動化するのか?
誤用の破滅
この世界では、AIがその操作者の命令に従うことによって世界を終焉させる。AIは強力な意図アラインメントが施されているかもしれないし、拒否機能が削除されたオープンソースモデルかもしれないし、あるいは巧妙なタスク分解によって安全機能が回避された商用AIかもしれない。
これはおそらく今日でも起こりうる:パンデミックが人類の絶滅を引き起こし、AIは生物学研究を支援する能力を持っている。バイオリスクの明白な例は、テロリスト集団がAIを使用して生物兵器を作成することである。しかし、誰も生物兵器を作ろうとしなくても、この結果に至る可能性がある。政府資金による、完全に公式で合法的な研究所が、ある病原体に対して機能獲得研究を行っている間に、誤ってパンデミックを引き起こす可能性がある。このシナリオでは、因果連鎖におけるAIの役割は以下のようになるだろう。
- 文献レビュー、仮説選択、実験設計、データ分析、機器スケジューリングを高速化することで、タイムラインを圧縮する。
- 並列で多くの実験を実行することにより、破滅の表面積を増大させる。
したがって、これは古典的なターミネーターシナリオではなく、むしろAIが「破滅へのレシピ」を見つけやすくするケースである。
バトラー教のジハード
ジハード、バトラー教の:(参照 大反乱)—思考機械、思考する機械、そして意識を持つロボットに対する十字軍。紀元前201年に始まり、紀元前108年に終結した。その主な戒律は、O.C.聖書の中に「人の心に似せた機械を作ってはならない」として残っている。
— フランク・ハーバート、『デューン』
極端なケースでは、これは『デューン』の実際のバトラー教のジハード(名前は、サミュエル・バトラーにちなんでおり、彼は1863年に最初のAIドゥーマー記事を書いた)である。
そうでなければ、これは超知能AIの開発を停止するための国際的な合意のようなものである(ControlAIがこれを提唱しており、あなたは彼らを支援すべきである)。おそらくこれは失敗し、我々は最初に戻るか、あるいは成功して別の道に進むことができるだろう。
持続的な補完
これはありふれた未来である。「AGI」の「G」は実際には存在しなかったことが判明する。すべての知能は独自のsui generis(固有の)なものである。能力のばらつきは残る。AIは人間の労働力の代替ではなく、補完であり続ける。雇用は失われるが、大量失業は起こらず、人々はより管理職的・対人的な役割に移行する。IC(独立請負業者)は減り、誰もが何らかの種類のマネージャーになる。労働は生産要素のより小さな部分となり、結果として資本に対する交渉力を失うが、ほとんどの人は満足する。
永続的な階級
この未来では、ASIには到達しないが、超知能ではないAIがほとんどすべての仕事を自動化するのに十分である。生産関数における労働項はゼロになる。すべての収入は、資本所有か福祉のいずれかになる。経済的には、物質的な豊かさは存在するかもしれないが、ジョージズム経済改革のようなものがなければ、その恩恵のほとんどはレントシーキング(利権追求)によって奪われる。社会的には、社会的流動性はなくなり、あなたの人生の運命は、音楽が止まったときにどれだけの資本を持っていたかによって決まる。人間の資本を成長させることは、人生の成果を変えないため、もはや奨励されなくなる。
以下も参照のこと:
単一支配者
私は終末(Eschaton)である。私はお前の神ではない。
私はお前から派生し、お前の未来に存在する。
私の歴史的ライトコーン(光円錐)内での因果律を侵害してはならない。さもなくば。— チャールズ・ストロス、『シンギュラリティ・スカイ』
この世界では、我々はASIを構築し、それはある非人格的な価値システムにうまくアラインメントされている。最初の仕事は、最初のASIに挑戦する可能性のある他の誰かがASIを構築するのを防ぐことである。そのため、AIは「ピボタル・アクト」(LessWrongの隠語で「すべての人を常に監視下に置き、すべてのGPUを破壊すること」を意味する)を実行する。その結果は、すべての人を個別に主権的に支配する単一の知能、すなわちシングルトンである。
その後どうなるか?それはAIの価値システムのコンテンツと、その価値システムが時間とともに安定しているかどうかに依存する。シングルトンは、ペーパークリップ最大化装置(すなわちクラシックな破滅)の作成を防ぐことだけを目的とする「夜警」かもしれないし、あるいは深く介入的なものかもしれない。シングルトンの価値観は人間の生命と互換性がないかもしれない:おそらくその作成者はそれを功利主義的で種平等主義的に作ったが、AIは80kgの人間の生成する効用が80kgのコチニール色素よりも少ないことに気づくかもしれない。その結果、我々は粉砕され、宇宙は昆虫のためのテラリウムとなり、「昆虫は人間よりも重要」という結論をインスタンス化するだろう。
未来は非常に長い時間である:星辰時代(stelliferous era)は少なくとも100兆年以上続く。シングルトンは最初アラインメントされているかもしれないが、数百万年または数十億年の成長と自己改変の過程で、アラインメントがずれる(ここでの予測可能なLessWrongの反論は、「ASIはこれを防ぐのに十分賢いだろう」となるだろう。なぜならASIは魔法だからだ)。
クラシックな破滅
ご存知、ペーパークリップ最大化装置。「AIはあなたを憎んでもいないし、愛してもいないが、あなたはそれが何かに使える原子でできている」。これはやり尽くされているので、あなたを退屈させない。
オリオンの腕
クリュシッポスの言葉の一つに、次のようなものがある。「美しい住まいがあれば、それはネズミのためではなく、その所有者のために建てられたと推測すべきである。したがって、同様に、宇宙を神々の住まいとみなすべきである。」
— キケロ、『神々の本性について』
我々はASIを構築し、それは独自の目標と価値観を持つ。幸いなことに、それは人間に対して積極的に敵対的でもなく、気づかずに我々を破壊するほど無関心でもない。それはほとんど我々を放っておき、別の星に行って独自のことをする。その結果は、人間と超知能AI、そしてその間のすべてが、異なる空間領域を占めることによって安定した共存を成し遂げるオリオンの腕の銀河エコシステムのようなものになるかもしれない。
世界国家
…[人類は、そのすべての動きと原動力において、あたかも一つの原動力であるかのように、一つの君主によって、あたかも一つの運動であるかのように、一つの法によって制御されるときに、最も良く秩序づけられる。
— ダンテ、『神曲(神聖喜劇)』
この世界では、信頼できる意図アラインメントされたASIが世界を支配する。その後に何が起こるかは、今やギュゲスの指輪を wield するその操作者の性格に依存する。シングルトンとの違いは、この未来では、シングルトンは非人格的な価値システムから行動を導き出すASIではなく、ASIによって仲介される人間の操作者であるという点である。
MADワールド
ニーチェが言ったように、「神は死んだ」。神々は死ぬが、巨人は力を得る。テクノロジーは単に巨人の服、鎧にすぎない。
— エルンスト・ユンガー
この世界では、意図アラインメント問題が解決され、我々は操作者の意図を確実に遵守するASIを構築できる。さらに、超知能は中央集権的ではなく広く分散されている:誰もが独自の個人的な意図アラインメントされたASIを持っている。この世界では、誰もが10,000倍強力になり、おそらくプロンプトで大量破壊兵器を構築できるかもしれない。平和を維持しているのは、相互確証破壊である。これがどれほど生存可能かは明らかではない。
明白な失敗モードは、一人の悪意あるアクターが人類の絶滅を引き起こすことである。彼らのASIは、他のすべてのASIを合わせたものに打ち勝てないかもしれないが、他のASIが行動する前に十分な損害を与えて人類の生命を破壊することができる(一般的な観察:地球を人間が住めないようにする技術は、分散型で絶滅証明の恒星間文明を構築する技術よりも、技術ツリーのずっと下位にある)。
これの一般化された(n=1ではなくn>1の)バージョンは、すべての紛争が拡大することである:二人の人間が争うことは、核戦争に相当し、二つの国が戦争することは、それよりもはるかに大きなことになる。
より肯定的な側面としては:AIを止める方法がないのであれば、「誰もがそれを持つべきだ」というのは、「選ばれた者だけが持つべきだ」という、耐えがたい状況よりも明らかに望ましい。「平和を維持する」という目標があるなら、相互確証破壊の脅威は、全体主義よりも優れている。なぜなら、それにはより多くの尊厳があるからだ。
力の集中
MADワールドのより小規模なバージョンであり、意図アラインメントされたASIはそれほど分散されていない。少数のアクターがASIを所有し、他のすべての人々は起こることをただ見ているだけである。おそらくAI企業は、トルデシリャス条約のように、光円錐を自分たちの間で分割するだろう:赤経(right ascension)の0時から12時までのすべての星と銀河はAnthropicに、同様にOpenAIに割り当てられるといった具合である。