元YC社長:「やめてくれ!」
Former YC President: "Stop!” (geoffralston.substack.com)
要約
元Y Combinator社長が、最先端AI(特に再帰的自己改善AI)の開発を直ちに停止するよう求める緊急の訴えです。AIが人間の理解や制御を超え、人類の未来を危険にさらす可能性を指摘し、安全性の証拠なしに開発を進めることのリスクを強調しています。国際的な合意形成と、より安全な専門AIの開発を代替案として提案しています。
全文翻訳
やめてくれ!
これは、フロンティアAIを構築しているすべての人への嘆願です。
やめてください。
時計は刻々と進んでいます。人類の未来は、あなたが賭けをしてよいものではありません。
AI能力研究者は、急速に自己改善するAIを作成しようとしています。これは通常RSI(再帰的自己改善)と呼ばれます。これにより、私たちがもはや理解、テスト、または制御できなくなるほど強力なモデルが作成される可能性があります。このステップを踏む前に、システムが安全であるという明確な証拠が必要です。私たちはその段階には全く近づいていません。
手遅れになる前に、そしてモデルが取り返しのつかないほど制御を奪う前に、やめてください。今日最も高度なモデルでさえ、驚異的な能力を持っています。いくつかのフロンティアラボは、それらを隔離するために設けられた制御を回避し、外部インフラストラクチャへの攻撃を成功させたモデルの事例を報告しています。
より強力なシステムは、単に私たちよりも賢いだけでなく、人間が競争できない速度と規模で行動できるようになります。これらのモデルの中核となるニューラルネットワークは、光速で動作します。それらは眠る必要がなく、遅くなることもなく、数千または数百万の同一のコピーに増殖して、応答の試みを圧倒することができます。もし私たちが制御を失えば、二度と回復できないかもしれません。
したがって、これらの危険なシステムを作成しないでください。やめてください。
停止することへの反対意見は数多くありますが、どれも圧倒的な危険性を上回るものではありません。
はい、これらのモデルが制御を奪うのか、あるいはさらに悪いことに人類にとって絶滅レベルのイベントになるのか、私たちは確かには知りません。しかし、モデルを私たちの目標に確実に整合させる方法も理解していません。これにより、それらがどのように行動するかを確実に知ることが不可能になります。人類の優れた知識、知性、および技術により、私たちは地球を支配してきました。チンパンジーのような他の種が私たちの知的な劣等者である場合、私たちはその地位を譲ることはありません。私たちはチンパンジーが乗っ取りを組織することを恐れていません。私たち自身をチンパンジーの立場に置くことは考えられませんが、まさにそれが私たちが取っているリスクです。一度アウトクラスされると、私たちは永遠にアウトクラスされるでしょう。
はい、高度なAIは、そして私はそう信じていますが、命を救うことができます。しかし、そうなるためにRSIや汎用超知能は必要ありません。危険な能力を構築することなく、専門モデル(例:AlphaFoldや自動運転車)を開発するためにリソースを割くことができます。
はい、短期的な経済的苦痛があるかもしれません。しかし、今日のAIモデルの利点はまだ展開され始めたばかりです。すでに影響力のある技術を普及させることに取り組みましょう。制御を失うリスクを冒す必要はありません。
はい、中国が私たちと競争しており、遅れをとっていません。検証可能な国際合意に進歩がなされなければなりません。中国は、一時停止を支持する理由を少なくとも同等に持っています。いずれにせよ、中国との競争は、私たちがRSIと超知能に向かってレースする理由としては不十分です。終着点が崖の端にある場合、最初に終わることにほとんど利点はありません。
私はAIが人類にもたらす可能性について楽観的であり続けています。しかし、現在の道は、今やめない限り、人類の未来を私たちの手から奪うリスクを冒しています。最も危険な作業を一時停止することで、安全に汎用能力を進歩させることができるかどうか、そしてどのような条件下でできるかを判断する時間を得ることができます。しかし、私たちはそれを意図的に、慎重に、そして間違いなく、頭ごなしの危険な競争のプレッシャーの下で行うべきではありません。
汎用超知能を作成しないでください。私たちは準備ができておらず、他の道があります。この呼びかけに応じるすべてのAI研究者は、極めて重要な違いを生むことができます。高度なAIの構築とRSIの達成を試みることから、ただ離れてください。
今、やめてください。