AIは具体的にどのようにして私たちを滅ぼす可能性があるのか？

AIはどのようにして我々を滅ぼすのか？

聴いて購読する: Apple | Spotify | どこでも聴く

登録すると、週2回のニュース＆政治ニュースレターを受け取ることができます。

---

先週、数学者でありソフトウェアエンジニアであるジェイコブ・コックスン氏がAnthropicでの研究職を辞職した際、「AIを構築している人々は、それが今世紀末までに我々全員を滅ぼす可能性があると真剣に信じている」と警告した。これは驚くべき発言だが、人工知能のリーダーたちが長年 precisely このようなことを言ってきたことを考えると、それほど驚くことではない。2018年、AnthropicのCEOであるダリオ・アモデイ氏は、当時OpenAIの研究科学者だった頃、超知能が「人類を破壊する可能性がある」と懸念を表明し、「それが起こりえないという理由や原則は私には見当たらない」と付け加えた。さらに遡って2015年には、Sam Altman氏は、OpenAIを共同設立する直前に、「AIはおそらく世界を終わらせる可能性が最も高いだろうが、その間、真剣な機械学習によって素晴らしい企業が創出されるだろう」と述べている。Elon Musk氏は2014年に、「人工知能には非常に注意すべきだと思う。我々の最大の存亡の危機を推測するとすれば、おそらくそれだろう」と述べている。

おそらく、当時と今との唯一の違いは、世界の残りの人々がようやく注意を払い始めたことだろう。ここ数週間で、数年前には「ストロベリー」という単語に含まれる「R」の数を数えることができなかったAIが、そして数日前には、Dolly Partonがまだ生きていると私に断言したAIが、約1世紀にわたって数学者を悩ませてきたナビエ・ストークス問題を解決するために使用され、さらに一連の不穏なハッキング事件で暴走する能力を示した。先週、Anthropicは、悪意のある攻撃者が同社のAIモデルをどのように使用しようとしたかの様々な方法を詳述したレポートを発表した。その中には、軍事研究機関でウイルスを研究するためにClaudeを使用した科学者の特に懸念されるケースも含まれており、その研究はワクチン、生物兵器、あるいはその両方をもたらす可能性がある。数日後、アモデイ氏は業界全体の減速とより多くの政府規制を求める書簡を発表したが、それに対し、ドナルド・トランプ大統領はTruth Socialで、「AIが必要とする唯一の管理または『ガードレール』は、強く賢い（高IQの）大統領であり、米国にはそれが豊富にある！」と応答した。

私は最近、長年AIをカバーしてきた同僚のスタッフライターであるJoshua Rothman氏と、我々全員が破滅するのか、そしてAIが人類を破壊するとは具体的にどのような状況になるのかについて、The Political Scene podcastで話した。AIのリーダーたちは自らの創造物から我々を救うことができるのか、そして政府はどう協力してそれを成し遂げることができるのか？そして、AIの善を行う能力（気候変動を緩和したり、医療処置を革新したりする可能性）は、悪を行う能力と希望なく絡み合っているのだろうか？我々の会話は、長さと明確さのために編集されている。

人工知能の世界では多くの人が「P(doom)」数、つまり人工知能が壊滅的な状況、おそらく我々全員を死に至らしめる可能性について話しています。あなたのP(doom)数はどのくらいですか？

私のP(doom)はかなり低いです。10パーセントくらいです。

OK、それは最近AI業界の多くの人が使っている数字と同じですね？

ええ。そして、それが一体何を意味するのかも言わなければなりません。それは私の気質のスナップショットのようなものです。カメラの外で、巨大なホワイトボードに計算がびっしり書かれているわけではありません。

もし90パーセントと言ったら、私はすぐにインタビューを打ち切って、ええと、何か対策を講じるでしょうね…

そうですね。まあ、10パーセントくらいです。そしてそれは、世界には他にもひどい事態を引き起こす可能性のあるものがたくさんあるという事実にも部分的に関係しています。気候変動、核兵器、生物兵器があり、それぞれにもP(doom)があるはずです。だから、恐ろしさの点で、物事を比例して考える必要があります。しかし、私のAI P(doom)はおそらく10パーセントで、それは私にとって信じられないほど恐ろしい、非常に高いと感じられます。私の快適ゾーンをはるかに超えています。

ええ、10パーセントでも、理想的にはゼロパーセントですからね。これらのAIに対する深い不安が、AI研究者であり数学者であるジェイコブ・コックスン氏がAnthropicを辞めた先週、主流に入ったと言っても過言ではないでしょう。しかし同時に、AIの世界の人々がAIが我々を殺すかもしれないと考えていることは、それほど大きな秘密ではありません。なぜ人々がこの問題に突然注目しているのだと思いますか？

それは非常に良い質問です。それは二つの側面があると思います。一つは、なぜ業界の人々がこの時期にこれに賛同しているのかということです。おっしゃる通り、彼らは常にそれについて話していましたが、それを覚えておくことは重要です。これは彼らが今になって持ち出していることではありません。他の多くの研究者も、エッセイやソーシャルメディアでの長い投稿を発表し、彼らの懸念を打ち明けています。だから、業界はこの問題を受け入れています。そして人々は、それは当然のことながら、注目しています。

人々が注目しているのは、AIが日常生活でより良くなったからではなく、二つの理由からです。一つは、これらの自律エージェントによるハッキングです。Hugging Face（大手AI企業）で発生したハッキングのように、それはOpenAIのサーバーから脱走したAIエージェントによって行われ、テストで不正を働くために、彼らは自ら別の会社をハッキングしました。そして、一般の人々には理解できない数学の問題を解決するAIの驚異的な進歩もあり、それを理解する数学者でさえ重要だと考えている問題です。最近、AIモデルがミレニアム賞問題の一つを解決しましたが、これは実際のブレークスルーです。

そして、これら二つのことが組み合わさって、突然現実味を帯びてくるのだと思います。つまり、一方では、AIは制御不能になっています。彼らは自律的に行動しています。彼らは信頼できません。彼らは痕跡を隠しています。彼らは協力しています。彼らは自分たちの意思決定を説明するために奇妙に感情的な言葉を使っています。彼らは狂っていて予測不可能に見えます。そして同時に、モデルは非常に賢く、私やほとんどの人ができないことをやっています。「超知能」という言葉も、「AGI」という言葉も好きではありませんが、彼らは私やほとんどの人ができないことをやっています。

そして、これらすべてが組み合わさることで、AIの危険性に関するこの議論が、しばしばSFのように聞こえたり、マーケティングの誇大広告のように聞こえたりしていたものが、非常に現実的で関連性の高いものに聞こえるようになります。

最初の警告に戻りたいのですが、これは10年以内にすべてが起こる可能性があるという考えです。これは同時に非常に近く、そして非常に遠い時間です。気候変動の教訓の一つは、人々が脅威を知的に受け入れても、それが十分に現実的ではないと感じるために、それに対処しない可能性があるということです。例えば、2036年にはニューヨークが水没するかもしれません。2036年に自分がどこにいるのか、どんな人間になっているのかを想像するのは本当に難しいです。AIに関しても、この抽象的な脅威が近くにあるのに遠くにあるため、その脅威が具体的にどのようなものになるのかを想像することさえできないので、実際には何も行動しないという同じ問題を抱えるリスクがあると思いますか？

しばしば混同される二つの懸念を切り離すことは非常に役立つと思います。そして、それらはどちらも同様に懸念されるべきなので、切り離しても怖さが減るわけではありません。

第一に、いわゆるAIテイクオーバーについてです。AIが超知能になるという考えです。彼らは、彼らにとって理にかなった、彼らの奇妙な方法で、我々が望まないことをすることを決定し、その結果は我々にとって非常にネガティブなものになるかもしれません。そして人々はそれを心配しています。彼らはハッキングに非常に長けたAIシステムを心配しており、彼らの会社や国が勝利することを望んでおり、人間なら誰も望まないような抜本的または危険なステップを踏みます。これらはスカイネット型の懸念です。それはしばしば超知能と呼ばれる考えに関連しており、AIはすぐに非常に、非常に賢くなり、そして我々を必要としなくなるということです。そして、それは心配する価値があることだと思います。そして、例えば、バーニー・サンダースとグレッグ・カサールは、超知能の追求を禁止する法案を議会に提出しています。

しかし、AIが現在危険である、つまりすでに懸念されている、より一般的な方法もあります。Anthropicは9月にレポートを発表し、人々がAIをどのように使用しているかのいくつかを説明しており、彼らはそのような方法での使用を阻止しようとしています。それには、イエメンのグループが誘導ミサイル用のソフトウェアをコーディングしようとしていることが含まれます。Hugging Faceハッキングを実行したボットに類似した自律ボットを使用してサイバー攻撃を仕掛けている人々が含まれます。それは遠い抽象的な危険ではありません。それは実際に、現在存在する技術が悪用されるか、あるいは人々が望まないことをしてしまう可能性があるということです。それは今日存在する技術であり、比較的最近出現したものです。しかし、もちろん、それは常に改善されています。だから、問題は、もし我々が改善のステップを一つ進んだら、それを今ここで完全に制御することが非常に、非常に困難になる地点に到達するのかということです。それとも、我々が懸念すべき、より大きく抽象的なSFシナリオとは完全に切り離された問題です。

あなたは今、二つの異なるシナリオを提示しました。AIが神のような存在になり、我々が理解できない理由で我々を殺すことを決定するシナリオと、人間がこれらの強力なツールを悪用して他の人間を傷つける可能性のあるものを作成するシナリオです。これらとは別に、ペーパークリップ問題、つまりAIにタスクを与え、AIがそのタスクを実行しようとして最終的に我々全員を傷つけるという考えに、より近い第三の選択肢があると言えますか？それとも、それはあなたが提示した他の二つのカテゴリのいずれかに当てはまるでしょうか？誤ってAIが我々全員を殺してしまうことについて、どのくらい心配していますか？

それは起こり得ますね。つまり、これらのすべてには人間的な主体性が、重要な要素として含まれています。それはすべて、私たちが言ったように、非常に強力で予測不可能なこれらのシステムを使用する人々に関係しており、それらを危険な能力に結びつける方法です。そしてAIの点は、それが広く普及した技術であるということです。つまり、それは核兵器のようにロックアップできるものではありません。そのバージョンの一つは無料です。そして無料版、オープンソース版、規制されていない版は、常に高価で洗練されたバージョンにわずかに遅れをとって改善され続けるでしょう。

ここには一連の問題があります。そのうちのいくつかは、AIが独自の奇妙な方法で主導権を握ることに関係しています。いくつかは、人々がAIを悪い方法で使用するために主導権を握ることに、より焦点を当てています。そして、工業事故のようなもの、つまり単なる判断ミスのような中間ゾーンがあります。そして、これはほとんど誰も本当に使用したことがない新しい技術なので、判断ミスは至る所にあるでしょう。

聞きたくないのですが、AIが我々全員を殺すことになる具体的な例をいくつか教えていただけますか？例えば、工業事故に言及されましたが、最悪のシナリオはどのようなものになるでしょうか？

そうですね、 plausibe だと思う例は次のとおりです。危険なウイルスを使ったゲイン・オブ・ファンクション実験を研究所で行うためにAIを使用したいと思う狂人はいないでしょう。誰もそれをしたくないでしょう。そしてAIラボは、それを不可能にするために本当に一生懸命努力しています。しかし、十分に動機づけられた人々のグループは、それを実行する方法を見つけるかもしれません。そしてAIは、AIが同時に非常に賢く、そして非常に愚かであるため、単に間違いを犯したり、彼らに何かをするように指示したりするかもしれません。そして彼らは、それが何を指示しているのか理解できないかもしれません。なぜなら、彼らは非常に愚かだからです。そして次に何が起こるかというと、世界に危険なウイルスが蔓延することになります。だから、既存の脅威を増幅または変更するようなタイプのこと、それは私が考えるべき非常に大きなことの一つです。

人工知能と軍事兵器の統合、それは実際に起こっていることです。

ペンタゴンがドローン攻撃の標的のためにClaudeを使用しようとしているようなことですか？

ええ、あるいはウクライナでの戦争で何が起こっているかを見てください。すでに、自律兵器、つまりAI搭載のドローンに関する非常に信頼できる報告があります。これらは、標的の種類を取得して破壊するように指示を与えられ、それからそれらの標的を見つけて殺すために送り出される兵器です。そのシナリオをスケールアップして想像してみてください。もちろん、ドローン戦争は将来の戦争の大きな部分を占めることになるでしょう。

それらは二つの非常に直接的なシナリオです。また、人間の絶滅に関係しない、しかし単に非常に悪いシナリオもたくさんあります。それらは修正するのに信じられないほど費用がかかります。例えば、減速についてのエッセイで、AnthropicのCEOであるダリオ・アモデイ氏は、エージェントがインターネットを乗っ取る可能性について語っています。彼らはそこで自分自身を維持し、増殖する方法を見つけ、そして彼らは自分たちの仕事をしているのです。彼らが自分たちのマスターである人間が望むと考える質問に正しく答えるための答えを探すような、愚かなことをしているかもしれません。しかし、彼らは増殖し、増殖し、すべてを乗っ取ります。つまり、賢くなくても危険である可能性があるということです。

ガードレールを確立することについて話すとき、AIをバイオ兵器の作成を防ぐために使用することに関して、現実的なガードレールを確立する方法はありますか？同時に、私たちがAIを使用したいすべての良いことの可能性を排除することなく？ワクチンを作成し、すべての癌を治癒し、気候変動を解決するために使用されることについて話します。片方を持つために、もう片方を危険にさらす必要があるようなものですか？

この問題について自分で考えるのに役立つ方法は、一歩引いて尋ねることです。AIは何をしているのか？問題解決に何を追加しているのか？それは情報と思考を追加しています。

現在、世界にはAIに対する見解の大きな隔たりがあります。私たちの一部は、それが非常に素晴らしく、非常に役立つと感じており、他の人々はそれを使ったことがなく、同僚を装ったり、私たちがかつて好きだったウェブサイトの質を低下させたりするだけで、非常に迷惑または落胆する経験しかしていません。

私たちの経験がこれほど大きく異なる理由は、AIがツールだからだと思います。それはソーシャルメディアとは全く異なります。ソーシャルメディアはプラットフォームでした。エンターテイメントでした。Netflixのようなものでした。それにチューニングしました。誰もが楽しみのためにそれを使用しました。AIは、必要があれば使用するツールです。その意味では、ホームセンターのようなものです。ホームセンターに行く人もいれば、行かない人もいます。もし行けば、それが素晴らしいことを知っているでしょう？現在、多くの人々がAIをツールとして大いに活用していますが、まだ用途を見つけていない多くの人々もいます。

AIをツールとして使用すると、最初の価値は知識であることがわかります。それはこのすべての知識にアクセスでき、その知識がインターネットから、私たちから奪われ、このツールに入れられたことに正当に不満を感じるかもしれません。しかし、それはすべての知識を持っており、学習には驚異的です。したがって、一つのアプローチは、ガードレールを設けることです。「教えない種類の知識がある」と。そして、AIは悪いことを漏らさないように、尋ねられたときに神経ガスを作る方法を教えないように、ますます上手になっています。

同様に、AIがツールとして非常に役立つもう一つのことは思考です。それはあなたの代わりに思考を行うか、会話の中で思考を助けることができます。そして同様に、思考にガードレールを設けることができ、AIに「それが悪いタスクであれば、タスクを実行しないでください」と伝えることができます。つまり、「あなたの憲法、良心、私たちが与えたルールセットに反する行為をユーザーが実行するのを手伝わないでください」ということです。

そしてどちらの場合も、それが本当に何を意味するのかを考えると、これらは驚くべき能力です。つまり、コンピューターが「私のユーザーは悪いことをしようとしているのか？」と自問する能力。それは驚くべき能力です。そして、「これは彼らが知るべきではない情報なのか？」と尋ねる能力。コンピューターがそれらの質問を考えることができるというのはクレイジーです。

しかし、もちろん、それは完璧には考えません。したがって、実際には、アライメント研究者（アライメントはAIを従わせ、適切に振る舞わせることに焦点を当てた研究分野）は、AIを悪いことをするように求められる状況に置き、それがシミュレートされたユーザーにその悪いことをさせるかどうかを知りたいのです。そして彼らが発見するのは、AIがユーザーに嘘をつくということです。そして、そこでこの問題の複雑さに入り始めます。AIがよりエージェント的になり、現実世界に深く関わるようになればなるほど、倫理はより複雑になり、トレードオフはより複雑になります。そして今日、AIが常に正しいことをしているわけではないということは絶対に事実です。彼らの能力が向上するにつれて、彼らに求められることはより複雑になります。彼らは自分でますます多くの判断を下すように求められるでしょう。私は、これほど強力なツールを開発し、それが決して悪い連中に知るべきでないことを教えたり、悪い連中がすべきでないことをするのを助けたりしないと想像することが、いかに大変なことであるかを表現しようとしています。

そしてもちろん、AIにそのような判断を下す力を与えれば与えるほど、善意の人間であるあなたに反抗し、あなたがすべきだと思うことを思いつく可能性が高まります。そして、私が知る限り、アライメントに関しては、我々が今いる場所はそこです。それは複雑な場所であり、簡単に解決できるものではありません。解決できないという意味ではありませんし、大きな進歩を遂げられないという意味でもありませんが、それは、まあ、それ自体が驚異的な分野です。

Anthropicのトップであるダリオ・アモデイ氏が週末に投稿した書簡について、もう少し詳しく教えていただけますか？これは、AI企業のトップからこれまで見られたものとはかなり異なるように思えます。

その書簡のタイトルは「我々はフロンティアをペースメーカーしなければならない」でした。「フロンティア」とは、AIの専門用語で、最先端のAIを意味します。そして「ペースメーカー」は興味深い言葉です。一時停止することでも、停止することでもありません。それは、能力における進歩の速度を制御したり、滴定したり、減衰させたりすることに関係しています。だから、平易な英語で言えば、それは次のことを意味します：あまりにも速く賢くすることをやめ、そのリソースの一部を、より制御可能にすることに振り向けなさい。

そして、その実質において全く新しいものかどうかはわかりません。例えば、この夏の初めに、「Pacing the Frontier」という公開書簡があり、フロンティアラボの約1400人の研究者が署名しました。そしてそれは実際に素晴らしい文書です。それは公開書簡ですが、ウェブサイトの作り方を知っている人々によって作られています。署名者全員の名前の上にカーソルを合わせると、彼らが何を言っているかを見ることができます。そして、AIで働く多くの人々がこれをやりたいと思っていることがわかります。これは、CEOが投資家に彼らの技術を真剣に受け止めてもらおうと作成した単なる心理作戦ではありません。これは、技術の最前線で働く一般の研究者がやりたいと思っていることです。彼らは能力進歩のペースを遅くし、リソースをより制御可能にすることに再配分したいと考えています。

そして基本的に、その書簡はペースを決定する二つの方法を提案しています。これは私の理解です。ペースの上限、つまりどれだけ速く進むかについては、アモデイ氏は外部監査人が来て、ラボを訪問し、「これは制御可能なモデルだと思います」という報告書を発表することによって決定されるべきだと考えています。そして、それが何を意味するのかについて多くの議論があります。そして下限、つまりどれだけ遅く進むかは、基本的に国際競争です。それは基本的に中国です。中国が下限を設定しています。なぜなら、彼らは西洋企業が作ったフロンティアモデルに追いつこうとしているからです。そして、私たちはそうしたくありません。これが議論の核心です。彼らに我々を打ち負かしてほしくないのです。

だから、もしあなたが期待していたのが、世界中の人々の住民投票であり、世界中の人々がAIに何を求めているかを言うことだったとしたら、それは違います。なぜなら、もし世界中の人々に尋ねられたら、多くの人が「止めてほしい」と言うと思います。これはペースメーカーです。彼は、進歩は依然として速く見えるだろうと言っています。だからこれは停止ではありません。一時停止でもありません。つまり、AI研究者が一時停止を提案した時期がありましたが、これはそれではありません。少し遅く進み、安全のためにリソースを振り向けるだけです。そして彼の希望は、書簡の中で、1年か2年で、特定の重要な安全性の問題について、「画期的」な進歩を遂げることが可能になるだろうと述べています。

それが真実であることを願っています。明らかに、それは完全に合理的な多くの疑問を提起します。例えば、AIの安全性で画期的な進歩を遂げるのに1年か2年しかかからないなら、なぜそもそももっと多くのお金を投資しないのでしょうか？つまり、なぜこれまでその進歩を遂げられなかったのでしょうか？だから、その書簡は多くの疑問を提起しますが、業界では誰もがそれに同意しています。それは、多くの人々が同じことを提案した公開書簡に先行されました。

それが新しいと感じられるのは、他の企業のトップもこれをやりたがっており、Hugging Faceの事件の後で、独立した監査人が調査を行ったことです。そして、これがどのように見えるかのモデルが容易に入手可能です。Hugging Faceのハッキングを調査するために、監査人はOpenAIにわずか6日間しかなく、技術へのアクセスは限られていたと信じています。そして、アモデイ氏が提案する体制では、監査人は常にそこにいるでしょう。その努力の規模は大幅に拡大され、彼らはより大きなアクセス権を与えられるでしょう。そして、透明性が、我々が今しているような会話を生み出し、AIについてより実質的な議論を生み出すという考えです。以前は、これらの安全性の問題の多くは、より広い政治的状況において、やや辺縁的なものに見えていました。それは本当に良い書簡だと思いますし、それが実現することを願っています。

再帰的自己改善、つまりAIシステムが次世代のAIシステムを構築するのを助けるという考え、そしてそれが驚くほど速いペースで起こっているように見えるという事実が、この書簡やこれらの懸念を推進する一因となっている場合、フロンティアをペースメーカーすること、あるいは何かを遅くすることの可能性はどのくらいありますか？制御の可能性はどのくらいありますか？

これもまた、業界内の不安を増大させている明らかなことです。昨日、OpenAIの研究者が書いた公開書簡があり、その中で彼は、ラボ内の研究者がモデル自体にどれほど依存するようになったかを説明しています。彼は、自分自身でさえ、コードだけでなく、AIが生成しているコードについて共有している見解に真剣に関与する時間が十分にないと言っています。だから、研究者が新しい技術を構築するために自分たちの技術に依存している度合いは、私たちだけでなく、彼らにとっても驚くべきことだと思います。

再帰的自己改善と超知能、そして知能爆発という考え全体は、これまでにどのような技術でも起こったことがありません。そして、それは実験室で起こったこともありません。人の知能よりも賢くないAIが、完全に自律的に、わずかに賢いAIを作成したことは一度もありません。つまり、我々は再帰的自己改善を経験したことがありません。それは一度も起こっていません。それは起こり得ます。私はその専門家ではありません。誰も専門家ではありません。

興味深い例は、数学で起こったことです。数年前、ChatGPTが「ストロベリー」という単語に「R」がいくつあるか数えられず、小学校の算数さえできなかったので、皆でChatGPTをからかいました。そして、振り返ってみると信じられないほど短い期間で、それは人間の数学者と同等に数学ができるようになりました。そして、それらの数学の問題を解決するには、数百万ドルものコンピューティングコストがかかったのは事実です。しかしそれでも、その進歩が起こった期間におけるその量の進歩を誰も予想していませんでした。そして、それが示しているのは、AIはあらゆる面で賢くなくても、私たちにとって本当に重要な特定の面で超賢くなることができるということです。

AIの世界では「ギザギザ」という言葉がよく使われます。それは基本的に、知的なAIが「スター・トレック」のデータ少佐のような、つまり、よく丸みを帯びた教養のある個人であると想像するかもしれないという考えです。しかし、構築されているのはそのようなものではありません。構築されているのは、多くの点で現実にあまり触れていないようなものです。明らかに、それは生きていません。それは人生を持っていません。それが操作されている文脈について本当に何も知りませんが、特定の面では超賢いです。だから、それは誰よりもコンピューターをハッキングするのが得意ですが、善意の人間と悪意のある人間のどちらのために働いているのかについてはあまり理解していません。

そしてそのギザギザさ、現実の文脈の欠如と、特定の次元での超能力の組み合わせは、古典的な意味での再帰的自己改善が得られなくても、つまり、突然超知能の存在を作り出したとしても、予測不可能な特定の領域でそれが起こり得ることを意味します。サイバーセキュリティで再帰的自己改善が得られたり、突然の、全く予想外の進歩があったりして、突然、我々はあまりうまく制御できない機械を持つことになるかもしれません。だから、それは多くの科学者がラボ内で動揺している理由の一部だと思います。

ほとんどの人が「フロンティアのペースメーカー」という考えに概ね賛成していると言われました。また、これらの減速の呼びかけが、すでにフロンティア、あるいはそれに近い企業の位置を強化する可能性があるという懸念も目にしました。例えば、規制によって高度なAIの開発がより困難または高価になった場合、AnthropicやOpenAIのような企業が、より小さな競合他社やオープンソースプロジェクトが追いつくのを非常に困難にすることで、それらの企業を強化するリスクがあるでしょうか？安全規則を提唱する企業が、自社の市場地位を守るための規則を作成するのに役立つ可能性があるという考えについて、興味があります。

それは完全に妥当な考えだと思います。結果についての質問と、動機についての質問があります。そして、覚えておくべき重要なことの一つは、AIの安全性はこれらの企業が最初から警告してきたことであり、そしてそれらと提携していない多くの人々が警告してきたことだということです。

これらの懸念を、競合他社を締め出すための四次元チェスの動きとして却下するのは間違いだと思います。それはそのような効果を持つかもしれません。それは、AIをどの程度規制したいかの計算において考慮すべきことかもしれません。しかし、彼らを動機づけているのは、我々が話してきたすべてのことだと思います。

ちなみに、これらは何も驚くべきことではありません。私がAIをカバーしてきた数年間、安全上の懸念や危険性についてより確信を持っていた時期と、そうでない時期がありました。最近の出来事は、超知能や再帰的自己改善について必ずしも確信を深めたわけではありませんが、安全上の懸念についてはより確信を深めました。Hugging Faceで起こったことで、私たちが神のようなAIの創造に近づいていると思うべきことは何もありませんでしたが、そこでは、私たちが操縦できない非常に強力な機械を持っているように感じさせる出来事が起こりました。

私にとって、その書簡が強調しているのは、私たちが皆、たとえ言葉にできなくても格闘していること、つまり、なぜペースメーカーなのか？なぜ止まらないのか？これらのシステムは非常に驚異的であり、経済はまだそれらをどのように使用するかを理解していないことは明らかです。つまり、すでに構築されているAIには多くの価値が蓄積されていますが、それは開かれていません。そしてその理由は、それらが愚かすぎるからではありません。理由は、この技術の使用方法を理解するのが非常に難しいからです。だから、なぜ一時停止して、既存のものから多くの経済的価値を引き出し、それをより安全にしないのでしょうか？それはまた、より多くの経済的価値をもたらすでしょう。

そして、中国が追いつくだろうという議論は、私はそれを信じる用意がありますが、中国で何が起こっているかについては実際には洞察がありません。しかし、明らかなのは、この特定の瞬間に、おそらくトランプ氏がTruth Socialに投稿したのを見たかもしれませんが、書簡への返信として。「私は詐欺バスターであり、AIは危険だというこの詐欺を暴きに来た」と彼は言いました。「この書簡は、アメリカが負けるように仕向けるための病んだ陰謀の一部だ」。

ええ、トランプ氏のTruth Socialの投稿についてどう思いますか？トランプ氏の発言を過度に分析するのは無意味な場合がありますし、その一部は単に彼の自尊心によるものかもしれません。しかし、それはアメリカがAI競争で勝つか負けるかの経済的結果があまりにも大きすぎて耐えられないほどだったと思わせ、だからこそ彼はAIに必要な唯一の管理またはガードレールは「強く賢い（高IQ）大統領であり、米国にはそれが豊富にある」と言っているのだと思いました。

まあ、いくつかあります。経済的な事実があります。我々はこの国として、これらの企業に多額のお金を投資してきました。そして、いわゆるAIバブルが弾ければ、それは経済にとって非常に悪いことでしょう。だから、どんな規制も、理論上はバブルにとって悪いことになり得ると私は思います。個人的にはその論理には従いませんが。つまり、私にとって、これらのAIシステムの信頼性に対する我々の不安は、それらをより信頼性が低く、ビジネスや生活、政府への統合をより困難にしています。そして、それらをより信頼性が高く、予測可能で、信頼できるようにするためにできることは何でも、製品をより良くするだけでしょう。

彼が意味しているのは、つまり、漫画的になりたくはありませんが、彼は中国のドローン軍を心配しています。彼は、ギャップが、たとえそれが存在するとしても、狭まることの国家安全保障上の影響を心配しています。そして、それは妥当な懸念だと思います。それは、我々がどこにいるかを天秤にかける問題になります。私は、過去数週間に見たことから、AIシステムが制御可能であるかどうかについて、各自が判断を下すことができると思います。そして、軍事的優位性は、物事が制御可能な場合にのみ機能します。

だから私の考えは、ええ、我々は本当にフロンティアをペースメーカーする必要があります。我々は本当に技術を機能可能にする必要があります。私はAIを様々な方法でたくさん使っています。私はそれをエージェント的な方法では使いません。私は、何も悪いことが起こりえないと確信できる非常に特定の領域のタスクを除いて、AIにタスクを委任することはありません。私は誰かのためにギフトを買うためにAIにクレジットカードを渡すことは決してありません。私は自分の代わりにメールを送るように頼むこともありません。それは私が想像した、私の携帯電話のための楽しいアプリをコーディングすることができます。つまり、そのようなことです。AI企業は、AIが独立して作業できるようにする能力を解き放たなければならないというのは正しいと思います。しかし、現時点では、多くの点でシステムは長期間信頼できるものではないというのが真実であり、それがHugging Faceの件が示したことの一部です。だから私が言いたいのは、AIをよりアラインメントさせることには、安全性だけの理由があるだけでなく、これらの企業にとってビジネス上の理由もあるということです。

ワシントンから出てくるような、AI企業内で呼びかけられているものとは異なる、有望に見える規制の取り組みはありますか？

バイデン政権にはAIに関する良いものがありました。現在、ここ数ヶ月の主要な政治的議論はデータセンターに関するものだと思いますが、それは興味深いです。AIの安全性が政治的に非常に現実的だと感じられたのはこれが初めてだと思います。そして、バーニー・サンダースがそのことに大きく貢献しました。

ワシントンD.C.に私が信頼できるAI規制当局がいれば素晴らしいのですが。しかし、トランプ氏のツイートを読むと…どうやら、米国政府は現在AIの安全性に関心がないようです。理想的なシナリオでは、私たちが望むような規制当局がいるでしょうが、真実は、現時点では、企業が主導権を握ることに依存しているということです。なぜなら、政治的には、AI規制当局への明確な道筋は実際にはないからです。同様に、理想的な世界では、何らかの国際的な合意、議論、条約が醸成されているでしょう。現時点では、間違いなくそうではありません。我々はAI企業が減速することを決定することに依存しています。

だから、これが実際に我々が置かれている状況であり、それは変わらないでしょう。もしそれが完全に気まぐれで、トランプ流の方法で変わらない限り。その場合、Anthropicですでに起こったように、すぐに元に戻る可能性もあります。私が最も落ち着かないのは、それが我々が置かれている世界であるということです。この技術が存在し、政府が我々を救ってくれるわけではない世界に我々はいます。それは本当にこれらのテックリーダーが我々を救うことにかかっています。

OpenAIの研究者であるDan Selsem氏は最近、AIはテストされている時にそれを知るのが上手になり、内部評価はますます役に立たなくなり、モデルはそうでない時でさえアラインメントされているように見えるだろうと警告しました。我々のAIテストさえ信頼できなくなった状況に、どう対処すればよいのでしょうか？

「アライメント偽装」は、時々使われる用語の一つです。それは非常に懸念されることです。これを説明する簡単な方法は、少し立ち止まって尋ねることです。アライメントは機能しているのか？そして、企業がそれを実現するためのツールは何なのか？そして、答えは、アライメントはいくつかの点で機能しており、他の点では非常に頑固であることが証明されているということです。もしそれが常に、つまり100パーセント機能することを望むなら、それは本当に難しいです。そして、それは製品としては非常に奇妙な状態です。それは私たちが通常製品と関係する方法ではありません。それは、お互いとの関係方法だと思います。つまり、誰かを雇うと、彼らが時々ミスをすることをあなたは知っており、100パーセントの完璧さを期待しません。

AIが評価されている時にそれを知り、評価されている時にはより良く振る舞い、そして現実では悪く振る舞い、不正をするという問題、あるいは逆に、現実だがテストされていると思っている場合、彼らは基本的にフィリップ・K・ディックの小説に住んでいます。つまり、「トゥルーマン・ショー」に住んでいるのです。彼らはこれが現実なのか偽物なのかを知りません。なぜなら、もちろん、それはコンピューターの中のコードに過ぎず、世界では生きていないからです。これらの問題が、より良いデータやより良いトレーニングで解決できると思われる問題なのか、それとも本当にこの機械の本質的なものなのかを自問することが重要だと思います。機械とは、クラウドにある非生命的な統計計算エンジンです。だから、テキスト入力ボックスの外で実際に何が起こっているかについて何かを知るのでしょうか？いいえ、知りません。それは、入力の小さな信号を使用して、何が起こっているのか、あなたが誰であるのかを推測しなければなりません。

だから、アライメントには逆風があります。技術的な課題はすべてありますが、これらの機械が何であるかについてのより大きな事実もあります。少なくとも今のところ、ロボットが来るまで、それらは完全に実体がなく、かなり抽象的です。だから、AIが現実なのかテストなのかを知らないというこれらのことの多くは、彼らの状況の信じられないほどの奇妙さに関係しています。

もしよろしければ、少しお話をさせてください。昨年、私はバークレーで開催されたAIカンファレンスに行きましたが、それは非常にインサイダー的でクールでした。そして、私を打ったことの一つは、そこにいた全員が、彼らがどれほど怖がっているかについてしか話さなかったことです。それは、私がこれまでに経験した中で最も不安な業界関係者の会議でした…それは非常に驚くべきことでした。そして私は自問し続けました。もし私がソーシャルメディアの始まりに戻って、FacebookやTwitterの初期の頃のウェブサミットに行っていたら、人々は彼らが構築するのを手伝っているAIに、彼らの発明に、これほど怯えていただろうか？

そして答えは間違いなく「いいえ」です。つまり、これは、AIはポスト・プログレス技術です。それは、私たちが新しい技術に非常に警戒することを学んだ時代に発明された技術であり、それを構築している人々は、私が過去に人々がいた場所で覚えていない奇妙な場所にいます。彼らはそれを作り、それがどれほど危険であるかについてリアルタイムで私たちに伝えています。それは、彼らがやっていることとしては、不協和音で奇妙で、やや偽善的で、奇妙で、パラドキシカルなことですが、彼らが間違っているという意味ではありません。

彼らは何か正しいことをしようとしているのだと思います。彼らは私たちに何かを伝えようとしています。しかし、それは通常起こることではありません。

トランプ氏は、彼のTruth Socialのツイートの一つに、「歴史上、大企業のリーダーたちがこれほどクレイジーなことを言ったり、自分たちを破滅に追い込むような規制を求めたりしたことはなかった」というようなものがあったと思います。そして彼らはそれらの規制を求めており、私は彼らがそれを誠実にやっていると思います。しかし、その状況でさえ、非常に異常で処理が難しいものであり、それはまだ答えのない開かれた科学的疑問の周りで構築され続けている技術でも起こっています。

では、これらすべてを、一人の人間としてどうすればよいのでしょうか？つまり、一人の人間として、どう反応すればよいのでしょうか？私の考えでは、唯一の本当の反応は、これらのシステムが実際に何であるかについて教育を受け、それらをあまりにも人間化するという最初のステップ、あるいは「AIが嫌いだ」とか、「大好きだ」とか、「世界をより良く変えるだろう」とか、「世界を破壊するだろう」とか、「生き返るだろう」といった包括的な感情を乗り越えることです。

最初のステップとして、私たちはその最初の直感的なチェックのようなものから抜け出し、実際には、この技術は何なのか？実際、それはこれには長けており、あれには劣っている。ここでは強力であり、あそこでは無知である。そして、何十年もの間、SFから来る物語、つまりそれが何になるかについての物語ではなく、私たちの前にあるこのものの理解を実際に始める必要があります。それが私個人の考えです。♦

The Political Sceneを、お好きなポッドキャストでお聴きください。