恐怖の伝染

恐怖の伝染

告白しなければならないことがあります――それは、最も親しい人にも話したことのない、恥ずべき出来事です。

大学1年生の時、コンピュータサイエンスが自分の天職だと見出した私は、ある夜遅く、広大なコンピュータサイエンスのラボの奥で、数人の後輩たちと話していました。私たちは、若さと早熟さだけがもたらす傲慢さで、一般の人々の技術に対する理解の欠如を嘲笑していました。その議論の中で、恐ろしい考えが浮かびました。隣の一般コンピュータラボに行って、そこにいる人文科学系の学生たちに、コンピューターウイルスが彼らのマシンに広がっていると告げたらどうなるだろうか？ 彼らは信じるだろうか？

私の永遠の後悔として、私たちはその醜い衝動を実行に移しました。私たちは、期末レポートに取り組んでいる学生でごった返す隣のラボに行き、わざとらしく慌てた声で、コンピュータサイエンスのラボからウイルスが流出し、その拡散を防ぐためにはフロッピーディスクを抜く必要がある、と大声で告げました。

次に起こったことは、大混乱でした――満員の劇場で「火事だ！」と叫ぶことの技術的な等価物でした。人々はパニックに陥りました。フロッピーディスクを抜くだけでなく、マシンをシャットダウンし、すでに電源が切れているマシンのケーブルを引き抜き、叫び声を上げ、部屋から走り出しました。私たちはすぐに、自分たちがひどいことをしたと気づきましたが、自分たちが灯した野火を鎮めることができないことに気づきました。私たちは「いたずらだ」と説明しようとしましたが、一部の学生は（当然ながら！）憤然とした怒りで応じました（なぜそんなことをするのか、私たちに何が悪いのか？！）、他の学生は単に私たちを信じませんでした。一度恐怖が根付いてしまうと、それを根絶することはできませんでした。

その後は記憶が曖昧ですが――ひどいものでした。期末試験直前の週であり、コンピュータをシャットダウンした人々は作業を失いました。彼らは激怒し、私たちは大いに困りました。

翌朝、私たちは（有名な威圧的な存在である）施設管理ディレクターのオフィスにいました。私たちは足元を見つめながら、彼は私たちを厳しく叱責しました。彼は私たち一人ひとりに謝罪の手紙を書かせました（私の恥ずかしさは真剣だったので、簡単に書けました）。彼は私たちに2部ずつ書くように言いました。1部は私たちが傷つけた人々に送られ、もう1部は彼の引き出しに保管される、と。彼は、もし再びこのようなことに少しでも関わるようなことがあれば、別の大学を探すことになるだろうと明確に告げました――そして私たちは、教訓を学んだと彼に保証しました。（4年後に卒業したとき、彼はその手紙を私に手渡してくれました――そして私は、彼がこの一件全体を扱ったときの重みと共感に感謝しています。）

私はこの恥ずべき出来事を墓場まで持っていくこともできましたが（そしておそらくそうしたでしょう）、今告白せざるを得ないと感じています。なぜなら、AIと人類滅亡の脅威に関して、私がこれまでに見たことのないほど無責任に恐怖を蒔いた、 putative な技術者たちを（人類滅亡の脅威！とまで言っています）見たことがないからです。驚くべきことに、それは誇張ではありません。今週、元Anthropic社員のJacob Coxon氏が主張し、その後AnthropicのAlignment ScienceリーダーであるEvan Hubinger氏も同意したのは、AIが「今後10年間で人類全員を殺す」確率は「10%以上」である（！！）ということです。

つまり、主張されているのは、AIが数千人、数百万、あるいは数十億人の人間を殺す可能性があるというだけでなく（それらの主張自体も並外れたものですが！）、AIが人類全員を殺す確率が10%を超える、ということです。つまり、もしあなたが新生児を持っているなら、あなたの子供が中学生になる前にAIの手によって何らかの形で命を落とす確率が10%を超える、と彼らは主張しているのです。

これらの不吉な主張は、率直に言って衝撃的であり、AIの明白な重要性を考えると、それらが主流に飛び火し、人々が自然な疑問を投げかけるのも不思議ではありません。「それはどのように起こるのか？」と。その答えは常に、手っ取り早い未来への外挿に頼っています。例えば、Coxon氏は「重要インフラのハッキング」や「絶滅レベルの生物兵器」を、それ以上の説明なしに引用しています。しかし、Coxon氏は重要インフラの専門家でも、生物兵器の専門家でもありません――ましてや、絶滅の専門家でもありません。

27歳のCoxon氏が専門としているのは――偶然にも――恐怖の伝染です。私たちは、一般大衆がすべての技術の内部構造を理解することを期待することはできません（それが私の18歳の時の誤りでした！）。技術はあまりにも広範で、深遠で、私たちの生活すべての中核にあるため、誰もがすべてを理解することを期待することはできません。私たちは、あるレベルでは、ドメインエキスパートを信頼しなければなりません。そのドメインエキスパートが恐怖を蒔くとき、それは恐怖が根付き、それに続くどんな証拠よりもはるかに容易に広がるのです。（Jonathan Swiftが3世紀以上前に皮肉ったように、「偽りは飛び立ち、真実はよろめきながら後に続く」）。この点において、Coxon氏は索引事例というよりは媒介者です。絶滅リスクへの恐怖が広まっていることは議論の余地がなく、Coxon氏自身もおそらく誰かからそれらを聞いたためにこれらの恐怖を抱いているのでしょう。残念ながら、恐怖が広まるにつれて、恐怖を感じている専門家の数の多さ自体が一種の証拠となり、明白なコンセンサスという騒音によって反対意見はかき消されます。

恐怖が十分に定着していることを十分に承知しながらも、私は、私自身の（狭い）専門分野――コンピュータの構築――から反論を述べたいと思います。私が2023年のMonktoberfestでの講演Intelligence is not Enoughで述べたように、工学的な行為は知性だけの行為ではありません。それらは、私たちの性格の人間的な側面を必要とするだけでなく、物理世界での行動（およびそれに関する推論）も必要とします。恐怖に固執する人々はこれらの部分を軽視したがります（「ロボットがこれをやるだろう！」）、しかしそうすることは、ロボットが今日それをできないという物理的な現実を無視することです――そして、これらの絶滅の恐怖と一致する時間軸でそうしているようには見えません。

より一般的に言えば、デジタルシステムが物理世界でエージェンシーを持つ程度において、それは私たち――腕と脚と脳と両親と子供を持つ私たち人間――が許可するエージェンシーです。AIは、人間の説明責任と制御をもって設計された物理システム上で実行されます。知性がシステムを物理世界の現実から免除することはありません！

Coxon氏のように、揺るぎない恐怖に囚われている人々にとって、これはほとんど慰めにならないでしょう。しかし、これらの恐怖を初めて聞く人々にとっては、あなたの不信感は正当なものであることを知ってください。私たちは、故Carl Saganの「並外れた主張には並外れた証拠が必要である」という賢明な言葉に耳を傾けるべきです。Coxon氏とその仲間からの主張は、技術者ができる最も並外れた主張であり、私たちはその主張に見合った証拠を要求しなければなりません。

とはいえ、一般大衆がLLM、重要インフラ、生物兵器、絶滅生物学などを理解することを期待すべきではありません――その負担は、主張を行う人々に負われるべきです。私が数十年前（恥ずかしながら）に学んだ教訓は、ドメインエキスパートは、その専門知識によって、暗黙のうちに大衆の信頼を保持しており――そして私たちはそれを乱用してはならないということです。私たちは、主張において慎重であること――そして警鐘を鳴らすときには最大限に慎重であること――が求められています。

だから、30年以上前のあの夜遅くのラボにいた人たちに言います。ごめんなさい。あの時、あなたたちは何も恐れる必要はありませんでした――そして（少なくとも絶滅リスクに関しては！）今も何も恐れる必要はありません。