恐怖の伝染

告白しなければならない難しいことがあります。それは、最も親しい人たちにさえ話したことのない、恥ずべき出来事です。大学1年生の時、コンピューターサイエンスが自分の人生の呼び声だと見出した私は、ある夜遅く、大学のコンピューターサイエンスラボの後方で、数人の下級生と話していました。私たちは、若さと早熟さだけが呼び起こせる種類の傲慢さと虚栄心をもって、一般の人々の技術に対する理解の欠如を嘲笑していました。その議論のどこかで、恐ろしい考えが生まれました。隣の一般コンピューターラボに行って、そこにいる人文科学専攻の学生たちに、コンピューターウイルスが彼らのマシンに広がっていると告げたらどうなるだろうか？彼らは信じるだろうか？永遠の後悔とともに、私たちはその醜い衝動を実行に移しました。私たちは、満員の学生が期末レポートに取り組んでいた隣のラボに行き、合成されたアラームのような声で、「ウイルスがコンピューターサイエンスラボから流出した。感染拡大を防ぐために、全員フロッピーディスクを取り出す必要がある」と大声で発表しました。その次に起こったことは、大混乱でした。混雑した劇場で「火事だ！」と叫ぶことの技術的な等価物です。人々はパニックになりました。フロッピーディスクを取り出しただけでなく、マシンをシャットダウンし、すでに電源が切れているマシンからケーブルを引き抜き、叫び声を上げ、部屋から走り出ました。私たちはすぐに、ひどいことをしてしまったと気づきましたが、自分たちが放った野火を抑えることができないことに気づきました。私たちは「いたずらだ」と説明しようとしましたが、一部の学生（当然ながら！）は憤慨して怒り（なぜそんなことをするのか！）、他の学生は信じようとしませんでした。一度恐怖が根付いてしまうと、それを根絶することはできませんでした。その後は記憶が曖昧ですが、ひどいものでした。期末試験直前の週であり、コンピューターの電源を切った人々は作業を失いました。彼らは激怒し、私たちは大いに困りました。翌朝、私たちは（非常に威厳のあることで有名な）施設部長のオフィスにいました。彼は私たちを厳しく叱責し、私たちは足元を見つめていました。彼は私たち一人ひとりに謝罪の手紙を書かせました（私の恥は真剣だったので、簡単に書けました）。それを2部ずつ提出するように言われました。1部は私たちが傷つけた人々に送られ、もう1部は彼の引き出しに保管されるとのことでした。彼は、もし再びこのようなことに少しでも近づくようなことがあれば、別の大学を探すことになるだろうと、はっきりと告げました。そして私たちは、教訓を学んだと保証しました。（4年後に卒業したとき、彼はその手紙を私に返してくれました。そして、この件全体を彼がどれほど真剣に、そして共感をもって扱ってくれたかに、私は今でも感謝しています。）この恥ずべき出来事を墓場まで持っていくこともできましたが（そしておそらくそうしたでしょう）、今告白せざるを得ないと感じています。なぜなら、AIと人類滅亡の脅威に関して、私がこれまで見てきたほど無責任に恐怖を植え付けた技術者を、私は見たことがないからです。驚くべきことに、それは誇張ではありません。今週、元Anthropic社員のJacob Coxonは、AnthropicのAIアライメントサイエンスリーダーであるEvan Hubingerが同意したと主張しました。AIが「10年以内に全人類を殺す」確率は「10%超」であると。つまり、主張はAIが数千人、数百万、あるいは数億人を殺す可能性があるということだけでなく、AIが全人類を殺す確率が10%を超えるというのです。つまり、新生児がいる場合、その子供が中学生になる前にAIによって何らかの形で命を落とす確率が10%を超えるという主張です。これらの不気味な主張は、当然ながら、AIの明白な重要性から、主流に飛び火し、人々は自然な疑問を投げかけています。それはどのように起こるのか？その答えは常に、将来への曖昧な推測に依存しています。例えば、Jacob Coxonは「重要インフラのハッキング」や「絶滅レベルの生物兵器」を、さらなる説明なしに引用しています。しかし、Coxonは重要インフラや生物兵器の専門家ではありません。ましてや、絶滅の専門家でもありません。27歳のCoxonが専門としているのは（意図せずとも）、恐怖の伝染です。私たちは、一般大衆がすべての技術の内部構造を理解することを期待できません（それが18歳の私の誤りでした！）。技術はあまりにも広範で、深遠で、私たちの生活すべての中核にあるため、誰もがすべてを理解することを期待することはできません。私たちは、あるレベルでは、ドメインエキスパートを信頼しなければなりません。そのドメインエキスパートが恐怖を植え付けるとき、それは恐怖が根付き、それに続くあらゆる証拠よりもはるかに容易に広がるのです。（Jonathan Swiftが3世紀以上前に有名な言葉を残したように、「偽りは飛び立ち、真実は跛行して追いかける」）。この点で、Coxonは原因というよりは媒介者です。絶滅リスクへの恐怖が広まっていることは議論の余地がなく、Coxon自身も誰かから聞いたためにこれらの恐怖を抱いている可能性が高いです。残念ながら、恐怖が広まるにつれて、恐怖を感じている専門家の数の多さがそれ自体の証拠となり、反対意見は明白なコンセンサスの騒音にかき消されます。恐怖が定着しつつあることを十分に認識した上で、私は、私自身の（狭い）専門分野であるコンピューター構築の観点から、反論を述べたいと思います。私が2023年のMonktoberfestの講演で考察したように、知能だけでは不十分です。工学的な行為は、知能だけではありません。それらは、私たちの性格の人間的な側面だけでなく、物理世界での行動（とそれに関する推論）も必要とします。恐怖に固執する人々は、これらの部分を軽視したがります（「ロボットがやるだろう！」）。しかし、そうすることは、ロボットが今日それを行うことができず、これらの絶滅の恐怖と一致する時間軸でそれを行っているようには見えないという物理的な現実を無視することです。より一般的に、デジタルシステムが物理世界でエージェンシーを持つ程度において、それは私たち、つまり腕と脚と脳、そして親と子供を持つ私たち人間が許可するエージェンシーです。AIは、人間の説明責任と管理をもって設計された物理システム上で実行されます。知能は、システムを物理世界の現実から免除しません！Coxonのように、揺るぎない恐怖に囚われている人々にとって、これはほとんど慰めにならないでしょう。しかし、これらの恐怖を初めて聞く人々にとっては、あなたの懐疑心は正当なものであることを知ってください。私たちは、故Carl Saganの「並外れた主張には並外れた証拠が必要である」という知恵に耳を傾けるべきです。Coxonとその仲間からの主張は、技術者ができる最も並外れた主張であり、私たちは主張に見合った証拠を要求しなければなりません。とはいえ、一般大衆がLLM、重要インフラ、生物兵器、絶滅生物学などを理解することを期待すべきではありません。その負担は、主張する側にあるべきです。私が数十年前（恥ずかしながら）に学んだ教訓は、ドメインエキスパートは、その専門知識を通じて、暗黙のうちに一般大衆の信頼を保持しているということです。そして、私たちはそれを乱用してはなりません。私たちは、主張において、特に警鐘を鳴らす際には、最大限に慎重である義務があります。だから、30年以上前のあの夜遅くのラボにいた人たちに、私は謝ります。あの時、あなたたちは何も恐れる必要はありませんでした。そして、（少なくとも絶滅リスクに関しては！）今も何も恐れる必要はありません。