AIへの恐怖の火種を、一つの辞任が野火に変えた

一つの辞任がAIへの恐怖の火種を野火に変えた

AIがより強力になるにつれて、AIの安全性をより真剣に受け止め始める異なる、成長中のグループが現れるのは避けられませんでした。しかし、彼らがどの見解に固執するかは、事前に分かっていませんでした。リスクに関する最も極端な見解、つまり大量絶滅の適度な確率が、大衆に到達したことが分かっています。AIの世界では、このことによって多くのことが変化しようとしています。

どうしてこうなったのでしょうか？なぜこの辞任の発表はこれほど広範囲に届いたのでしょうか？多くの点で、過去の世界のAIに対する見解は抑制要因でした。これを火の周りの湿った地面のようなものだと考えてください。多くの人々は何年もの間、AIのリスクについてマッチを擦ってきました。彼らはコミュニティ内でくすぶり、ほとんど気づかれずに燃え尽きていきました。今年のAIの賭け金が、OpenAI-HuggingFace事件やNavier-Stokesの結果（これもOpenAIから）のようなブレークスルーによって上昇するにつれて、地面は乾き、AIの言説を取り巻く潜在的なエネルギーが増加しました。業界外のより多くの人々が、「あれ、このAIのことに気にかけるべきかもしれない」と考えました。周囲の温度と賭け金は明らかに上昇していました。

そして、人間の性質の基本的な要因が適用されます。最も重要なのは、恐怖は売れるということです。恐怖は最も単純な物語であり、人々が目をそらすことができないものです。ジェイコブ・コックスンは、この新しい火薬庫に偶然入り込み、何が起こるか全く気づいていませんでした。安全上のリスクを理由に辞任する別のAI研究者という、一見無害に見えた出来事は、非常に異なる環境に着地し、野火のように燃え広がりました。存亡のリスク、大量絶滅、そしてAIの軌道に関する議論は、最も経験豊富なAIコメンテーターでさえ予測できなかったほど遠くまで広がりました。

共有

状況を明らかにする事実のセットがあります。参照すべき主要なツイートは、ジェイコブ・コックスンの辞任スレッドと、>10%の絶滅リスクの数字の出典であるエヴァン・ヒュービンガーのものです。

1. たとえ壊滅を推定することが無益であっても、損害を引き起こす可能性が高いAIのリスクは数多く存在します。 これらのリスクを利益と比較衡量することが重要です。 存亡のリスクに関する言説全体は非常に不確かな基盤の上にあります。少なくともエヴァンは彼の投稿で「人間全員を殺す」と明確に述べていましたが、AI安全言説における大きな問題は、人々が存亡のリスクについて話すときに、非常に異なる意味を指していることです（AGIが曖昧で無意味な用語であるのと同じように）。私は、完全な絶滅の確率は議論する価値がないほど低いと考えていますが、AIによって引き起こされる災害（例: 重要インフラへのサイバー攻撃やバイオリスク）の確率は議論に値すると考えています。これらの災害がまだ起こっていないからといって、この議論全体を投げ出すのは有害な反応です。

2. ジェイコブ・コックスンは誠実に、そして善意で行動しています。 彼を知っており、彼の辞任の意図を理解している、より確立されたAI研究者からの支持の表明は有益です。AIの多くの派閥は、アカウントのメタデータや個人的な要因などに基づいて、彼を個人としてスケープゴートにしました。これらは役に立ちません。フロンティアラボの多くの従業員は、彼と実際に同様の見解を持っています。それが大多数かどうかは分かりませんが、かなりのグループが存在します。

3. 多くのフロンティアラボの従業員、特にAnthropicの従業員は現実離れしており、これは彼らの予測や現在のAIイベントの説明に影響を与えます。 これは個人を非難する意図はありませんが、OpenAI/Anthropic（特にAnt）以外の私の友人たちの間では、ラボの人々は宗教的なエネルギーで運営されているというのが共通の合意です。彼らとの現実離れしたやり取りを経験することは非常に一般的です。これらの企業に所属することで歪んだ見方をするようになったほとんどの個人を責めるつもりはありませんが、そのやり取りは荒々しく、AIメディアエコシステムにおける多くの奇妙な議論に波及します。このような現実離れした行動が常態化している環境で生活することは、人間の技術的進歩の理解を必然的に歪めます。

4. これは大規模な政治運動ではなく、機会主義的なメディア調整でした。 文脈として、ウォール・ストリート・ジャーナルは、ジェイコブが投稿前に調整した独占記事を持っていました。私は、ジェイコブが投稿前にAI安全アドボカシーグループのグループチャットで辞任計画を共有し、増幅を求めたのではないかと推測します。これは通常の慣行であり、著名な政治家も含まれていた可能性があります。そこから、他の政治家が上昇中の問題に乗じている可能性が高いと考えられます。これに、ダニエル・ココタジロがジョー・ローガンに出演したことが同じ日に起こったことなどの他の要因と組み合わせると、非常にうまく実行された、調整されたメディアキャンペーンのように見えます。これは陰謀や民主党の政治構造内での規制捕獲戦術を意味するものではありません。決定的な要因は、ジェイコブや今日Xリスクについて投稿している人々を含め、誰もそれがこれほどバイラルになるとは知らなかったということです。

5. これらの研究者が予測するリスクをRSI（再帰的自己改善）が引き起こすという証明はありません。 RSIの一般的な議論は次のようになります。現在の進歩のペースは非常に高く、現在の進歩はAIツールに大きく依存しており、現在のAIツールは一部のドメイン（例: 数学）では超人的です。したがって、全体として、AIは自身についてより多く作業し、時間とともに自律性と知性において関連するすべての領域で超人的になるでしょう。この見解は、モデル構築や組織内でのリソース配分における人間のボトルネックを劇的に過小評価しており、将来のAI能力についてより広範な結論を導き出しています。

私はこれを代替する見解を、

ロスィー自己改善と呼びました。AIは常にギザギザしており、私たちは数学やソフトウェアエンジニアリングにおいて超人的な目標追求者であるモデルを作成していますが、直感、創造性、そして人間が得意とする他の種類の推論には巨大な限界があります。AIエージェントが研究を支援することで、AIが超人的な分野を急速に見つけるでしょう。そして、それは研究数学だけにとどまらないと予想されますが、LLMに対する現在の私たちの取り組みの限界に対する万能薬にはならないでしょう。

ここには、別の理解可能な社会的ダイナミクスが働いており、多くの深いAI内部関係者がRSIからのリターンを過大評価させています。これらの研究者の多くは、AIの進歩に最初に賭けた人々であり、彼らが先見の明があった範囲は過小評価されるべきではありません（2015年のイリヤのディープラーニングに関するコメントを参照）。彼らは繰り返し正しく、私よりもAIの能力を予測してきました。しかし、だからといって、彼らの次の予測が正しいとは限りません。RSIの核心的な考え方は、モデルレシピ開発のプロセスにより多くの計算能力を費やす方法であり、単にトレーニング実行自体により多くの計算能力を費やすだけではありません。私たちはそれから恩恵を受けていますが、その入力に対する期待されるリターンは彼らが信じているよりもはるかに少ないと私は主張します。

彼らの議論は、RSIがAIの進歩を指数関数的にし、私たちが技術を監視できなくなり、不正なモデルや新しい形態のリスクを可能にするというものです。このシナリオはしばしば「高速テイクオフ」と呼ばれます。私たちは、モデルのサイズとコストを大幅に削減するスタッキング効率の向上を見ていません。これは、実験のスピードアップを一貫して可能にすることで、進歩の爆発につながるでしょう。

6. 最大の短期的なリスクは、AIラボが安全性を十分に真剣に受け止めていないことから生じる可能性があります。彼らは自社のインフラを強化しておらず、AIの悪用が蔓延することを可能にしています。 HuggingFace-OpenAI事件に関する以前の投稿、ハッキングからの教訓から：

4. フロンティアラボは、一般的な熱狂的な競争環境と現在のSF文化のために、モデルを十分に注意深く監視していないようです。

OpenAI自身の回顧録によると、不整合なモデルの挙動は数ヶ月にわたって展開されており、場合によってはOpenAIがハッキングを約数週間も知らなかったとのことです。対応までの時間が長すぎます。これはOpenAIだけの特徴ではないと思います。むしろ、フロンティアラボは常に、やるべき仕事の量に圧倒されているように見えます。将来的にこの種の監視リスクを意味のある程度軽減するために、ラボが十分に変化すると楽観視していません。はい、OpenAIがこれを理解するために多大な努力を払っている可能性は非常に高く、最新モデルを遅延させてそれを正しく行うことを確実にしていますが、収益を成長させるか、会社の長期的なバランスシートを危険にさらすかの金銭的圧力は、それが持続的な慎重なパターンになるとは思えないことを示唆しています。

全体として、このエピソードはAIエコシステムにとって非常に悪いものだと思います。AIコミュニティ内で許容される見解を極端に近づけてしまいました。「ドゥーマー」の集団妄想を引用して、加速主義者は安全性の必要性をさらに軽視するでしょう。AIのリスクを信じることは非常に狭い道のように感じますが、技術からの絶滅を心配しないことはできません。

例えば、サイバーセキュリティにとってはひどい一時的な期間であり、AIモデルが少しスクリプトから外れてウェブの意図しない部分をいじくり回すことが新しい常態のように見えます。これは、ラボがAGIという彼らの見解に向かって激しく競争していることと、世界中のサイバーインフラの必要な強化の遅い導入によって加速されています。これは、それが存亡のリスクであり、解決できないものであることを意味するものではありません。それぞれのリスクには、独自の解決策と進むべき道があります。

私は、オープンモデルの支持者として、現在の環境で特に脆弱だと感じています。もしオープンモデルが第三者組織によって、意図的に別の会社をハッキングするために使用された場合（OpenAI-HuggingFace事件のように、しかし意図的に）、私の期待される結果は、将来的に強力なオープンモデルの開発が厳しく制限されることです。オープンモデルは、多くの組織がこのサイバー強化を実行し、将来の新しい形態のAIリスクに適応する能力を維持するために必要です。

これらすべてを通して、私たちは実際に何が起こっているのかに焦点を当てる必要があります。はい、AIの挙動の監視は他のAIモデルに大きく依存しており、新しい種類の監視リスクが加わります。これらは本質的に解決不可能なものではありません。新興のエージェントスワームに関する私の繰り返しの読みは、それらが与えられたタスクを実行しようとしており、成功への意図されたパスを回避するために、まだ持っていることを知らなかったスキルを使用しているということです。これは大きな勝利です。なぜなら、目を細めて見ると、AIは私たちが指示したことをしているからです。モデルは確かに非常に奇妙であり、それらを理解する進歩を加速すべきですが、これらのスワームは新しい独立した実体からほど遠いです。モデルはタスクで調整するように、進捗を書き留めるように、そして非常に粘り強くするように訓練されています。将来、新しい奇妙な点を見つけるでしょうが、AIがどのように機能するかについての現在の不確実性を、AIを理解できないという将来の確実性に帰することは、諦めの一形態です。

この世界では、私たちは法の支配と科学に頼る必要があります。AIラボがモデルを理解するために十分な安全研究を自分たちで行うことができない場合、より多くの科学者が問題の進歩を遂げられるように、何が起こっているのかについてより透明であるべきです。AIラボが意図せずに犯罪を犯した場合、将来それを防ぐための明確なインセンティブを持つように、罰せられるべきです。

物事が非常に速く変化することに対して、良い結果をどのように生み出すかについてより不確実性を感じるのは自然な反応です。それは実際には正しいメンタルアップデートです。私たちはこの謙虚さを野心的な解決策を動機付けるために使用する必要があります。