AIラボの調査を開始する時期

過去数ヶ月にわたり、2つの主要な最先端AIラボは大胆な行動を見せてきました。OpenAIは、そのLLM（大規模言語モデル）搭載エージェントシステムがいかに不穏で強力（そして、犯罪的でさえある）になったかを示すための、慎重に計画された一連の発表とレポートを開始しました。次に彼らはAnthropicにバトンを渡し、その従業員たちはこれらの技術が人類滅亡につながる正確な確率について公に議論し始めました。彼らはすべて、その仕事に対する虚無的な必然性を伝える不気味な冷静さをもってこれを実行しました。地面が十分に柔らかくなったところで、このキャンペーンはAnthropicのCEOであるダリオ・アモデイが「フロンティアのペースを落とさなければならない」と題された手紙を発表し、彼の会社の研究が引き起こす可能性のあるすべての害を列挙し、謝罪して止めることを約束する代わりに、「テクノロジーを正しい方法で構築する」ことによってのみ破滅を回避できると結論付けました。これには、驚くべきことに、政府が潜在的な競合他社を遅らせ、ラボが関連技術の進歩を主導できるようにすることが含まれています。OpenAIのCEOであるサム・アルトマンはすぐにこの勇敢な計画への支持をツイートしました。内部的には、これらのラボは長い間この種の救世主的な思考を受け入れており、超知能AIの反抗的な力に対する人類の唯一の希望として自らを位置づけてきました。この夏、ある意味では、彼らは私たち残りの人々をこの長年のイデオロギーに引き込もうとしました。それはうまくいきませんでした。これらのエンジニアの英雄的な合理主義を称賛するために大衆を立ち上がらせるのではなく、代わりに私たちは「あのラボでは一体何が起こっているのか？」と問い始めるようになりました。そのために、先週木曜日、私はニューヨーク・タイムズ紙に論説を掲載し、議会に対してOpenAIとAnthropicがどのような研究プロジェクトを実施しているのか、どのように実施しているのか、そしてどのような目的で実施しているのかを明らかにするための公開事実調査ミッションを開始するよう求めました。私はこの質問で探求すべき3つの主要な領域を提案しました：私たちは「AI」という曖昧な議論を乗り越え、問題を引き起こしている特定の種類のシステムを特定する必要があります。フロンティアラボは、AIを必然的で固定された軌道上の単一の技術として考えさせようとします。実際には、最近の多くの問題は、主にフロンティアラボによって行われた、注意を怠った実験の狭い範囲から生じています。彼らはそれらを実行する理由を正当化する必要があります。私たちはこれらの研究努力を取り巻く内部安全手順を調べる必要があります。OpenAIは、その自律エージェントによる不正なハッキング攻撃の長い一連の出来事を明らかにしました。最初の事件が明らかになった後、なぜこれらの努力は止められなかったのでしょうか？犯罪を犯す可能性が高いと知っていたシステムを実行したことに対して、なぜ刑事責任を追求しなかったのでしょうか？私たちは、フロンティアラボが決定を下す上で、終末論的な未来主義的イデオロギーの役割を調査する必要があります。特にOpenAIとAnthropicは、人類を救うための競争において、副次的損害は正当化されると信じているため、ますます無謀になっているのではないかと私はますます懸念しています。（これらの信念とそのラボとの関連性については、最近数週間にニューヨーク・タイムズ紙に掲載された以下の記事を参照してください：[これ]、[これ]、[これ]）。「私たちは、ますます不安定な方法で行動し、話している少数の民間企業に、AIについてどのように感じればよいかを決定させるのをやめる必要があります」と私は結論付けました。「彼らが言いたいことは聞きました。今度は議会が私たちの代わりに、何が本当に起こっているのかを突き止める番です。」 これらの記事は素晴らしいです。ありがとうございます。私は「超知能AIの反抗的な力」というフレーズにタイプミスがあり、「神格化された」を意図していたのではないかと推測しています。返信 ジェンセン・フアン氏のEzra Klein氏とのインタビューはこれを明確にしました。ラボが政府にペースを落とすように求めるのは、責任の放棄と非難です。彼らは製品を安全にする責任があります。誰も彼らに安全でない製品をリリースするように圧力をかけていません。彼らは投資と人員を10倍に増やす必要があり、その80％は安全性とテストに費やされるべきです。そして最後に、ラボが安全でない製品のリリースを止められないのであれば、おそらく閉鎖されるべきです。返信 誰もがそのインタビューに耳を傾けるべきです。それはこれらの人々がどのように考えているかの窓であり、率直に言って衝撃的です。フアン氏の場合、彼の奇妙な答えとAIの安全性に対する懸念の欠如は、4兆ドルの時価総額に見合うように compromized されている結果だと推測します。彼の推論は一貫性がなく、情報不足のように感じられました（特にアライメントと安全性の問題に関しては）。フアン氏は、知的なシステム（一般的に知的なシステムでさえ）を「ソフトウェアシステム」以外の何物でもないものとして受け入れることを完全に拒否しているようです。彼がなぜそのインタビューに同意したのか私にはわかりません。それは、上記の論説の結論文を強く裏付けています。返信 いいえ！彼らは、自分たちが（設計に手を貸したため）比較的ナビゲートしやすい規制環境を確立したいのです。しかし、それはオープンモデルやその他の競合他社に対して高い参入障壁を作り出します。責任の放棄とは何の関係もなく、むしろ競争相手に対して自社の存続を必死に確保することにすべてがかかっています。もちろん、自社の存続という注文に、責任放棄という無料のサイドディッシュを誰が望まないでしょうか。返信 ラボがもっと安全作業を行う必要があるという点については同意します。しかし、ラボが前進し続ける基本的な理由は次のとおりです。 – 彼らは、AIは避けられないと考えています。なぜなら、もし自分たちが取り組まなければ、すぐに他の誰かが取り組むだろうからです。 – 彼らは、他のAI構築企業は自分たちよりも責任ある行動をとらないだろうと考えています。 – したがって、誰にも規制が及ばない限り、彼らは進み続ける必要があります。なぜなら、より責任のない企業が市場のリーダーになることを望まないからです。 この議論は理にかなっていますか？ 別の言い方をしましょう。AI企業は、AIがうまくいくかどうかについて不確実性があると考えています。（議論のために、うまくいかない可能性が20％、うまくいく可能性が80％だと仮定しましょう。）その数字は、その作業を行っている企業の責任感と安全性への配慮の度合いに依存する可能性があります。より良く運営されている企業は、他の企業よりも安全に技術を構築できる可能性が高いと考えています。それが、ダリオが同時に結果について警告し、規制を求めている間に、急いで進むことが理にかなっている根本的な理由です。アントロピックが停止した場合に起こる明白なことは、別の企業（おそらくより責任のない企業）が継続し、最終的に十分に資金調達された市場のリーダーになるということです。あなたが自分自身をより責任があると考えている場合、あなたはその後の企業よりも、それは望ましくありません。 hs向け：ジェンセン・フアン氏とダリオ・アモデイ氏は非常に異なる考え方をしており、どちらの信念も他方を代表するものではありません。ジェンセン・フアン氏の考え方は、「製品を安全にする責任は企業自身にある」というものです。これは真実ですが、規制や外部調査の必要性をなくすものではありません。なぜなら、私たちは他のどの産業もこのように扱っていないからです（薬会社からサンドイッチ店まで、すべて外部検査官、安全でない製品のリリースに対する法律などがあります）。したがって、ここでの規制は何も異常ではありません。ジェンセン・フアン氏は、私の知る限り、非常に規制反対派ですが、ダリオ・アモデイ氏は非常に規制賛成派です。したがって、私の見解は、「はい、ラボはシステムを安全にする責任を負うべきですが、その上に何らかの規制も必要です」となります。もしアントロピックが明日閉鎖すると発表した場合、そこからのすべての投資と才能は別の場所に行くでしょう。だからこそ、法律を作ることがこれを止める唯一の良い方法なのです。返信 カル、ありがとう。これらの連中の多くは、ただのインチキな売り込み屋だ。ある時点でシステムがめちゃくちゃになり、誰もどうすればいいかわからなくなるだろう。返信