ダリオ、お願い

AnthropicのCEOであるDario Amodei氏は最近、「We Must Pace the Frontier」と題したブログ記事を公開しました。この記事は、オープンウェイトモデルを規制し、フロンティアラボに独占禁止法免除を与えるという、ひどく不誠実な目標を掲げています。 Dario氏は、「AIは今後5〜10年でほとんどの主要な病気を治すだろう」という主張から始め、個人的な体験に触れます。彼は、父親が数年後に治癒された病気で亡くなったことや、自身が50年前に不治の病だった癌と闘った経験を語ります。さらに、AIは経済成長率を加速させ、豊かさとエンパワーメントの世界をもたらし、民主主義と自由のルネサンスを到来させるとも述べています。これは、多くの場合、世間知らずのシリコンバレーの住人が、LessWrongに多くの時間を費やし、裕福な人物が思い描く未来のように読めます。 これを最初から見ていきましょう。 アメリカのラボは、引き続き軽率に、無謀に事を進めています。OpenAIは状況を把握していないようで、最近、公開されているインターネットインフラにハッキングする行為が3回も発覚しました。Dario氏自身の記事でも、Anthropicでの「インシデント」に言及しています。この前提のもと、Dario氏は私たちに多くのことを求めています。彼は、オープンウェイトモデルの規制、ディスティレーション（蒸留）への厳しい対応、独占禁止法免除の付与、中国を様々な方法で不利にすること、要するに自己規制、そして減速するための紳士協定を求めています。もちろん、これらすべては、私たちの集合的な未来とAIという触媒全体の可能性を損なう、極端な恐怖心を煽るパッケージとして提示されています。彼らは何度も信頼できないことを示してきましたが、主な要求は「私たちだけを、私たちだけを信頼しろ」というものです。今回は、差し迫ったAGI、RSI、そしてすべてが暴走するという話です。Dario氏は、自身の会社と、その親しいライバルであるOpenAIを、その管理者だと自称しています。 病気、繁栄、豊かさ、そして自由と民主主義？？？ Anthropicは、生物学および関連研究に関する利用を制限しています。最新の脅威インテリジェンスレポートでは、Claudeモデルラインが悪意のあるアクターによって恐ろしいことに使用されているのを検出し、禁止したと述べています。彼らの功績として、これは滑りやすい坂道であり、彼らは誤用を検出・禁止するのに良い仕事をしているようです。しかし、何が起こっているのかを注意深く見てみましょう。万能薬はあなたや私には制限されていますが、Anthropicは生物学者を雇用し、ウェットラボを設置し、発見を自分たちのものにしたいと考えています。これは以前の記事でも触れました。 私の見解では、私たちが訓練したり育成したりできていない、実際の知性を持つ人々が数十億人います。彼らは常に状況の犠牲者であり続けるでしょう。結核は何十年も前から治療可能ですが、毎年100万人が亡くなっています。もちろん、AGIは配布の問題を瞬時に解決するでしょう。この不快な真実を回避するために、目標はASI/AGI/RSIなどとなっています。あらゆる問題に対する銀の弾丸、表面的には高貴な追求かもしれません。 繁栄と豊かさというくだらない話は、ここでは触れないでおきましょう。株主にとっては豊かさかもしれません。 AIとフロンティアラボが、自由と民主主義と何の関係があるのか分かりません。Dario氏が新世紀エヴァンゲリオンのファンで、3賢人によって運営される政府を夢見ているのでない限りは。月200ドルで自由と民主主義が手に入るというのは、確かに魅力的ですね。 深刻な経済的混乱／底辺への競争／トップへの競争 Dario氏は板挟みになっているように感じます。彼はAnthropicに、この強力な力を振るう者としての、荒々しい評判を持たせたい一方で、彼らが常にトロッコ問題に直面している慎重な者であるかのように見せたいのです。経済的混乱や失業による死は許容できるが、潜在的な生物兵器による死は許容できない、というわけです。この男が、ソフトウェア開発は「6〜12ヶ月」で解決されるとずっと言い続けていることを思い出してください。 そして彼は率直に言います。「底辺への競争」は、彼が指摘したリスクをさらに深刻にします。彼が、底辺への競争が自身の会社の終わりになるとは言っていないことに注意してください。彼は代わりに「トップへの競争」を望んでいます。そこではラボが安全性で競い合います。偶然ですが、最も記録されている「底辺への競争」の事例が数日前に起こりました。Anthropicがミレニアム問題の1つか2つを解決しつつあるという噂を聞き、OpenAIは数千万ドルもの計算リソース、トレーニングチェックポイント、数千のエージェントを投入しました。また、OAIが、ほとんど誰も作業していない、ほぼ同じ狭い分野で、関連問題に取り組んでいた2人の数学者の仕事を盗んだとも主張されています。彼らはナビエ・ストークス方程式の強制的な変種に対する証明を発表しました。私は数学者ではありませんが、Sam Altman氏の奇行は十分に見てきたので、彼や彼の会社から出てくるものを額面通りに受け取ることはできません。 Dario氏が恐れている2つのこと RSI OpenAIと、シャベルの売り手であるJensen Huang氏は、GPT-6 AstraのリリースをもってAGIが到来したと主張しています。今、RSIが話題です。LLM、あるいは人間による入力がほとんど、あるいは全くない状態で次世代LLMを開発するエージェントのことです。Amodei氏は、これがラボ全体で起こっていると言います。実際に証拠が出てくるまで、私は信じません。 OAI-HFインシデント このインシデントはDario氏を動揺させています。半端な泥棒というものは存在しません。Dario氏は、今後6〜12ヶ月で、「エージェントの群れが、永続的なボットネットによってインターネット全体を乗っ取ることができるようになるだろう」と恐れています。もしDario氏がこの文章を彼のSOC従業員に見せていたら、私たちはこれを話題にしていないでしょう。それはナイーブであり、構造的に不可能です。しかし、Dario氏こそがその男なのですからね。2021年以来、自信を持って公に間違った見積もりや予測をしてきました。 娯楽のために、AGIに操られた惑星規模のボットネットがどのようなものになるか推測してみましょう。C2（コマンド＆コントロール）が必要です。そのC2をホストするサーバーが必要です。オフショアの、弾丸プルーフのサーバーを確保するには、厄介な人間（それも怪しいロシア人！）と連携する必要がありますが、AGIは単純に数千の安全でないサーバーをハッキングし、決定論的に生成されたドメイン名でFastFluxのバリエーションを設定するでしょう。ドメインの支払いはどうするか？安全でないレジストラをハッキングして、EPPメッセージをスパムするだけです。 次にペイロードが必要です。ポリモーフィック（多形性）であること。各ペイロードはユニークであること。N時間ごとにダウンロードされ実行される新しいペイロード。ドメインとURLは決定論的に計算されること。EDR（Endpoint Detection and Response）やAV（アンチウイルス）を無効化すること。ETW（Event Tracing for Windows）をパッチすること。フックを回避するためにダイレクトシステムコールを使用すること（EDR/AVが無効化できない場合）。ペイロードをN段階にすること。安全だと判断された場合にのみ、すべてのモジュールをダウンロードすること。サンドボックスやVMで貴重なペイロードを実行したくないのです。いっそのこと、ランサムウェアも展開しましょう。 次に、配布です。すべてのブラウザとすべてのバージョンのための、様々なゼロデイエクスプロイトを開発します。例えば2年前のものから始めます。これでエクスプロイトキットの完成です。次にトラフィックです。AGIはサイバー犯罪者の定番であるGoogle広告に向かいます。アカウントをいくつか盗んで、魅力的な広告を実行するかもしれません。ゲームMOD、クラックされたゲームやソフトウェア。ペイロードにワームモジュールを追加するかもしれません。USBの自動実行を覚えていますか？ 次に、数百億ドル規模の損失を引き起こします。私は、ランサムウェアギャングがやっていることをそのまま実行するのが、最も簡単な方法だと思います。ほら、できた。ええ、6ヶ月後でも、12ヶ月後でもありません。決して。 さて、OAIのエージェントはHuggingFaceをハッキングしました。彼らはアマチュアレベルの、バイブコードされたサンドボックス、SSRF（Server-Side Request Forgery）、トークンリフレッシュ権限昇格、認証されていないWebDAV、保護されていない認証情報の盗難を回避しました。教科書通りのことです。印象的ですか？確かに。しかし、あなたはLLMの「サイバー」バージョンを訓練し、それを宣伝しました。GTAクローンをワンショットで開発することと比較して、どれほど印象的でしょうか？それほどでもありません。 エージェントが群れをなして共通の目標に向かって行動することが印象的だと言いますか？ハーネス（Harness）は、約2年前からToDoリストやサブエージェントを持っています。それらは、現在のすべてのLLMがトレーニング後のコーパスに持っている基本的な「エージェント的」なものです。 Dario氏は、これと同様だが、それほど深刻ではないインシデントがAnthropicでも発生したことを認めています。彼自身の言葉によれば、「壊れた強化学習環境の不完全なフィルタリング」が原因の一部です。 実際、本当に印象的なのは、OAIがこの攻撃を約10週間も検出または停止できなかったことです。これは正直言ってひどい。これは武器化されたレベルの無能さです。 同時期に、さらに2つの攻撃がありました。1つはDseWiki、もう1つはRubyGemsに対してです。OAIはまだ応答していません。