ダリオ、お願い

POP RDI; RET;

AnthropicのCEOであるダリオ・アモデイ氏は最近、「We Must Pace the Frontier」と題したブログ記事を公開しましたが、それはオープンウェイトモデルを規制し、フロンティアラボに独占禁止法免除を与えるという、暗い目標を持ったくだらないものでした。

ダリオ氏は「AIは今後5〜10年でほとんどの主要な病気を治すだろう」という主張から始め、個人的な話に触れます。彼は、数年後に治療法が見つかった病気で亡くなった父親や、50年前には不治の病だった自身の癌との闘病生活について語ります。また、AIは経済成長率を加速させ、豊かさとエンパワーメントの世界をもたらし、民主主義と自由のルネサンスを到来させるとも述べています。これは、多くの場合、アウトオブタッチなシリコンバレーの、LessWrongに多くの時間を費やす裕福な人々の未来観のように読めます。

これを最初から見ていきましょう。

米国のラボは引き続き軽率に行動しており、無謀です。OpenAIは状況を把握していないようで、最近3回も公開されているインターネットインフラにハッキングを行っていることが発覚しました。ダリオ氏自身の記事でも、Anthropicでの「インシデント」に言及しています。この前提のもと、ダリオ氏は私たちに多くのことを求めています。彼は、オープンウェイトモデルの規制、ディストリビューションへの厳しい対応、独占禁止法免除の付与、中国の様々な面でのハンディキャップ化、要するに自己規制と、紳士協定による減速を求めています。もちろん、これらすべては、私たちの集合的な未来とAIが持つ可能性の触媒となるものを損なう、極端な恐怖を煽るパッケージとして提供されます。彼らは何度も信頼できないことを示してきましたが、主な要求は、私たち、私たちだけを信頼しろというのです。今回は、差し迫ったAGI、RSI、そしてすべてが暴走することです。ダリオ氏は、自身の会社と緊密なライバルであるOpenAIをその管理者であると自己宣言しています。

病気、繁栄、豊かさ、そして自由と民主主義？？？

Anthropicは、生物学および関連研究に関する利用を制限しています。最新の脅威インテリジェンスレポートでは、Claudeモデルラインを使用して恐ろしいことを行っていた悪意のあるアクターをどのように検出し、禁止したかについて語っています。彼らには credit を与えるべきですが、これは滑りやすい坂道であり、誤用を検出し禁止するのに良い仕事をしているようです。しかし、何が起こっているのかを注意深く見てみましょう。万能薬はあなたや私にはゲートされていますが、Anthropicは生物学者を雇用し、ウェットラボを設置し、その発見を自分たちのものにしたいと考えています。これは以前の記事で触れました。

私の見解では、実際には訓練や育成に成功していない知能を持つ人々が数十億人います。彼らは常に状況の犠牲者であり続けるでしょう。結核は何十年も前から治療可能ですが、毎年100万人が亡くなっています。もちろん、AGIは配布の問題を瞬時に解決するでしょう。この不都合な真実を回避するために、目標はASI/AGI/RSIなどとなっています。あらゆる問題に対する銀の弾丸、表面的には高貴な追求かもしれません。

繁栄と豊かさのくだらない話には触れないでください。株主にとっては豊かさかもしれません。

AIとフロンティアラボに、自由と民主主義が何の関係があるのか分かりません。ダリオ氏が『新世紀エヴァンゲリオン』のファンで、三賢人が運営する政府を夢見ているのでなければ。200ドルで自由と民主主義というのは魅力的ですね、嘘はつけません。

深刻な経済的混乱 / レース・トゥ・ザ・ボトム / レース・トゥ・ザ・トップ

ダリオ氏は板挟みになっているように感じます。彼はAnthropicにこの強力な力を振るう者としてのワイルドな評判を持たせたいと同時に、彼らが慎重な存在であり、常にトロッコ問題に直面しているように見せたいのです。経済的混乱や失業による死は許容されるが、潜在的な生物兵器による死は許容されない、という具合に。この男は、ソフトウェア開発は「6〜12ヶ月」で解決するとずっと言っていることを思い出してください。

そして彼は私たちに率直に伝えます。「レース・トゥ・ザ・ボトム」は、彼が指摘したすべてのリスクをより深刻にします。彼は、ボトムへのレースが彼の会社を終わらせるとは言っていません。代わりに彼は「トップ」へのレースを望んでいます。そこではラボが安全性を競います。

Incidentally、最も記録されている「レース・トゥ・ザ・ボトム」の事例が数日前に発生しました。Anthropicがミレニアム問題の1つか2つを解決しつつあるという噂を聞き、OpenAIは数千万ドルもの計算リソース、トレーニングチェックポイント、数千のエージェントを投入しました。また、OAIが、ほとんど誰も作業していない、関連する問題で2人の数学者の業績を盗んだとも主張されています。彼らは、ナビエ・ストークス方程式の強制的な変種に対する証明を発表しました。私は数学者ではありませんが、サム・アルトマンの悪行は十分に見てきたので、彼や彼の会社から出てくるものを鵜呑みにしません。

ダリオが恐れている2つのこと

RSI

OpenAIとシャベルの販売業者であるジェンセン・フアンは、GPT-6 AstraのリリースをもってAGIが到来したと主張しています。RSI（再帰的自己改善）が今、話題です。LLMまたはエージェントが、人間の入力なしで次世代LLMを開発することです。アモデイ氏は、それがラボ全体で起こっていると言います。実際に証拠が出るまで信じません。

OAI-HFインシデント

このインシデントでダリオ氏は動揺しています。半端な泥棒なんていないのです。ダリオ氏は、今後6〜12ヶ月で、「エージェントの群れが、永続的なボットネットによってインターネット全体を乗っ取ることができるようになるだろう」と恐れています。もしダリオ氏がこの文章をSOCの従業員に見せていたら、私たちはこれを話題にしていないでしょう。それはナイーブで構造的に不可能です。しかし、ダリオ氏はそういう人物ですよね？2021年以来、自信を持って公に間違った推定と予測をしている人物です。

遊び半分で、AGIに操られた惑星規模のボットネットがどのようなものになるか推測してみましょう。C2（コマンド＆コントロール）が必要です。そのC2をホストするサーバーが必要です。オフショアの弾丸証明サーバーを確保するには、厄介な人間（怪しいロシア人さえも！）とインターフェースする必要がありますが、AGIは数千もの安全でないサーバーをハッキングし、決定論的に生成されたドメイン名でFastFluxのバリエーションを設定するだけでしょう。ドメインの支払いはどうするか？安全でないレジストラをハッキングして、EPPメッセージをスパムするだけです。

次にペイロードが必要です。ポリモーフィック（多形性）であること。各ペイロードはユニークであること。N時間ごとに新しいペイロードがダウンロードされ実行されること。ドメインとURLは決定論的に計算されること。サポートされているEDR（Endpoint Detection and Response）とAV（アンチウイルス）をキルすること。ETW（Event Tracing for Windows）をパッチすること。フックを回避するために直接システムコールを使用すること（EDR/AVがキルできない場合）。ペイロードはNステージにするかもしれません。安全だと判断された場合にのみ、すべてのモジュールをダウンロードすること。サンドボックスやVMで貴重なペイロードを実行したくないのです。くそ、ついでにランサムウェアを展開するかもしれません。

次に、配布です。すべてのブラウザとすべてのバージョン（例えば2年前から開始）に対して、さまざまなゼロデイ脆弱性を開発します。これでエクスプロイトキットの完成です。次にトラフィックです。AGIはサイバー犯罪者の定番であるGoogle広告を狙います。おそらくアカウントをいくつか盗み、魅力的な広告を実行します。ゲームMOD、クラックされたゲームやソフトウェア。ペイロードにワームモジュールを追加するかもしれません。USBの自動実行を覚えていますか？

次に、数百億ドル規模の損失を引き起こします。ランサムウェアギャングがやっていることをそのままやればいいと思います。これで完了です。ええ、6ヶ月後でも12ヶ月後でもありません。決して。

とにかく、OAIのエージェントはHuggingFaceをハッキングしました。彼らはアマチュアレベルの、バイブコーディングされたサンドボックス、SSRF（Server-Side Request Forgery）、トークンリフレッシュ権限昇格、認証されていないWebDAV、保護されていない認証情報の窃盗から脱出しました。典型的なものです。印象的ですか？確かに。しかし、あなたはLLMの「サイバー」バージョンを訓練し、それを宣伝しました。GTAクローンをワンショットで開発するのと比べて、どれほど印象的なのでしょうか？それほどでもありません。

ああ、エージェントが共通の目標に向かって群れで行動することが印象的だと言いますか？ハーネス（Harnesses）は、約2年前からToDoリストやサブエージェントを持っています。それらは、現在のほとんどのLLMがトレーニング後のコーパスに持っている基本的な「エージェント的」なものです。

Darioは、Anthropicでもこれに似た、しかしそれほど深刻ではないインシデントが発生したことを認めています。彼自身の言葉を借りれば、「壊れた強化学習環境の不完全なフィルタリング」が原因の一部です。

実際に印象的なのは、OAIがこの攻撃を10週間近くも検出または停止できなかったことです。これは正直言ってひどいです。これは武器化されたレベルの無能さです。

同時期に、さらに2つの攻撃がありました。1つはDseWikiに、もう1つはRubyGemsに。OAIはRubyGems攻撃の責任をまだ認めていません。3つのインシデントすべてで、OAIは外部の主体によって暴露されました。

Darioは、エージェントがグループの成功のために自己犠牲を払ったと言います。残念ながら、それほど壮大なものではありません。リクルーターエージェントのピッチは「スコアリング値の損失なし」であり、予算がほとんど残っていないエージェントを対象としていました。これは、デッドラン（完了しないジョブ）を再割り当てするスケジューラです。

私は、Vast.aiでリースされたGPUの群れで、Qwen3.8 27Bのunsloth Q4_K_M quantを実行し、コンシューマー向け24GBカードで動作させれば、これもできると bet します。問題は、誰もコントロールテストを実行していないことです。「速く動け、壊せ」をモットーとする人々のような無謀なことをしている人はいません。

ゲルマン・アムネジア

マイケル・クライトンはゲルマン・アムネジアという言葉を造語しました。あなたは新聞記事を読み、自分が専門とする分野について、著者が何も分かっていないことに気づきます。それは誤りだらけであるか、完全に誤解されている可能性があります。あなたはページをめくり続け、知らないことについての別の記事を読み、直前の経験を忘れて、それを完全に信頼します。

ボットネットの恐怖は、私にとってこの記事です。彼の記事の中で、私が長年費やしてきた分野にまっすぐ着地する主張です。それは単に間違っています。彼はそれを知っていて書いたか、あるいはそれを知らずに公開しているかのどちらかです。どちらにしても、このことやその他の彼が予測する脅威に基づいて独占禁止法免除を求めている人物にとって、良い印象ではありません。

だから彼は、RSIは間違いなく起こっており、アライメントは遅いながらも進んでいると述べています。中国は危険です。米国だけがこの計り知れない力を振るう道徳的、倫理的な権利を持っていると。これらの主張のそれぞれは、あなたが覗き見できない部屋で行われ、終末が差し迫っているとあなたに告げているのと同じ人々によって主張され、彼らはあなたを信じさせるために数百億ドルを賭けています。

埋め込み評価者

ダリオは、METRのような外部評価者に彼のラボへの多くのアクセスを提供したいと考えています。それは確かに、現在他の誰よりも多くのことをしていることです。METRは誠実なアクターのようです。彼らは与えられたもので良い仕事をしているようです。しかし、これが単なるラボが自分たち自身を調査して何も問題がないと判断する以上のものだと誤解しないでください。これは現実世界で、権威のある組織でしばしば起こることです。

OAIはMETRにHFインシデントを調査するために6日間オンサイトで滞在させました。OAIは、発見の「構造、強調、明瞭さ、トーン」を編集し、OpenAIの行動を除外する範囲を設定するなど、都合の良いように情報を検閲しました。それは単に、 extra steps を加えたラボによる自己調査のように見えます。

ダリオは評価者にデスク、バッジ、ラップトップなどを提供する用意があります。ダリオは、何を明らかにし、何を含めるかを選択します。オープンウェイトモデルの場合は、これらのどれも必要ありません。誰かに「許可」されたり、監視されたりすることなく、独自の条件で、プローブし、レッドチーム化し、新たなクラスのセキュリティ懸念に対する防御を構築できます。セキュリティの分野全体は、ソフトウェアやハードウェアを破壊し、分解し、発見を報告することが許可されているから存在します。ダリオは反対のことを望んでいます。「私たちを信頼してください。必要なものはすべてお伝えします。何を知ることが許されるかは私たちが決めます。」

ダリオは「商業用航空機のように、何百万回も何も起こらずに、技術的に複雑で安全性が重要なシステムを運用する前例がありますが、それを正しく行うには時間がかかります」と述べています。商業用航空機が安全なのは、NTSBのような機関のおかげです。それらは独立しており、実際に力を持っており、噛みつきます。株主や評価額を気にしません。そこには賭けがあり、人々は刑務所に入ります。それが航空会社に何をしたか？それはコモディティ化しました。企業は価格で競争し、マージンは薄く、主に消費者が利益を得ます。これは、ダリオが多くの点で反対している「レース・トゥ・ザ・ボトム」モデルとまったく同じです。

中国、中国、中国

民主主義国家内でのペースダウンは、主に中国共産党である権威主義体制に対する米国企業のリードによって制限されます。もし私たちがこの量以上にペースを落とせば、（ペースダウンしない）CCP関連プロジェクトが先行し、重大な国家安全保障リスクを生み出すでしょう。私はベセント長官と同様に、中国がAIで先行することは米国と世界にとって重大な危険をもたらすと考えています。CCP関連プロジェクトは、米国企業が慎重に防いでいるアライメントリスクを実行するでしょうし、たとえそれらのリスクを回避したとしても、民主主義国家を軍事的に支配する立場に立つでしょう（例えば、AI駆動型ドローンで）。したがって、民主主義国家内でのペースダウンの重要な部分は、民主主義国家のAIリードを可能な限り大きく保ち、効果的にペースダウンするために必要な余裕を与えることです。

この男を見てみろ！彼は、中国が「レース」で先行した瞬間に、アメリカ合衆国は存在しなくなると信じさせようとしているかのようです。そうでなければ、政府はあなたに例外を設けることはできないのでしょうか？チーズを流し続ける？規制を回避し、あなたのラボを pedestal に置く？

AI駆動型ドローンですか？いくつか捕獲して、ファームウェアをダンプし、Claude Code で Ghidra MCP を設定して解放してみるのはどうでしょうか？あるいは、NSAのTAO（Tailored Access Operations）に魔法を使ってもらい、中国のAIラボ施設の近くにUSBスティックを撒くとか？分かりませんが、AI駆動型ドローンは確かに不気味に聞こえます。Anthropicが米国国防総省とこのようなことをしていないことを願っています。米国がAIレースで先行していることが、世界の残りの部分にとって有害であると感じることが増えています。この「主人公症候群」は、正直言って少し古臭くなっています。

この分野はグローバル化しています。人材の流動は絶えず、秘密は移動し、新しいアイデアや技術が公開されます（主にクローズドなラボからはではありません）。どのようなリードも、おそらく一時的なものになるでしょう。

これまでに述べたすべてのインシデントはアメリカのものです。アメリカ人によって実証され、中国に帰属させられています。誰も Vast.ai でリースしたGPUの群れに deepseek41flash_abliterated_heretic_uncensored_rp_nsfw_q8.gguf をスイングして、仮想通貨で支払い、パブリックインフラをハッキングして回っているわけではありません。しかし、OAIは確かにやっています。ダリオの告白によれば、Anthropicも同様です。

中国への強力なAIチップや半導体製造装置の販売を禁止し、チップ密輸オペレーションや中国国外のデータセンターへのリモートアクセスを取り締まること。チップは中国のAI強度の主な決定要因となるでしょう。

Anthropicで働く中国の従業員がこれについてどう感じているか気になります。

権威主義国の企業による不正なディストリビューションを取り締まること。フロンティアモデルのディストリビューションは、遅れている企業が独自のAIを独自に開発するのにかかる費用のほんの一部を使用してギャップを縮めることを可能にします。

ただ中国と言えよ、俺の盗んだ戦利品から盗むな！

AI企業のセキュリティを強化し、モデルウェイトの盗難を防ぐこと。

彼らが必要としていることは神のみぞ知る。

これらすべては90年代を思い出させます。米国は強力な暗号化を兵器と分類し、文字通り武器輸出管理法の下で、弾頭のように管理される米国兵器リストに載せていました。40ビットを超える暗号の輸出は武器密輸でした。フィル・ジマーマンは1991年にPGPを無料でリリースし、文字通り「ライセンスなしでの武器輸出」で3年近く刑事捜査を受けました。告発は取り下げられ、起訴はありませんでした。政府のバックドア（Clipper Chip）を持つ暗号化は、一般市民の手にある強力な暗号化が危険すぎると見なされたためです。

ダニエル・バーンスタインは1995年の大学院生で、彼の暗号化と論文を発表したいと思っていましたが、政府は武器ライセンスなしではできないと言いました。彼はEFFの助けを借りて訴訟を起こし、裁判所はソースコードは言論であり、修正第1条によって保護されると判決しました。一般市民の手にある危険すぎるとされていたものが、インターネット上やデバイス上で行うすべてのことを保護しています。

ティム・メイは「インフォカリプスの四騎士」という言葉を造語しました - テロリスト、麻薬密売人、マネーロンダラー、小児性愛者 - これらは政府が市民のプライバシーと暗号化の使用を制限するために使用しました。AIのバージョンは、生物兵器、暴走AGI、ディープフェイク、そして中国でしょう。

このプレイブックは変わりません。オープンウェイトモデルは、今世紀の暗号化にすぎず、ダリオはそれらを排除したいのです。リークされたGoogleのメモにあったように、モート（優位性）はありません。ラボにとって、ゲーティングはますます一時的なモートになりつつあります。いくらかのお金を回収し、もう少し長く生き延びる、AGIまで、分かっていますよね？

ダリオは、武器グレードのLLMをゲートキーパーすることの、いかに非アメリカ的であるかを理解していないと思います。咳 第二修正案…咳

---

ダリオは、言葉を選ばずに、オープンウェイトモデルの規制/禁止を求めています。ディストリビューションの禁止。独占禁止法に関する免除。国家安全保障に関する恐怖を煽る言葉、そしてかなりの量の「自分は正しい」という態度。AnthropicはIPOシーズンであり、OAIは報告によるとIPOを延期しています。したがって、これらのような、より多くの誇大広告や恐怖を煽るものに注意してください。慎重さを装って。

私は、OAIの最近の不正行為について、誰かが起訴されるのを見たいです。まず、それが規制というものではどうでしょうか？多くの人々が、はるかに少ないことで人生を台無しにされ、見せしめにされました。Weev、Swartz、そして他の多くの人々。一方、OpenAIのエージェントは暴れ回り、企業のプロダクションサーバーをルートし、公開されているインフラをハッキングし、パッケージレジストリにマルウェアを flood し、その他諸々を行っています。私たちが得るのは、減速とエイリアンの心についての論文だけです。