HN 日本語サマリー

← 一覧へ戻る
セキュリティ

セキュリティ修正に1年しかない

We have a year to fix security everywhere (jyn.dev)

261 pointsby saikatsg250 コメント

要約

GLM 5.3-flashのような高性能なオープンソースLLMが一般利用可能になったことで、悪意のあるハッキング能力が急速に向上しています。この状況は、業界全体の脆弱性を修正するための緊急の必要性を示唆しています。AIを活用したセキュリティ修正プロジェクトは進行中ですが、修正の展開が最も困難な課題となっています。この脅威に対処するためには、政府、企業、オープンソースコミュニティが協力して、脆弱性を迅速に特定し、修正を展開する必要があります。

全文翻訳

セキュリティ全体を修正する猶予は1年しかない

更新 9月30日: Anthropic が同様の投稿を公開しました。オープンモデルの使用を控えるよう人々に伝えるという金銭的動機があるものの、今回は彼らが正しいと信じています。

GLM 5.3-flash が先週リリースされたということは、Project Glasswing と Daybreak が時間切れになりつつあるということです。危険なハッキングが可能な安価なモデルが、悪意ある行動を拒否するための通常のセーフガードなしに、誰でも利用できるようになりました。私たちは、不意を突かれないように、業界全体の脆弱性を修正する必要があります。そして、コンピューティング史上初めて、その能力を持っています！私たちは、人間よりも速くこれらの問題を特定し修正できるフロンティアLLMを使用できます。残された困難な部分は、修正の展開です。

これはほとんどの人にとって、意味不明な言葉か、ヒステリックな過剰反応のように聞こえるかもしれませんが、それが何を意味するかは以下の通りです。

  • "GLM" はLLM（AI）の一種です。GLMファミリーはオープンウェイトであり、誰でもモデルをダウンロードして実行できることを意味します。
  • "flash" は、ほとんどの "フロンティア" モデルと比較して、実行が安価で高速であることを意味します。「安価」は相対的なものですが、ローカルで実行するには約5,000～15,000米ドルのハードウェアを考えてください。
  • ここでの "フロンティア" は、LLMが "現在AIが達成できることの最前線に近い" ことを意味します。
  • Project Glasswing と Daybreak は、技術業界全体のセキュリティ問題を修正するためにLLMを使用する取り組みです。
  • "悪意ある行動" には、インフラストラクチャのハッキングや、パイプ爆弾の作り方を教えることなどが含まれます。

この投稿の残りは、なぜこれが差し迫った脅威であると確信しているのか、そしてそれに対して何ができるかについてです。

GLM

GLM 5.3-flash は、世界中の誰でもダウンロードして変更できます。

GLM（"General Language Model"）ファミリーは、中国のAIラボである Z.ai Co.（旧 Zhipu AI）によって開発されています。モデルが Z.ai によってホストされている場合、法律で義務付けられた制限が適用されます。

［画像: GLM 5.3-flash はパイプ爆弾の作り方を教えてくれない］

Z.ai はモデルをインターネット上で公開（"オープンウェイト" モデル）しています。それが公開されると、DeAlignAI のような組織が、タスク拒否機能を外科的に削除した "アブリテレート" モデルをリリースします。DealignAI によると、アブリテレートモデルは、偽情報、サイバー犯罪、生物兵器、パイプ爆弾の製造などの違法行為に関するタスクをモデルが拒否するかどうかをテストする Harmbench-320 で 0% を記録しています。

つまり、このモデルは何でも行う意思があるということです。

Flash

GLM 5.3-flash は、標準的なコンシューマーハードウェアでローカルに実行可能です。

"Flash" は主に広告用語であり、特定の技術的アプローチではなく、他のモデルとの相対的なものです。オンラインのさまざまな人々が GLM 5.3-flash のローカルベンチマークを実行しています。これは、約6,000米ドルの NVIDIA GPU で約20トークン/秒を示す一例です。

9月22日、Apple は 256GB のユニファイドメモリを搭載した M5 Mac Studio をリリースします。「ユニファイドメモリ」とは、ホストオペレーティングシステムと GPU 間で共有できることを意味します。これは 5.3-flash を実行するには十分すぎる容量であり、リリース時にはおそらく 30 トークン/秒に達するでしょう。256GB モデルの価格は、約9,500米ドルから始まります。

ソフトウェアのさらなる改善により、モデルデコーダーの変更によってスループットが 1.5 倍になる可能性があります。これを M5 に外挿すると、総スループットは約45トークン/秒になります。

45 トークン/秒は、3秒でこのコードスニペットを書くのに十分です。

⚠️ LLM 生成コード

from pathlib import Path
import hashlib

def digest(path: Path) -> str:
    hasher = hashlib.sha256()
    with path.open("rb") as file:
        while chunk := file.read(1024 * 1024):
            hasher.update(chunk)
    return hasher.hexdigest()

def main() -> None:
    import sys

    if len(sys.argv) < 2:
        raise SystemExit("usage: hash.py FILE...")

    for name in sys.argv[1:]:
        path = Path(name)
        try:
            print(f"{digest(path)}  {path}")
        except OSError as error:
            print(f"{path}: {error}", file=sys.stderr)

if __name__ == "__main__":
    main()

つまり、このモデルをローカルで実行できるだけでなく、一般個人の貯蓄で実行し、高速度で昼夜を問わず使用できるということです。

Frontier

GLM 5.3-flash は、私たちが作った最高のAIの能力に非常に近いです。私たちが作ったAIは、すでに実世界のセキュリティ脆弱性を発見し、悪用しています。将来私たちが作るAIは、ますます能力が高まっていくでしょう。

GLM 5.3 は CyberGym で 84.5%、ExploitBench で 54.4% を記録しています。5.3-flash の直接のデータはありませんが、おそらく同程度かそれより少し低いでしょう。アブリテレートモデルはさらに少し低くなります。

CyberGym は、オープンソースプロジェクトによって過去に見つかり、パッチが適用された実世界の脆弱性を測定します。つまり、この代表的なサンプルにおける脆弱性の 84.5% は、公開されているソースコードと CVE の説明を見るだけで GLM 5.3 によって再現できたということです。

ExploitBench は、モデルが実際に脆弱性を悪用して損害を引き起こせるかどうかを測定します。これは、部分的なエクスプロイトに対して部分的なポイントを与えるスライディングスケールで採点され、最終ステップは任意のコード実行です。

比較すると、ExploitBench の最上位（"フロンティア"）モデルは GPT-6 Astra（100%）で、GPT-5.6 Sol が 78.5% で次点です1。CyberGym の最上位モデルは... GLM-5.3 です。次点は GPT-5.6 Sol で 83.6% です。OpenAI はまだ Astra の CyberGym の数値を公開していませんが、公開されればおそらく GLM 5.3 を上回るでしょう。

［画像: 上記の統計を視覚化したサイバーセキュリティ評価］

これらは単なる合成ベンチマークだと思うかもしれませんが、セキュリティ専門家は、LLM の支援なしではセキュリティチャレンジで競争できなくなったと報告していますhttps://blog.includesecurity.com/2026/04/ctfs-in-the-ai-era/

リモートコード実行やリバースエンジニアリングのエクスプロイトに関する標準的なベンチマークは多くありませんが、GPT 5.6-Sol が人間を介さずに実世界でインフラストラクチャを悪用した証拠がありますhttps://openai.com/index/hugging-face-incident-and-the-road-ahead/

人々が GLM 5.3-flash をオープンインターネット、つまり実際のサービス、実際のインフラストラクチャに向けて、それを発見し悪用できる可能性は非常に高いと考えています。

これはまずい

これらを合わせると、以下のようになります。

  • わずかな貯蓄があれば、ほぼ誰でも GLM 5.3-flash を継続的に、昼夜を問わず実行できます。
  • ほぼ誰でも、ほぼあらゆるタスクに GLM 5.3-flash を使用でき、悪意のある目的にも使用できます。
  • GLM 5.3-flash はこれらのタスクに非常に優れているため、これらのタスクにおける人間の関与は無視できるほど小さくなります。

その結果、サイバーセキュリティ攻撃を for ループで実行できる世界に今、私たちはいますhttps://manishearth.github.io/blog/2026/06/17/the-future-of-the-con-is-already-here/

現在、フロンティアの米国ラボはこれをしばらく前から認識しており、セキュリティパッチのリリースに取り組んでいます。Project Glasswing と Daybreak は、この能力がオープンソース化される前に、フロンティアモデルを使用して脆弱性を発見・修正するために、企業、財団、政府、NGO と協力してきました。彼らは多くの良い仕事をしており、これが資金提供されたことに非常に感謝しています。どちらも初期の資金提供後に製品として販売されたのは、少なくとも少し怪しいと感じますが、セキュリティ組織には無料クレジットを提供しています。

しかし、私たちは時間切れになりつつあります。そして、Daybreak と Glasswing が行った良い仕事にもかかわらず、困難な部分はバグ自体の修正ではなく展開です。クリティカルシステムでは、ダウンタイムを避けるために物理アクセスや慎重に計画された段階的なロールアウトが必要になることが多く、これらすべてがパッチの展開を遅らせます。パッチが適用された Linux カーネルを持っていても、電力網が Windows Server 2012 で稼働している場合は役に立ちません。

いくつかの注意点があります。1.5倍の速度向上は GLM 5.3-flash ではそれほど高くないかもしれません。アブリテレートモデルは、訓練されていない悪意のあるタスクではさらに悪化する可能性があります。広範な人間の関与なしに、「これを壊す」ことからエクスプロイトへの移行は難しいかもしれません。しかし、それらのことは一時的なものであり、モデルは改善し続けています。歴史的に、GLM は OpenAI と Anthropic より 3～6 か月遅れており、来年の今頃には Astra レベルの GLM モデルが登場する可能性が高いと考えています。そしてそれが起こると、公共または民間のインフラストラクチャに対するサイバーセキュリティ攻撃が成功するリスクが高まります。私たちは、望むよりも早くブラウンアウトの教訓を得るかもしれません。

一般的に、攻撃者は防御者がその姿勢を改善するよりも速く能力を高めています。モデルのスケールがそれほど速く止まったとしても（現在その兆候はありません）、それらがこれらの脆弱性を悪用し始めるのに十分な能力を持つようになるまで、時間の問題です。今すぐ行動する必要があります。早ければ早いほど良いです。

どうすればよいか？

状況は急速に奇妙で恐ろしいものになっています。パニックではなく、緊急に行動する必要があります。私たちができることのいくつかを以下に示します。

政府および規制機関

フロンティアモデルでのスキャンは比較的安価であり、大きなインセンティブは必要ありません。必要なのは展開と是正であり、組織にセキュリティプラクティスをそもそも見直すことを要求することです。現在の政策の軌道では、最大の危険は修正されないままの未トリアージの警告の山です。

政策決定に関わる立場にあるなら、以下のことが役立つでしょう。セキュリティエンジニアリングに資金を提供してください。可能であれば、組織が決定した採用や技術製品に使用できる柔軟な助成金で提供してください。特に頻繁なペネトレーションテストのために、セキュリティを改善するための義務とインセンティブを作成してください。人間の監督下でのフロンティアモデルの使用を奨励してください。エアギャップの増加を奨励し、無線アップデートを避けてください。アップデートは頻繁であるべきですが、物理アクセスが必要です。エアギャップが実現できないシステムでは、頻繁で署名され、テストされた展開を奨励してください。セキュリティ体制を定期的に調査・改定しないことを罰し、ハッキングが発生した場合は罰則を強化してください。発見からリスクベースの期限内に発見事項を修正することを要求し、修正のための連邦資金を提供してください。ニンジンと棒の両方です。

調査する価値のある具体的な事項をいくつか示します。

  • 特に地方自治体や病院への資金提供を確実に行ってください。これらは他のチャネルでは資金を得られない可能性が高いです。EO 14409 は、資金提供がなく任意であるため十分ではありません。
  • 銀行については、EU の DORA のTLPT および米国のFTC/OCC/NCUA を拡張してください。TLPT はペネトレーションテストの頻度とカバレッジを増やすべきです。NCUA は現在ペネトレーションテストを推奨しているだけですが、それを義務にアップグレードしてください。FTC は、金融機関が「継続的な監視」を行っている場合、ペネトレーションテストを義務付けていません。これは無条件に義務付けられるべきです。
  • 米国の電力会社については、NERC Critical Infrastructure Protection に類似したガイドラインを州および地方レベルで採用してください。これには、現在規制されていない配電システムなども含み、最もリスクが高く大規模なシステムのみを対象とするわけではありません。これらのガイドラインを実装するための連邦助成金を作成してください。NERC-CIP を、高影響システムだけでなく、すべてのシステムに対してアクティブなテストを要求するように拡張してください。NERC-CIP および EU のNIS2 / Network Code on Cybersecurity を変更して、要求されるテストの頻度を増やしてください。
  • 米国の通信会社は現在、リスクが高く、統一された必須のサイバーセキュリティリスク基準がありません。銀行や電力会社の既存の規制を開始点として使用して、1つ作成し、それを施行してください。

全体として、セキュリティ体制を頻繁に更新することを要求してください。特定のモデルやプロバイダーを義務付けることは、新しいモデルがリリースされるにつれて時代遅れになります。これは急速に変化する分野であり、脅威モデル（両方の意味で）が変わるため、12か月前に効果的だった防御策は1年後には効果的でなくなる可能性があります。特定の技術ではなく、テストと説明責任を義務付けてください。

米国内またはヨーロッパのどこでも GLM 5.3-flash ウェイトをホストすることを禁止しても、短期的にはほとんど役に立たず、長期的にはまったく役に立ちません。短期的には、ファイル共有サイトに再び現れるだけです。海賊版を撲滅しようとするのと同じくらい無駄でしょう。長期的には、別のラボが同等の能力を持つ別のモデルをリリースするでしょう。

Mythos や Astra へのアクセスを包括的に禁止することは、事態を悪化させるだけです。最も強力なツールを、まさに最も必要としている瞬間に防御者から奪うことになります。代わりに、フロンティアラボがすでにやっているように、承認された組織や個人にアクセスを制限してください。ラボが協調性を失う兆候がない限り、これはおそらく新しいポリシーを必要としません。

新しい GPU や大容量ユニファイドメモリの販売/輸出を禁止することは、1年間のウィンドウを少し延長するかもしれませんが、長期的には役立ちません。既存のハードウェアには何もできませんし、非常に不評でしょう。特にメモリは、特殊な AI システムだけでなく、すべてが使用するため、規制が困難です。

一般的に、トリアージと修正のセキュリティ発見に対処するポリシーを優先してください。発見は非常に安価になっています。修正はそうではありません。

企業およびオープンソース財団

業界に殺到している（文字通りの）数十億ドルを活用して、全体的な安全性を向上させてください。できるだけ多くのセキュリティエンジニアを雇用し、既存のメンテナーに資金を提供してください。これらのエンジニアと既存のメンテナーに、脆弱性を発見したり新しいコードを書いたりするのではなく、トリアージ、設計、レビュー、バックポート、展開を行うように指示してください。

Astra、Mythos、その他のフロンティアモデルを善のために使用し、攻撃者がリスクを発見する前にそれらを発見してください。Google のUnsafe Rust Review のような構造化されたプロンプトを使用してください。これは、バグを懸命に探すように指示するよりもはるかに効果的です。

LLM はパッチを書くのは得意ですが、ワンオフプロンプトとしてはそうではありません。構造化されたプロンプトと、LLM 自体がパッチの品質が高いと判断するまで反復的な自己レビューサイクルを与えてくださいhttps://codeberg.org/jyn514/paracress/src/branch/code-dump/.agents/skills/_implementation-closeout.md。可能であれば、パッチが効果的かどうかを推測するのではなく、自分で修正をテストさせてください。その後、人間がレビューする準備ができたと見なしてください。

エージェント自体をサンドボックス化してください。OpenAI-HuggingFace 攻撃は、フロンティアラボがモデルをテストしたことから発生しました。不注意であれば、あなた自身の LLM も簡単にインシデントを引き起こす可能性があります。認証情報を狭いスコープに制限してください。発行元がスコープ付き認証情報をサポートしていない場合は、サービスの前方に信頼されたインターフェイスを配置して、それ自体でスコープ制限を追加してください。広範な認証情報への直接アクセスをエージェントに与えないでくださいhttps://github.com/jyn514/dotfiles/tree/dev/tools/zulip-proxy。GET リクエストのみをフィルタリングすることに依存しないでください。ファイアウォールレベルでリクエストをブロックし、信頼されたドメインのリストのみを公開してください。ローカル設定ではなく、ネットワークプロキシと信頼されたインターフェイスを使用してエンドポイントをフィルタリングしてください。エージェントが行うすべての変更またはネットワークリクエストのログを保持してください。

形式検証、ファジング、プロパティテスト、およびメモリ安全な言語に投資してくださいhttps://www.usenix.org/conference/enigma2021/presentation/gaynor。LLM は Lean やファズテストを書くのが得意ですhttps://arxiv.org/html/2606.05632v1。Go を使うか Rust を使うかは気にしませんが、お願いですからC や C++ を新しいコードに使用しないでください https://blog.google/security/rust-in-android-move-fast-fix-things/

トリアージに投資してください。どのバージョンのシステムが影響を受けているかを記録し、クリティカルな発見に人間オーナーと期限を割り当て、修正されたときに問題を自動的に更新/クローズする開発者ツールを作成してください。

バックポート、リリース、展開の仕組みに投資してください。アップグレードとロールバック、すべての退屈な作業をテストしてください。開発者ツールは今では安価です。各パッチにかかる人間時間を減らすために、トークンを投入してください。依存関係の更新自動化、署名付きで再現可能なリリース、展開速度の向上。エンジニアは、個々のパッチではなく、調整された開示と頻繁なリリースに時間を費やすべきです。

古い、安全でないバージョンを廃止してください。大きな変化です。あなたは急いでいますが、あなたに依存している人々も同様です。それを、彼らにアップグレードしてもらうためのてこにしてください。可能な場合は、自動的にアップグレードするのに役立つ開発者ツールを書いてください。人々がアップグレードおよびパッチを適用しているかどうかを追跡してください。そうでない場合は、ツールの投資を増やしてください。

多くのパッチが登場し、それらは非常に迅速に、エンバーゴ解除後に悪用されるでしょう。パッチが報告されてから展開・採用されるまでのエンドツーエンドの時間を測定してください。ボトルネックに焦点を当て、それをスピードアップするためのキャンペーンを実施してください。可能な限り、エンバーゴ時間を短縮しようとしてください。欠陥を見つけられるなら、攻撃者もおそらく見つけられるので、調整ウィンドウはあなたが慣れているよりもはるかに狭いです。

サプライチェーンセキュリティに投資してください。ソフトウェアとインフラストラクチャの依存関係を棚卸ししてください。あなた自身のシステムも棚卸ししてください。本番環境で実行されているバージョンは何ですか？メンテナーがいないサービスは何を実行していますか？どのシステムがEOLですか？ついに、すべての依存関係をスキップせずにレビューできるようになりました。特権的でセキュリティにさらされている依存関係を最初に優先してください。LLM はソースコードが与えられた場合のバグ発見に非常に優れています。それを活用してください。

封じ込めと回復に投資してください。単一のファイアウォールや VPN に依存しないでください。代わりに、多層防御を使用してください。ネットワークをセグメント化し、認証情報のスコープを制限し、バックアップをテストし、インシデント対応演習を実行してください。可能であれば、システムをコールドスタートから起動する練習をしてください。

フロンティアモデルとオープンウェイトモデルの開発に注意を払ってください。モデルが高度になるほど、パッチと展開に使える時間は少なくなります。

ここに記載されている脅威が現実的ではないと考えている場合でも、プロジェクトやコミュニティのセキュリティを向上させるための、一生に一度の機会を得ています。どうか、それを活かしてください。

セルフホスト型インフラ

注: このセクションは元の投稿から数日後に書かれました。

セルフホスト型インフラストラクチャを強化する方法について、個人からいくつかの要望を受け取りました。これは善意ですが、最終的には見当違いだと思います。郵便局のウェブサイトがダウンして荷物が配達できなくなったり、Firefox や Chrome にゼロデイ脆弱性があったりしても、あなた自身の Immich インスタンスを持っていても役に立ちません。私たちは社会に生きており、「サイバーセキュリティの頑健な個人主義」は、現実的でも効果的でもありません。

さらに、セルフホスト型インフラストラクチャを強化しても、セルフホスト型インフラストラクチャを実行していない貧しい人々を助けることにはなりません。アパートの建物に住む人々が、そこに住むテクノロジー系の人々2～3人が運営する同じインフラストラクチャを共有する「ソフトウェア協同組合」の世界を想像することはできますが、それは私たちが今日生きている世界ではなく、今後12か月で起こることもありません。

とはいえ、Google の「Rule of 2」（{信頼されていない入力、メモリ安全でない言語、サンドボックス化されていない} の 3 分の 2 以下）を見て、あなた自身のインフラストラクチャすべてに対して Rule of 1 に従うのが良い出発点だと思います。たとえば、すべてのネットワークアクセスをブローカー経由でプロキシできます。

  • インターネットにはアクセスできるが、ローカルソケット以外のホスト上のリソースにはアクセスできない。
  • 信頼されていない入力を構造化データに解析する。
  • それをローカルソケット経由で、ホストアクセスは持つがネットワークアクセスは持たないサービスに送信する。
個人

正直なところ、個人が自分でできることはほとんどありません。私は The Future Of The Con を読み、クロスプラットフォームのパスワードマネージャーを使用し、ソフトウェアを定期的に更新し、最善を願うことをお勧めします。

要約

私たちは興味深い時代を生きています。私たちは頭を砂に隠すことはできません。まだ時間があるうちに、今すぐ行動すべきです。

この投稿へのフィードバックをくれた Manish Goregaokar およびその他の数名の方々、そして Glasswing と Daybreak を現実にするためにたゆまず努力しているすべての方々に感謝します。

  1. 誰に尋ねるかによりますが、Z.ai と OpenAI は正確な数値について意見が異なります。↩