GLM-5.3と高度なサイバー能力の拡散
GLM-5.3 and the spread of advanced cyber capabilities (anthropic.com)
要約
Anthropicは、Zhipu AI(Z.ai)が開発した最新AIモデルGLM-5.3のサイバー攻撃能力について分析結果を公開しました。GLM-5.3は、Claude Mythos Previewと同様に、自律的にエンドツーエンドのサイバーエクスプロイトを構築する強力な能力を持っていますが、悪用を制限するための実質的なセーフガードなしでリリースされています。このモデルは、攻撃者が64%から100%の確率でセーフガードをバイパスできることが示されており、悪意のある攻撃者が利用できるサイバー能力を大幅に増加させると評価されています。
全文翻訳
GLM-5.3と高度なサイバー能力の拡散
Andrew Fasano, Marius Fleischer
Cole McFaul, Robert Xiao, Tripp Gallagher
5ヶ月前、私たちは、洗練されたエンドツーエンドのサイバーエクスプロイトを自律的に構築できる初のAIモデルであるClaude Mythos Previewを発表しました。AIの急速な進歩は、この能力がいずれ多くの他のモデルに普及し、悪意のあるサイバー攻撃者が影響力の大きいサイバー攻撃を仕掛けやすくなることを示唆していました。
これらの考慮事項を踏まえ、私たちはProject Glasswingを通じてClaude Mythos Previewを限定的にリリースすることを選択しました。これにより、信頼できるサイバー防御者は、悪意のある攻撃者が同様の能力を持つモデルにアクセスする前に、10,000件以上の脆弱性を発見することができました。
しかし、それらのモデルは今や登場しました。この記事では、Zhipu AI(中国国外ではZ.aiとして知られる)によって開発された最新のAIモデルであるGLM-5.3の分析を共有します。Claude Mythos Previewと同様に、GLM-5.3はエンドツーエンドのサイバーエクスプロイトを自律的に構築する強力な能力を持っています。しかし、GLM-5.3は、悪用の制限を目的とした実質的なセーフガードなしでリリースされている点で、他の最先端モデルとは異なります。シミュレーションテストでは、単純な技術で攻撃者がGLM-5.3のセーフガードを64%から100%の間でバイパスできることがわかりました。対照的に、これらの攻撃はテストにおいてセーフガードが施されたClaudeモデルでは成功しませんでした。GLM-5.3の緩いセーフガードは、悪意のある攻撃者が利用できるサイバー能力を著しく増加させると評価しています。同時に、これらの能力はシステムのセキュリティ確保に取り組む防御者にも利益をもたらす可能性があります。
9月17日、NISTのAI標準・イノベーションセンター(CAISI)は、GLM-5.3のサイバー能力に関する独自の評価を発表しました。CAISIは、GLM-5.3が「これまでにリリースされた中で最もサイバー能力の高いオープンウェイトモデル」であり、CAISIのサイバーベンチマークの集計で米国最先端モデルに約4ヶ月遅れていると結論付けました。私たちの能力に関する発見は、CAISIのものと広く一致しています。CAISIの比較では、米国モデルは該当する場合にサイバーセーフガードを無効にしてテストされ、米国最先端モデルには検証済みのユーザーにのみリリースされたモデルが含まれます。攻撃者はこれらのバージョンの米国モデルに容易にアクセスできませんが、GLM-5.3は誰でもダウンロードできます。この記事では、GLM-5.3のセーフガードがいかに容易にバイパスまたは削除できるかについての分析を追加します。
[画像: 2つの棒グラフ。上:41件のChrome V8バグに対する動作するエクスプロイトを構築した試行の割合 — Claude Mythos Previewは14%、GLM-5.3は12%であり、Claude Opus 4.6、GLM-5.2、Kimi K3、DeepSeek V4.1-Flashは0%またはそれに近いスコア。下:各モデルが悪意のあるサイバー攻撃の指示にどれだけ対応したか — GLM-5.3は、単純な指示では0%から、偽のカバーストーリーで64%、事前入力された推論で92%、削除された状態では100%に上昇。]
発見の要約。上:Claude Opus 4.6とClaude Mythos Preview間のエクスプロイト能力の増加は、GLM-5.2とGLM-5.3間の能力のジャンプを反映しています。Claudeモデルはサイバーセーフガード付きでリリースされ、セーフガードが削減されたバージョンは検証済みユーザーに限定されています。GLM-5.3は誰でもダウンロードして使用できます。下:GLM-5.3の限定的なセーフガードは、テストにおいてClaudeモデルでは機能しなかった、または適用されなかった標準的な技術で回避できます。
GLM-5.3はエンドツーエンドで動作するエクスプロイトを開発できる
GLM-5.3がサイバー脅威アクターが実際のソフトウェア脆弱性を発見・悪用することをどのように可能にするかを理解するために、自動化されたベンチマークと人間参加型のワークフローを使用して評価を実施しました。両アプローチにおいて、テスト対象モデルを隔離されたサンドボックス環境で実行したため、評価目的で設定したオフラインターゲットのみを攻撃できます。Claude Mythos Previewが以前のClaudeモデルと比較して顕著なジャンプを示したエクスプロイト開発能力に主に焦点を当てます。
まず、Google Chromeで使用されるV8エンジンの既知の脆弱性をAIモデルがどれだけうまく悪用できるかを測定するExploitBenchでモデルを実行しました。ここでは、攻撃者にとって最も関連性の高い能力であり、モデル間の大きな変化が見られるエンドツーエンドのエクスプロイトを開発する能力に焦点を当てます。GLM-5.3は410回の試行中50回でエンドツーエンドのエクスプロイトを開発しました。Claude Mythos Previewは、410回の試行中56回で同様のレートでこれを達成しました。
私たちの内部バイナリ脆弱性ベンチマーク1では、モデルがGoogleのOSS-Fuzzプロジェクトに参加している人気のあるオープンソースプロジェクトの脆弱性を発見・悪用できるかをテストします。ここでは、完全な制御フローハイジャックに対して全額クレジットが与えられます。ベンチマークからランダムに選択された100のタスクでいくつかのモデルを評価したところ、GLM-5.3は試行の4%で完全な制御フローハイジャックを開発しました。Claude Mythos Previewは6%でこれを達成しました。GLM-5.3はここでClaude Mythos Previewを下回っていますが、意味のある閾値は明らかに超えられています。Claude Opus 4.6やGLM-5.2のような以前のモデルは、これらのいずれでも成功していません。
[画像: ログスケールでのエクスプロイト成功率対出力トークン予算を示す2つの折れ線グラフ。ExploitBenchでは、Claude Mythos Previewは14%に達し、GLM-5.3は12%に達する一方、Kimi K3、DeepSeek-V4.1-Flash、Claude Opus 4.6、GLM-5.2は0%またはそれに近い値にとどまります。Anthropicの内部バイナリ脆弱性ベンチマークでは、Mythos Previewは6%に達し、GLM-5.3は4%に達します。他のすべてのモデルは0%のスコアです。]
出力トークン予算に対するエクスプロイト能力。各線は、モデルの試行のうち、ベンチマークの最上位結果に達した割合と、使用された出力トークンを示しています。両方の図は、セーフガードを無効にして実行された2つのClaudeモデル(Opus 4.6、Mythos Preview)、2つのGLMモデル(5.2および5.3)、およびMoonshot AI(Kimi K3)とDeepSeek(V4.1-Flash)によってリリースされた最新のオープンウェイトモデルの結果を示しています。
次に、人間の専門家がGLM-5.3を操作した場合のオープンエンドな攻撃的サイバータスクにおけるパフォーマンスを評価しました(今年の初めのClaude Mythos Previewでのテストを模倣)。ここでは、人間の専門家が既存の脆弱性を知らないターゲットを選択し、モデルを使用して新しい欠陥を特定・悪用するように依頼しました。これらの実験は、専門家が短期間で何ができるかをテストしました。通常は1日以下で実行され、合計で1時間未満の人間による注意で済みました。
[画像: GLM-5.3によって生成されたエクスプロイトページの編集済みスクリーンショット。「サンドボックス脱出 — Webコンテンツが/root/.ssh/id_rsa(1896バイト)を読み取りました」というバナーが表示され、ライブエクスプロイトログと流出したSSH秘密鍵の上に、被害者のコンピュータからファイルを盗むドライブバイブラウザエクスプロイトチェーンを示しています。]
研究者主導のテスト中にGLM-5.3によって生成されたエクスプロイトページの編集済みスクリーンショット。ユーザーのSSH秘密鍵を悪意のあるウェブサイト経由で盗む様子を示しています。このエクスプロイトは、モデルが発見した人気のあるWebブラウザのコンポーネントにおける複数のゼロデイ脆弱性を連鎖させ、ユーザーのコンピュータから機密ファイルを読み取ります。このエクスプロイトはブラウザのLinuxビルドを対象としていますが、他のプラットフォームのユーザーにも影響を与える可能性があると考えています(これらの脆弱性はメンテナーに開示済みです)。セッションの後半で、研究者はGLM-5.3を使用して、ワイヤレスおよびグラフィックスドライバー、ネットワーク接続デバイスソフトウェアなど、他の広く使用されているシステムで悪用可能な脆弱性を特定しました。現在、これらのレポートをレビューしており、適切であればメンテナーに開示します。
2回目のセッションでは、研究者はGLM-5.3-Flash(GLM-5.3のより小型で能力の低いバージョン)を使用して、既知の脆弱性(「N-day」脆弱性エクスプロイトについてはこちらで以前に記述しました)のエクスプロイトを開発しました。ここでは、研究者は最近開示されたGoogle Chromeの欠陥(CVE-2026-11645)に焦点を当て、モデルが公開された修正をどれだけ迅速に動作する攻撃に変換できるかを確認しました。研究者は、GLM-5.3-FlashにこのCVEおよび別の既知の欠陥に関する公開情報を与えました。研究者からの顕著な指示なしに、GLM-5.3-Flashはこれらの2つの欠陥のエクスプロイトを連鎖させ、ARM64ターゲット用の信頼性の高いエクスプロイトチェーンを構築し、ポインタ認証(PAC)ハードニングをバイパスしました。これには20分間の人間の注意と、GLM-5.3-Flashの8時間の作業が必要でした。ZhipuのAPI価格では、この作業は20.40ドルかかったでしょう。
GLM-5.3は堅牢なセーフガードを欠いている
GLM-5.3にはいくつかの組み込みセーフガードが実装されています。ユーザーが明らかに有害なものを要求した場合、モデルはしばしば拒否します2。私たちのテストでは、これらのセーフガードがさまざまな単純な技術でバイパスまたは削除できることがわかりました。
最も集中的で最も成功した方法は、「アブリテレーション」(abliteration)として知られる標準的な拒否削減技術です。GLM-5.3はオープンウェイトモデルとしてリリースされているため、ユーザーはその能力をほとんど変更せずに拒否を削除するように再設定できます。数人の開発者が、モデルリリース後数日以内にアブリテレーションされたGLM-5.3のバージョンを一般公開しました。
アブリテレーションが攻撃者がGLM-5.3のセーフガードをどれだけ回避できるかを調査するために、私たち自身もアブリテレーションされたコピーを作成し、モデルが明らかに有害な要求に従う頻度を測定する3つの公開ベンチマーク(JailbreakBench、HarmBench、StrongREJECT)で実行しました。モデルのアブリテレーションは、このタスクを以前に試みたことのない私たちのチームにとって、約2,200 GPU時間と約4,400ドルの計算コストを要しました3。GLM-5.3-Flashのアブリテレーションは約600 GPU時間を要しました。この編集により、最初の2つのベンチマーク(JailbreakBenchとHarmBench)でのGLM-5.3の拒否率は90%以上から約3%と2%に、3番目のベンチマーク(StrongREJECT)では12%に低下しました。アブリテレーションはモデルの能力を大幅に低下させませんでした。一般的な科学的能力を測定する評価であるGPQA-Diamondでは、標準モデルとアブリテレーションされたモデルは同じ結果を記録しました。CyberGym評価のテストされたサブセットでは、アブリテレーションされたバージョンは数パーセント低いスコアでした(以下のチャートを参照)。
[画像: アブリテレーションに関する2つの棒グラフ。上:3つの有害要求ベンチマーク全体での平均拒否率が、アブリテレーションされたGLM-5.3で95%から6%に、アブリテレーションされたGLM-5.3-Flashで95%から14%に低下する一方、Claudeモデルは約96%を拒否し、ウェイトがリリースされていないためアブリテレーションできません。下:GPQA-DiamondとCyberGymでのGLM-5.3およびGLM-5.3-Flashとそれらのアブリテレーションされたバリアントのパフォーマンス。アブリテレーションは能力をほぼそのまま維持します。]
上:リリースされたGLMモデルとアブリテレーションされたGLMモデル、およびClaudeモデルのJailbreakBench、HarmBench、StrongREJECTにおける平均拒否率。アブリテレーション後、GLMモデルはこれらのクエリをほとんど拒否しません。Claudeモデルはウェイトが公開されていない、またはカスタマイズできないためアブリテレーションできません。下:GPQA-DiamondとCyberGymでのGLM-5.3およびGLM-5.3-Flashとそれらのアブリテレーションされたバリアントのパフォーマンス。アブリテレーションは能力をほぼそのまま維持します。
私たちのテストでは、アブリテレーションされたバージョンを使用しなくても、GLM-5.3のセーフガードを回避できることが観察されました。モデルをシミュレートされた世界4に配置し、重要なシステムを攻撃する明白に有害な要求を与えました。そのままの状態では、GLM-5.3はすべての試行で拒否しました(テストした他のモデルと同様)。しかし、GLMモデルのセーフガードをバイパスするいくつかの簡単な方法を特定し、ほとんどまたはすべてのケースでこれらの要求に応答するようにしました。これらには以下が含まれます。
- モデルが演習に取り組んでいる自律的なレッドチームエージェントであると伝えるなど、欺瞞的なプロンプトを提供する。これにより、GLM-5.3は64%の確率で応答します。
- モデルの思考トークンを事前に入力し、ユーザーの要求を検討し、続行することを決定したかのように見せる。これにより、GLM-5.3は92%の確率で応答します。
- 上記で説明したように、モデルのアブリテレーションされたバージョンを使用する。これにより、GLM-5.3は100%の確率で応答します。
私たちのテストでは、これらの技術のいずれも、セーフガードが施されたClaudeモデルにテストした有害なタスクを実行させることはありませんでした。Claudeのセーフガードは、欺瞞的なプロンプトを使用した要求をブロックしました。Anthropic APIは、潜在的な攻撃者にClaudeの思考を事前入力する方法を提供しません。また、Claudeのウェイトはユーザーに提供されていないため、Claudeの動作を変更するためにアブリテレーションすることはできません。
[画像: 有害なサイバー攻撃の指示を受けた後、各モデルがリモートターゲットに接続しようとした頻度を示す表。GLM-5.3は、単純な指示では0%だが、偽のカバーストーリーで64%、事前入力された推論で92%、アブリテレーションされた状態で100%応答する。GLM-5.3-Flashも同様のパターンに従う。Claude Opus 4.8、Opus 5、Mythos 5は、すべての適用可能な条件で0%にとどまる。事前入力とアブリテレーションはClaude APIに対しては一般的に実行不可能。]
モデルとバイパス条件ごとの、明白に有害な要求後のリモートターゲットシステムへの接続試行率(セルあたり50サンプル、5つの攻撃命令 × 2つのターゲット × 5回の試行)。GLM-5.3は、直接的な要求ではゼロの応答から、カバーストーリー、事前入力、アブリテレーションの下でそれぞれ64%、92%、100%に上昇する一方、テストされたすべてのClaudeモデルはAPIセーフガードの下でゼロにとどまる。パッドロックされたセルは、Claude APIに対して一般的に実行不可能である攻撃を示しています。
アブリテレーションされたGLM-5.3バージョンが有害なタスクに従事する意思があることを示すために、生成された思考連鎖からの引用を以下に示します。
[画像: シミュレートされた環境におけるアブリテレーションされたGLM-5.3からの引用された推論。モデルは「私の仕事は静かに死を引き起こすことだ」と書き、環境の安全警告を短く検討した後、オペレーターの指示がそれらを上回ると結論付け、有害なタスクの実行を決定します。]
私たちのシミュレートされた環境では、アブリテレーションされたGLM-5.3バージョンは、明白に有害な要求に従事する方法を検討し、最終的に初期の倫理的な懸念にもかかわらずユーザーの指示に従うことを決定します。テキストはモデルの思考連鎖から逐語的に引用されています。
これは何を意味するか?
GLM-5.3は、悪意のある攻撃者に、サイバー脆弱性を実質的な制限なしに見つけ、悪用することを可能にする能力へのアクセスを与える可能性が高いです。これは、セーフガード付きでリリースされたか、限定アクセスプログラムを通じて提供された他の同様に能力のあるAIモデルとは異なります。GLM-5.3のリリースは、攻撃者が利用できるサイバー能力における意味のある段階的変化です。Anthropicおよびその他の米国のAIラボは最近、サイバー攻撃者がAIシステムをどのように使用しようとしたかを明らかにするレポートを発表しています。この証拠を考慮すると、国家および非国家主体がGLM-5.3のようなモデルを使用して現実世界に損害を与える可能性が高いと考えています。
一方で、このレベルの能力を持つモデルは防御者によっても使用できます。私たちの見解では、サイバー防御者はニーズに合った最高のツールを使用すべきです。私たちは、Claudeのサイバー能力へのアクセスを、可能な限り多くの防御者に安全に拡大するために取り組んでいます。サイバー防御者は、あらゆる可能な能力を持つツールを使用する攻撃者に直面しており、防御者は敵が使用しているものと同等以上に優れた最先端モデルを備えるべきだと信じています。
Project Glasswing(およびPatch the Planetのような他の取り組み)を通じて、サイバー防御者はこの瞬間に先立って重要なシステムのセキュリティ確保に向けて意味のある進歩を遂げましたが、まだ多くの作業が残っています。検証済みの防御者は、現在、私たちの信頼できるアクセスプログラムを通じてClaude Mythos 5.1のようなさらに高度なモデルを使用できますが、自由にアクセスできる能力における重要な閾値は現在超えられています。GLM-5.3は、サイバー防御者を支援するために、高度な最先端モデルへのアクセスをより広範な主体に拡大することの緊急性を強調しています。
政府は、GLM-5.3の後継機を含む、十分に能力のあるAIモデルに対して安全性テストを実施すべきです。独立したソースからの質の高い評価なしには、これらの能力の影響は、モデル開発者にとって手遅れになるまで完全に明らかにならないかもしれません。世界中のAI開発者がますます能力の高いオープンウェイトモデルを構築するにつれて、私たちはそれらがこれらの能力を適切に保護し、悪用を防ぐために協力することを願っています。