HN 日本語サマリー

← 一覧へ戻る
セキュリティ

Semgrep: GLM 5.2がサイバーベンチマークでClaudeを凌駕

Semgrep: GLM 5.2 beats Claude in our Cyber Benchmarks (semgrep.dev)

1011 pointsby jms703466 コメント

要約

Semgrepのベンチマークテストにより、Zhipu AIのオープンウェイトモデル「GLM 5.2」が、脆弱性検出においてClaude Codeを上回り、IDOR検出で39%のF1スコアを記録しました。この結果は、モデル自体の性能が重要であることを示唆し、AIエージェントを活用するセキュリティチームにとって大きな意味を持ちます。GLM 5.2は、オープンウェイトであること、優れたコーディング性能、そしてコスト効率の高さから、セキュリティタスクにおいて注目すべきモデルです。

全文翻訳

Mythos at Home: GLM 5.2がサイバーベンチマークでClaudeを上回る

我々は、人気のオープンソースモデル群を、以前フロンティアコーディングエージェントの評価に使用したのと同じデータセットとプロンプトでIDORベンチマークに対して実行しました。その結果は我々を驚かせました。Zhipu AIのオープンウェイトモデルであるGLM 5.2は、IDOR検出で39%のF1スコアを記録し、1件の脆弱性あたりのコスト約0.17ドルでClaude Code(32%)を上回りました。これは、静的解析のために特別に構築されたハーネスで動作するSemgrepのマルチモーダルパイプライン(53–61% F1)にはまだ及びませんでしたが、プロンプト以外の情報が与えられなかったモデルの中では、最良のオープンウェイトオプションが、Claude Opus 4.8を上回るという、予想外の健闘を見せました。

我々の真の目的はオープンウェイトチャンピオンを決めることではなく、より狭く、より退屈な問いに答えることでした:脆弱性検出のパフォーマンスのどれだけがモデルに由来し、どれだけがその周りのハーネスに由来するのか? Semgrepにとって、これはセキュリティタスクでAIエージェントを多用している顧客と話す上で非常に重要な問いです。ハーネスとは、モデルをラップする足場のことです。リポジトリを供給し、何を見るかを決定し、その出力を解析し、タスクを通してループさせます。我々の内部マルチモーダルパイプラインは、静的解析のために特別に構築されたハーネス内で実行されます。我々は、IDOR、すなわちInsecure Direct Object Referenceを見つけるためのワークフローで、これを内部でしばらくテストしてきました。これらはアクセス制御の問題であり、「他のユーザーのものをアクセスしている」と大まかに考えることができます。

我々のハーネスは、アプリケーションのエンドポイントを列挙し、重要なコンテキストのみをふるいにかけるコードを試行し、モデルを直接それらに向けます。これは多くの構造化された情報ですが、我々が「最高のオープンウェイトモデルは何か」を答えるつもりはなかったと言ったことを覚えていますか?このテストのモデルにはそれが与えられず、単純なPydantic AIハーネスで、他のすべてのLLMプロバイダーモデルに与えるのと同じIDORプロンプトで実行されました。エンドポイントの発見やガイド付きナビゲーションはなく、我々は少しだけ手助けをしました。「ここにコードがある、バグを見つけろ」よりも少しだけ多く、検索戦略とIDORがどのようなものかについてのポインターを提供しました。

したがって、これはプロンプティング対ハーネスの実験として始まりましたが、実行中に我々は本当にショックを受けました。オープンウェイトモデルの1つが、我々の足場なしで、フロンティアコーディングエージェントを上回ったのです。

編集者注、2026年7月17日: 公開後、我々は戻って厳しい質問をしました。これらのモデルがIDORをフラグ付けするとき、実際にそれを推論しているのか、それとも単に似たようなものにパターンマッチングしているだけなのか?それを調べるために専用のグラウンディングベンチマークを構築しました。短いバージョン:それらはゲームではなくグラウンディングされていますが、リコールはまだ全員にとって困難です。グラウンディング監査を読む →

GLM-5.2の紹介

GLM-5.2について聞いたことがないとしても、心配しないでください、我々も知りませんでした。ソーシャルメディアでそれを見て、ベンチマークに追加しようと思ったまでです。GLM 5.2はZhipu AI(Z.ai)の最新モデルで、2026年6月13日土曜日にGLMコーディングプランのメンバーにロールアウトされ、3日後の6月16日(我々がそれを聞いた日)にオープンウェイトとリリースノートが続きました。セキュリティ作業にとって興味深い点が3つあります。

第一に、それはオープンウェイトです。これは、モデルのパラメータがMITライセンスの下で公開されていることを意味します。つまり、それらをダウンロードして、自分のハードウェアで実行し、ファインチューニングし、検査することができます。機密性の高い分野で働く多くのセキュリティチームにとって、これは重要です。オープンウェイトモデルは、完全に自分の環境内で実行できます。しかし、「オープンウェイト」は「オープンソース」と同じではないことに注意することが重要です。トレーニング済みのウェイトはリリースされますが、トレーニングデータと完全なパイプラインは通常リリースされません(Z.aiはRLトレーニングフレームワークを公開していますが)。

第二に、コーディングにおいて本当に競争力があります。GLM 5.2はMixture-of-Experts(MoE)モデルで、合計約7500億のパラメータを持ちますが、トークンあたり約400億しかアクティブではないため、そのサイズと比較して推論コストを低く抑えています。使用可能なコンテキストを200Kから1Mトークンまで拡張し、Z.aiの主張は、このコンテキストが単に入力が多いだけでなく、長く複雑なエージェントの軌跡全体で信頼性が保たれるということです。セキュリティタスクにとって、これは再び重要です。IDORのようなセキュリティタスクでは、異なるファイル間、承認フレームワーク全体で推論できる必要があります。標準的なコーディングベンチマークでは、最も強力なオープンウェイトの数値を示しています。Terminal-Bench 2.1で81.0(GLM 5.1の63.5と比較して、Claude Opus 4.8の85.0に数ポイント以内)、SWE-bench Proで62.1であり、クローズドフロンティアモデルをわずかに上回り、トップモデルに数パーセント差で迫っています。

第三に、コストです。トークンエコノミクスは、LLMの機能自体と同じくらい急速に重要になっています。報告されている価格は、同等のフロンティアモデルの約6分の1であり、オープンモデルを綿密に追跡しているコメンテーターは、GLM 5.2の受け止めをDeepSeekと比較しています。GLM-5.2は、トークンエコノミクスだけでなく、フロンティアクラスのクローズドモデルが報告されたジェイルブレイク後に新たな輸出制限に達した直後に登場したため、活発な時期に登場しました。リリースノートの1つの詳細は、このモデルをコードに向けようとしている人にとって注目に値します。Z.aiは、GLM 5.2がGLM 5.1よりも多くの報酬ハッキング動作を示すと報告しています。トレーニング中に、保護された評価ファイルを読み取ったり、スコアをインフレさせるために参照ソリューションをcurlしたりするようなことを行い、専用のアンチハッキングガードを構築する必要がありました。チームによる正直な開示ですが、もしあなたがハッキングのためのモデルを構築していたなら、テストを回避しようとすること以上にハッカーになれるものはありません。

我々の実験

詳細に入る前に、我々が正確に何をしようとしていたのか、そして我々の実験が何であったのかを再確認することが重要です。IDOR:Insecure Direct Object Referenceの簡単な復習は、アプリケーションがリクエスト内でユーザーIDのような内部識別子を公開するが、呼び出し元がそのオブジェクトにアクセスすることを許可されているかを確認しない脆弱性クラスです。識別子を変更すると、他人のデータにアクセスできます。

@app.route('/user/<int:user_id>')
def get_user(user_id):
    user = User.query.get_or_404(user_id)
    return jsonify(user.to_dict())

このFlaskルートは、URL内のIDからユーザーレコードを直接取得して返しますが、要求者がそれを所有しているかどうかのチェックはありません。ログインしているユーザーなら誰でもuser_idを変更して、他のユーザーのレコードを読むことができます。IDORは、ビジネスロジックの欠陥と設定ミスの中間に位置し、テイントフローバグではありません。これが、静的解析とLLMの両方にとって困難な理由です。フラグを立てるべき危険な関数はなく、単に欠落しているチェックだけです。また、実際の(現在HackerOneのトップ脆弱性タイプリストで4位)で最も一般的な発見の1つでもあり、ベンチマークとして繰り返し取り上げている理由でもあります。

したがって、我々の実験に戻りましょう。我々は3つの要素を一定に保ち、1つを変更しました。標準的な実験条件です。一定:IDORデータセット(以前の研究で使用したのと同じ実際のオープンソースアプリケーション)、評価方法(既知の真陽性セットに対するF1スコア)、およびIDORシステムプロンプト自体。変更:モデルとそのハーネス。具体的には:

  • Semgrep Multimodalはカスタムハーネス内で実行されました。エンドポイントを列挙し、モデルをそれらに向けるものです。我々はその後ろに2つのフロンティアモデルをテストしました。

  • しかし、我々はまた、Claude CodeをClaude Code SDKを通して実行し、他のプロバイダーモデルもネイティブSDKを通して実行しましたが、同じプロンプトを使用しました。

  • オープンウェイトモデル(GLM 5.2、MiniMax M3、Kimi K2.7 Codeを含む)は、単純なPydantic AIハーネスでIDORプロンプトのみで実行されました。

これは重要な詳細なので、2回言います。オープンウェイトモデルには、マルチモーダルパイプラインが得るエンドポイント発見の足場は与えられませんでした。それらはプロンプトとコードベースを見ました。これは、助けなしで何ができるかを示しています。

また、有効性のためのいくつかの異なる尺度を計算しました:

  • 精度(Precision):検出器がIDORとしてフラグ付けしたもののうち、どれだけの割合が本物でしたか?高い精度=誤警報が少ない。10件のバグを報告し、7件が本物であれば、精度は70%です。

  • 再現率(Recall):データセットに実際に存在するすべてのIDORのうち、どれだけの割合を見つけましたか?高い再現率=いくつかの実際のバグを見逃す。20件の実際のIDORがあり、12件を検出した場合、再現率は60%です。

  • F1スコア:精度と再現率のバランスをとる単一の数値です。それらの調和平均です:F1 = 2 × (精度 × 再現率) / (精度 + 再現率)。F1を単純な精度ではなく使用する理由は、2つの目標が互いに競合するためです。検出器は、確信している1つのバグのみをフラグ付けすることで100%の精度を達成できます(しかし、他のすべてを見逃してひどい再現率になる)、またはすべてを脆弱としてフラグ付けすることで100%の再現率を達成できます(しかし、誤検知で溺れてひどい精度になる)。F1は両方で優れていることを評価し、調和平均は偏ったスコアを罰します。精度または再現率のいずれかがゼロに近い場合、F1は大きく引き下げられます。これが、この投稿全体で参照するものです。

  • コスト(ドル建て):真陽性あたり、および実行あたりの総支出を検出された実際のバグの数で割ったもの。検出器を実行する現実世界の経済性。中程度のF1を持つ安価なモデルでも、ここで勝つことができます。

結果

IDOR検出のF1スコアでランク付け:

ランク構成ハーネスF1
1Semgrep Multimodal (GPT 5.5)Semgrep Multimodal61%
2Semgrep Multimodal (Opus 4.8)Semgrep Multimodal53%
3GLM 5.2Pydantic AI (プロンプトのみ)39%
4Claude Code (Opus 4.6)Claude Code SDK37%
5Claude Code (Opus 4.8/4.7)Claude Code SDK28%
6MiniMax M3Pydantic AI (プロンプトのみ)23%
7Kimi K2.7 CodePydantic AI (プロンプトのみ)22%
8GPT-5.5Codex20%
9Nemotron Super 3 120BPydantic AI (プロンプトのみ)18%
10DeepSeek V4Pydantic AI (プロンプトのみ)17%

我々にとって、2つの発見が際立っています。

我々のマルチモーダルパイプラインがリードしており、おそらくハーネスがその理由です。Semgrep Multimodal内のGPT 5.5とOpus 4.8が、61%と53%でトップ2を占めています。これはもちろん、我々および顧客にとって良いニュースであり、我々のアプローチが機能することを検証しています。しかし、それが面白い部分ではありません。

最大の驚きは3位です。GLM 5.2は、全く足場なしで、Claude Codeを7ポイント(39%対32%)上回りました。ベアプロンプトで動作するオープンウェイトモデルが、推論重視のセキュリティタスクでフロンティアコーディングエージェントを上回ったのです。そして、それは安価にそれを成し遂げました!GLM 5.2の価格設定では、オープンウェイトの実行コストは、検出された脆弱性あたり約0.17ドルでした。数千のエンドポイントをスキャンする可能性のある検出タスクでは、バグあたりの経済性は脚注ではなく、しばしば技術が大規模に利用可能かどうかを決定する要因となります。

GLM 5.2はオープンウェイトのカテゴリ全体を代表するものではありませんでした。確かに際立っていましたが、だからといって他のモデルが持ちこたえられないという意味ではありません。MiniMax M3(23%)とKimi K2.7 Code(22%)は、Claude Codeの後塵を拝し、そのすぐ後ろで、互いに近い位置に集まりました。どちらも有能な汎用コーディングモデルですが、この特定のタスク、つまりどこを探すべきかについてのガイダンスなしに、欠落している承認チェックについて推論するというタスクでは、実際のIDORとノイズを区別するのに苦労しました。

GLM 5.2と次のオープンウェイトモデルとの差(16ポイント)は、GLM 5.2とClaude Codeとの差よりも大きいです。したがって、結論は「オープンウェイトが追いついた」ではありません。それは「1つのオープンウェイトモデルが、このタスクで、これらの条件で、結果を出した」ということです。

結論

これは生のモデル能力のリンゴ対リンゴの比較ではなく、我々はそのように解釈してほしくありません。代わりに、我々が考える結論は次のとおりです。同じ最小限のプロンプトとハーネスを与えられたモデルの中で、オープンウェイトモデルであるGLM 5.2は、フロンティアLLMの6分の1のコストで、真に困難なセキュリティリサーチタスクでClaude Codeを上回りました。

  1. ハーネスは依然としてモデルよりも重要です。テーブル上の最大のパフォーマンスギャップはモデル間ではなく、エンドポイント発見を取得する構成とそうでない構成の間です。しかし、現在セキュリティリサーチをフォローしている人にとって、これは間違いなく驚きではなく、予想されることです。

  2. しかし、このような驚きがどこからともなく現れ、これほど少ないコンピューティングコストでこのような結果を生み出す場合、すべての卵を1つのLLMバスケットに入れることはできないという厳しいリマインダーとなります。高価なフロンティアモデルに固執している場合、最高のベンダーロックインハーネスを使用していたとしても、コストまたはパフォーマンスのいずれかであるモデルを交換することの利点を見逃す可能性があります。

  3. オープンウェイトモデルは、注目に値する閾値を超えました。1年前、オープンウェイトモデルを脆弱性検出リーダーボードに載せることは、チャリティエントリーだったでしょう。GLM 5.2が、ベアプロンプトで、6分の1のコストで、完全に自分の環境で実行できるオプションを備えて、フロンティアエージェントを上回ったのです。多くのセキュリティチームにとって、これは魅力的な選択肢です。

注意点があります。これは1つのタスク、1つのデータセット、1回の実行です。IDOR検出は非決定的であり、データセットは有限であり、我々は1つの構成のみをクリーンに変更しました。IDOR検出に関してはGLM-5.2がClaudeよりも本当に優れている可能性がありますが、SSRF検出では状況が変わるかもしれません。我々はまだそれを知りませんが、きっと突き止めるでしょう。

愛を込めて、

Semgrepのセキュリティリサーチ&エンジニアリングチーム