7ヶ月後、Glasswingは期待外れの結果でメンテナーを圧倒

7ヶ月後、Glasswingは期待外れの結果でメンテナーを圧倒

VulnCheck Communityは、VulnCheck KEV、NVD++、Initial Access Community、VulnCheck XDBへの無料アクセスを提供します。

今すぐ参加

［画像: Anthropic November Ledger Update］

主なポイント:

• Project Glasswing開始から7ヶ月が経過し、VulnCheckはAnthropicに起因する442件のCVEを追跡した。これは今年公開された全CVEの約0.5%に相当し、実際に悪用されたのは2件のみだった。Anthropicが報告した37,966件の発見のうち、公開されたのは7,349件（19.4%）に過ぎず、修正済みとマークされたのはわずか217件だった。
• 9月以降、Anthropicは12,000件近くの発見を追加したが、修正はわずか15件に留まり、発見と修正の乖離を広げている。
• 約1,654件（4.4%）の発見が重複とマークされ、修正された数の約8倍に相当する。さらに419件が取り下げられている。
• Anthropicが主張する真陽性率（True Positive Rate）は90.8%から94.2%に上昇したが、重複や取り下げられた発見をどのように計上しているか疑問が残る。
• AnthropicのOSS Scannerは、検証作業をメンテナーに転嫁しており、curlプロジェクトでは公開された34件の報告のうち19件が脆弱性ではないと却下され、6件が低深刻度と確認され、9件が評価待ちとなっている。これもAnthropicの真陽性率に疑問を投げかける。

Anthropicの主力プロジェクトであるProject Glasswingが開始されてから7ヶ月が経過し、その結果についての最新情報をお届けする時期が来ました。私はこのプロジェクトを追跡し、その主張が誇張されているのか、それとも現実に基づいているのかを確認してきました。

記憶にあるように、Anthropicは4月7日にProject Glasswingを開始し、「オープンソースメンテナーに責任ある開示を行っている、数千もの追加の高深刻度およびクリティカル深刻度の脆弱性を特定した」と主張しました。私が驚いたのは、プロジェクトが提供した証拠が非常に少なかったことで、これが誇大広告的なマーケティングキャンペーンではないかと疑問に思いました。

とはいえ、AIが脆弱性発見の効果的なツールであることは見過ごすべきではありません。しかし、その話は単一の最先端モデルの能力をはるかに超えています。

もし、これまでの経緯を追えていない場合は、以前の投稿をご覧ください。

それでは、結果を見ていきましょう…

Anthropicが発見した脆弱性の追跡

私はAnthropicの脆弱性発見の追跡を、プロジェクト開始直後の4月17日から、オープンソースリポジトリであるAnthropic Credited CVEsで開始しました。目標は、Anthropicの主張が誇大広告に見合うものかどうかを確認することでした。これは、Anthropicが独自の開示台帳をローンチする前であり、その台帳は不定期な一括バッチでしか更新されません。

［画像: anthropic credited cves］

私のリポジトリは、CVEレコード、GHSAs、Linuxカーネルコミット、そしてAnthropic自身の台帳を使用して、Anthropicに起因するすべての脆弱性を追跡しています。また、見落とされがちなCVEを捕捉するために、アドバイザリを手動で監査しています。

7ヶ月後、私はAnthropicに起因する442件のCVEを追跡しました。これは月平均わずか63件です。今年公開された93,450件のCVEのうち、これは全体の約0.5%に過ぎません。

比較として、Anthropic自身の公開台帳には217件の修正済み脆弱性しかリストされていません。つまり、私はAnthropic自身が開示した数の2倍以上の脆弱性を追跡していることになります。

危険性の物語が成り立たない

［画像: Anthropic exploited vulnerabilties］

Glasswingが、脆弱性発見の「Mythos時代」に入ったというメッセージとともにローンチされたことを覚えているかもしれません。しかし、これらの脆弱性は実際に攻撃者にとって有用なのでしょうか？それを知るために、私はAnthropicが発見したCVEをVulnCheck KEVと照合してきました。これまでのところ、442件中わずか2件（0.45%）しか実際に悪用されていません（CVE-2026-61500およびCVE-2026-26980）。

Anthropicの台帳は引き続き期待外れ

Anthropicが最初に台帳をローンチした5月、23,019件の発見と90.8%の真陽性率を報告しました。11月2日の最新アップデート時点では、37,966件の発見とわずか217件の修正しかありません。これは私には驚異的な失敗に見えますが、詳しく見てみましょう。

［画像: Anthropic November Ledger Update］

Anthropicが報告した37,966件の発見のうち、公開されたのは7,349件（19.4%）に過ぎません。そのうち修正済みとマークされたのはわずか217件です。より目を引く数字は、プロジェクトの発見の4.4%（1,654件）がすでに重複とマークされており、修正数の7.5倍に達していることです。さらに、419件の発見が取り下げられています。台帳がローンチ時の90.8%から94.2%に真陽性率を主張しているのは奇妙に思えます。なぜなら、取り下げられたり重複とマークされた発見の数が修正された数よりも多いからです。これは、トリアージ率としてリストされている「真陽性」にフィードバックループが欠けている可能性を示唆しています。

私の9月のアップデート以降の傾向はさらに物語っています。

2ヶ月で、Anthropicは約12,000件の発見を追加し、修正したのはわずか15件でした。重複は2件から数千件に増加しました。これはまさに私が9月に警告したことです。発見が長く放置されるほど、他の誰かがそれを見つけて先に修正する可能性が高まります。これらの数字を、決定的な証拠以外の何物でもないとして読むことができる人がいるとは思いません。

私のビジュアルに修正があることにも気づくかもしれません。Anthropicの台帳には、開示された発見数を膨張させるバグがあるようです。「開示済み」フィルターを使用して自分で確認してください。

AnthropicのOSS Scannerへの移行

すべての発見を手動でトリアージするのは明らかにスケールせず、Anthropicもそのように述べています。10月8日のOSS Scannerローンチ投稿で、Anthropicは29,000件以上の候補脆弱性を発見したが、手動でレビューしたのは約6,000件であり、「これらの発見を検証するための人間の能力にボトルネックがある」と述べています。また、検証されていない約5,000件の報告を、一括で要求したメンテナーにすでに送付していました。

したがって、Glasswingのオープンソースイニシアチブが行き詰まったため、プロジェクトがオプトインできるセルフサービスのOSS Scannerをローンチするのは理にかなっています。メンテナーは今やスキャンをリクエストし、自分で発見をトリアージできるようになりました。Anthropicは、これらの報告が「人間のレビューやトリアージなしの、完全にモデル生成されたもの」であり、「報告が不正確または無効である可能性がある」ことを率直に述べています。

言い換えれば、トリアージのボトルネックは解消されず、メンテナーに移行しただけです。もし真陽性率がAnthropicの主張通り本当に高いのであれば、それは問題にならないはずです。

curlがAnthropicのOSS Scannerに現実を突きつける

3日前、curlのメンテナーであるDaniel Stenberg氏は、Anthropicから45件の脆弱性報告のバッチを受け取ったと発表しました。Anthropicは、そのうち1件のみを中深刻度と評価し、残りは低深刻度でした。Daniel氏は、「チームへの影響を和らげる」ために、GitHubへの移行を慎重なペースで進めており、週末までにすべて公開する予定です。これにより、メンテナーが実際に検証した際のAnthropicの発見がどのようなものか、稀な洞察を得ることができます。

これまでに公開された34件の報告のうち、19件が脆弱性ではないとマークされ、6件が低深刻度と確認され、9件がまだ評価待ちです。これまでのところ、偽陽性率は55.9%であり、発見のわずか17.6%しか確認されておらず、すべて低深刻度でした。これはオープンソースメンテナーに多大な作業を押し付けることになり、ごくわずかな低影響のバグのために、メンテナーがチームを保護するために報告のペースを調整しなければならないというのは、その負担の大きさを物語っています。

［画像: Curl Vulnerabilities］

これもcurlにとっては新しいことではありません。5月にも、Daniel氏は、Mythosによる5件の発見が1件の確認された脆弱性に集約されたと書いています。

これは、Anthropicが現在主張している94.2%の真陽性率とはかけ離れています。また、Glasswingがローンチ時に掲げた「高深刻度およびクリティカル深刻度」というフレーミングも損なわれています。9月には、Claudeが台帳上の発見の91.5%をクリティカルまたは高深刻度と評価したのに対し、メンテナーはわずか51.3%しかそのように評価していないことがわかりました。他のオープンソースプロジェクトでも同様の状況が見られるのか興味があります。

curlは、低および中深刻度の脆弱性発見を完全な透明性のために公開することに踏み切ったのは大胆な一歩であり、他のオープンソースメンテナーにも同様の対応を奨励します。

7ヶ月後の考察

AIは脆弱性発見のための貴重なツールであり、それを否定するつもりはありません。しかし、7ヶ月が経過しても、その証拠はローンチ時の物語と一致していません。CVEは今年の総数のごく一部であり、ほとんどが悪用されておらず、重複や取り下げが積み上がる一方で修正は停滞し、トリアージの負担はGlasswingが支援すると約束したオープンソースメンテナーに移行しています。証拠は次々と出てきますが、依然として整合性が取れません。

VulnCheckについて

VulnCheckは、組織が脆弱性優先順位付けの課題を解決するのを支援するだけでなく、あらゆる製品マネージャー、CSIRT/PSIRT、SecOpsチーム、および脅威ハンティングチームが、VulnCheckソリューションを使用して無限の効率性で、より迅速かつ正確になるよう支援することに取り組んでいます。

私たちは、業界全体で、より良いデータを、より速く提供する必要があることを知っていました。だからこそ、私たちは市場にそれを提供しています。私たちは、脆弱性管理、悪用、そしてデータセットから抽出できる主要なトレンドに関する重要な洞察を提供し続け、実践者を継続的に支援していきます。

さらに詳しく知りたいですか？もしそうであれば、VulnCheckのExploit & Vulnerability Intelligenceは、広範な脅威アクターをカバーしています。今すぐ登録して、私たちのデータをデモしてください。