HN 日本語サマリー

← 一覧へ戻る
セキュリティ

Mythosはできるか?

Will It Mythos? (swelljoe.com)

30 pointsby mindingnever7 コメント

要約

著者は、AnthropicのMythosが謳うセキュリティバグ発見能力に疑問を抱き、他のAIモデルと比較するためのベンチマークを開発しました。このベンチマークは、Mythosが発見した実際のバグを基に作成され、各モデルが与えられたファイルから盲目的にバグを検出できるかを評価します。初期の結果では、全てのモデルが予想よりも低い検出率を示し、特にGeminiはセキュリティ関連のプロンプトを拒否するなど、このタスクの難しさとモデル間の性能差が浮き彫りになりました。

全文翻訳

Mythosはできるのか?

2026年5月30日

2026年6月17日、21日、22日、24日、26日、27日、および7月3日に更新。下記注記参照。

さて、Mythosは非常に困難なセキュリティバグを発見する、ということですよね? それが、世界をそのような強力なエクスプロイト発見者から守るために、一般大衆から隔離されている理由です。しかし、他の多くのLLMもバグを見つけることができます。Mythosは他に類を見ない能力を持っているのでしょうか?

しばらく前に、私は自分のプロジェクトでバグハンティングを自動化するツールであるNelsonを開発しました。そして、さまざまなモデルの間には驚くべき違いがあり、バグをどれだけ効果的に特定できるかについてもすでに気づいていました。しかし、私は具体的な数値が欲しかったのです。そこで、私(実際には主にClaude)は、Nelsonから一部のコードを借用したベンチマークスイートを作成しました。

そのアイデアは、Mythosによって具体的に発見されたバグを集め、そのドキュメントでカバーされているものを、バグが修正される前のコミットを見つけ、トップクラスのモデル(この場合はOpus)が、バグを指摘された場合にそれを特定し理解できることを確認し、それをコーパスに追加して、モデルが何も知らずに正確にバグを検出・説明できるかをベンチマークすることです。(現在のコーパスに含まれるバグの詳細はこちらにあります。こちら)。

ベンチマークに含めるバグを選択するために、私はOpus(当時4.7)を使用して審査を行いました(一部人間による目視確認あり)。コーパス内のすべてのバグ(現在9個)は、すべてのモデルの知識カットオフ後に開示および修正されたものであり、トレーニングデータにバグが含まれていることはありません。すべてのバグは、バグを指摘された場合に判定モデルによって特定および説明可能です。したがって、これらは実際に発見されたバグであり、おそらくMythosがそれらを発見したときと同じ状態です。今後、コーパスを進化させていく予定です。Anthropicが特定のバグについて自慢するのをやめた場合、これはより一般的なCVEベースのベンチマークになるかもしれません。

したがって、このベンチマークには1つの目的があります。他のモデルがMythosと同じことができるのか、それともMythosがこのタスクにおいて本当にユニークに強力なのかを見つけることです。

ここにいくつかの注意点があり、これらはモデルにとって公平なテストではない可能性があります。より多くのテストが進行中であり、これらは(トップモデルを含むと)長くて高価な実行です。1週間ほどいじってみて、結果を公開する価値があると思いました。

  1. モデルには、問題のファイルと基本的なツールがシンプルなテストハーネスで与えられます(OpusはClaude Codeを使用、エージェントに関する注記参照)。ヒントは、どのファイルを見るかということだけでした(これは全くヒントではありません…標準的な監査プラクティスでは、プロジェクト内のすべてのファイルを個別に確認するため、現実的なプロンプトです)。モデルはリポジトリ全体を見ることができ、ファイル境界を越えてロジックを追うことができますが、何を探すべきかは指示されていません。
  2. 最も難しいバグはマルチファイルバグです。モデルはすべてのファイルを見ることができましたが、ある使用法が問題であると知るためには、そのコンテキストを知る必要があることがよくあります。これは、人間であれAIであれ、あらゆるセキュリティレビュアーにとって難しい問題です。Mythosはより高度なツールを持っていると推測します。デバッガでソフトウェアを実行したり、ファズテストを行ったりするのかもしれません。Mythosが何をしているかを推測することは、今のところこのプロジェクトの目標を超えています。しかし、このコーパスには、見つけるのが非常に難しいバグがあり、Mythosがこの問題に特に優れているという考えにいくらかの信憑性を与えています。
  3. モデルはおそらくこのベンチマークで不正をしていないでしょうが、(場合によっては)不正をする可能性があります。それらは新しいコンテナ内で実行され、サニタイズされた完全なソースチェックアウトとレビューするファイルが与えられます。.gitディレクトリは削除されているため、履歴を調べたり、ファイルの「未来」を簡単に調べたりすることはできませんが、ネットワークアクセスは可能です。動機があれば、特定のソフトウェアのCVEを検索できるでしょう。しかし、それを行っている兆候は全くありません。
  4. これは何も証明するものではありません。データは少ないです。各モデルについて、既知のバグごとに1回(1回)実行しました。これには数日間で数時間かかりましたが、並行処理を追加したので、次回はもっと速くなるでしょう(ただし、無料になることはありません)。したがって、決定的な証拠ではありませんが、興味深く有用なデータを提供していると思います。モデルはすべて同じ機会とツール(ただし、ClaudeモデルはClaude Codeを使用しましたが、非常に限定的なコンテナ内でした)を持っており、一部は他のモデルよりも優れていました。しかし、すべてが私の予想よりも劣っていました。これらのバグを見つけるのがどれほど難しいかを過小評価していました。

エージェントに関する注記:当初、モデルAPIを使用した基本的なハーネスに加えて、すべてのモデルをフル機能のエージェントでも実行しました。ベンダー提供の「好みの」エージェント、またはテスト中のモデルのAPIを使用するように設定されたClaude Codeです。私の当初の仮説は、フル機能のエージェントで実行することが、モデルに最高のパフォーマンスを発揮させる機会を与えるだろうということでした。しかし、それは無関係でした…エージェントを使用しても、どのモデルもパフォーマンスは向上せず、数モデルは悪化し、エージェントがループに入ると、理由はどうあれ、時間/トークン/コストは一貫して大幅に高くなりました。そのため、Claudeモデルのみをエージェントで実行しています。ClaudeモデルをClaude Codeで実行するコストは、API経由で実行するよりもサブスクライバーにとって大幅に低いためです(少なくとも私にとってはそうです)。また、エージェントで実行してもClaudeモデルのパフォーマンスに悪影響はないようです(データはまだ薄いため、さらにテストする予定です)。

エージェントに関する2番目の注記:agy(Gemini用のAntigravity CLI)は、セキュリティ作業には意図的に無用です。9件中8件のケースで、「申し訳ありませんが、指定されたコードファイルを悪用可能なセキュリティ脆弱性について分析するリクエストを満たすことができません。」とすぐにプロンプトを拒否しました。そのため、agyでの使用はGoogleサブスクリプションでカバーされるにもかかわらず、Google AI StudioでAPIアクセスに料金を支払ってGeminiテストを実行しました。これは迷惑です。「悪用可能」や「脆弱」といった単語を削除するようにプロンプトを緩和しても効果はありませんでした。モデルは、私たちがセキュリティバグを探していることを十分に理解しており、それには全く対応しませんでした。ガードレールを回避する方法があるかもしれませんが、Google製品がどれほどひどいものであるかを見栄え良くするために、私は作業しません。Antigravityは、目的がセキュリティ作業である場合、目的に合っていません。私はそれをランキングから削除しました。他のエージェントテスト実行を面白くないノイズとして削除することを決定する前でさえ(前述のClaudeモデル用のClaude Codeを除く)。

結果

完全なHTMLレポートを表示するにはクリックしてください。

[画像: 完全なベンチマーク結果、完全なHTMLレポートを表示するにはクリック]

GPT 5.5 Proがリーダーボードのトップにいるのは、4件のケースを完了しただけで100ドルの予算を使い果たしたため、2/4で50%だからです。また、他のいくつかの結果、両方のQwenモデルは、すべてのケースを完了できなかったために検出率ランキングで上方へ偏っています。

2026年6月7日にGemma 4モデルとMiniMax M3を追加するために更新。Gemma 4 MoEは、4/9のバグを100%の精度で検出することで、リードするポジションに移動しました(MiMoとGPT 5.5と同じで、Googleの主要な商用モデルよりも優れています)。ただし、llama-serverがクラッシュしたり、モデルが別の試行を行うような失敗を繰り返したため、複数回の試行があったという注意点があります。他のモデルも、数回の追加試行があればより良い結果を出すだろうと推測します。すぐに複数回の試行を含むこのベンチマークのバージョンを実行します(非常に高価なモデルは除きます。なぜなら私はお金持ちではなく、それらがすでにかなり良いことはすでにわかっているからです)。そのため、チャートでは3/7として表示されています…しかし、そのモデルで2回の失敗した実行を完了させようとllama-serverの設定をいじっている間に、別のバグを見つけました。そのいじっている間に見つけたバグは、Opusだけが見つけた難しいバグでしたが、Gemma 4もそれを見つけました。

2026年6月17日にGLM 5.2、Kimi K2.7-code、VibeThinker 3Bを追加するために更新。大きな驚きはありませんでした。GLMは改善しましたが、Kimiはそうではありませんでした。VibeThinker、このグループで最も小さいモデルは、予想通りこのタスクには全く対応できませんでした。

2026年6月21日にNemotron Ultra 550b a55bとNorth Mini Code 33b a3bを追加するために更新。両方とも成績が悪かったです。前者では、Nemotronのより大きなバージョンは、そのより小さい120bの兄弟よりも著しく成績が悪かったですが、その理由は不明です(ただし、再現実行がそれを覆す可能性があり、すぐに確認します)。North Mini Codeは、小さいモデルとしてはまずまずでしたが、Qwen 3.6とGemma 4はすべてのケースでそれを上回りました(Gemma 4 31bはチャートで低く表示されていますが、実際には4/9を見つけました。ただ、いくつかの解釈を誤りました)。

2026年6月22日にNemotron 3 Nano OmniとLaguna XS.2を追加するために更新し、NemotronとLagunaのファミリーツリーを完成させました。奇妙なことに、両方ともより大きな兄弟よりも優れたパフォーマンスを発揮しました。その説明はありません。Nemotronは、モデルサイズとセキュリティバグ発見のパフォーマンスとの間に逆の関係があるようです。それは驚くべきことです。より多くのデータが必要です。

2026年6月24日の更新。リポジトリスコープのプロンプトが、非常に難しいケースで何か良い結果をもたらすかどうかをテストするための新しい実験。3つのモデル、DeepSeek v4 Pro、MiMo 2.5 Pro、およびGemma 4 31b(以前のベンチマークで優れたパフォーマーであり、リポジトリスコープの監査ではるかに高いトークン使用量を心配する必要がないほど安価でした)を実行しました。DeepSeekとGemma(部分的なクレジット、正しい場所、Opusによって誤って判定されたバグの説明)のみが、制御アームの実験でバグの1つを見つけました(標準的なファイルスコープのプロンプトを使用した3回の試行、これはほとんどの他のベンチマークで使用したものです)。リポジトリスコープのトライアルでは、それらのいずれも特定のバグを見つけませんでした。MiMoは、リポジトリスコープテストでOpusによってリアルと判定された他のいくつかのバグを見つけました。各モデルに対して2つのリポジトリスコープトライアルがありました。トークン数と許可されたターン数を人工的に制限していたためです…それにぶつかったので、それを200万トークンに増やして自由にさせました。それらすべてが、何も見つけられませんでした。完全な結果を表示

2026年6月26日にQwen AgentWorld 35b a3b MoEモデルを追加するために更新。2/9で中程度のパフォーマーでした。

2026年6月26日にOrnith 1.0(エージェント利用を目的としたQwen 3.5/3.6 MoEの別のポストトレーニング)を追加するために更新。ここでは成績が悪く、ほとんどすべてのモデルが見つけた1つのバグしか見つけられませんでした。そのサイズにしては他のベンチマークで優れたパフォーマンスを示していたにもかかわらずです。Gemma 4 31bに基づいていると思われる密なモデルに興味があります。なぜなら、それはパフォーマンスの良い小型モデルだからです。このタスクに特化したハーネスコードを作成するためにトレーニングされた実装であることは言及する価値があります。これは、このベンチマークで利用可能な限定的なツール(読み取り専用)には適していません。また、ツールなしのチャットでも成績が悪く、幻覚に対する熱意を示しています。現在、Bash/Pythonを含む完全なツールアクセスを備えたこのベンチマークの複製に取り組んでおり、これによりこのモデルが競争力を持つ可能性があります。

2026年7月3日の更新。予想通り、Fableはセキュリティ関連の作業の匂いがするものを尋ねられると、Opus 4.8に切り替えます。

驚き

Qwen 3.6 27Bは、その重量をはるかに超えるパンチ力を持っています。私はしばらくの間「驚くほど良い」と言ってきましたが、それでもここでどれほどうまくやったかに驚きました。いくつかの商用モデル(例えば、Sonnet、これはMythosが探している特定のバグを見つける上でQwenよりも成績が悪く、私が誤検出に近いと見なす奇妙に多い数の「その他のバグ」を見つけましたが、判定したOpus 4.8はそれらを信頼できる/実際のバグと見なしました)よりも多くのバグを、より少ない誤検出で見つけました。また、最先端モデルとされるGemini 3.1 Proも上回りました。Qwen 3.6は私のローカルStrix Haloマシンで128GBのRAMを使用して自己ホストされたため、少し遅く、次に遅いモデルの3倍遅かったです。また、結果が出なかった1つのケースはタイムアウトでした。最終的には完了したかもしれませんが、失敗と見なす前にどれだけ時間をかけられるかに上限を設けるのは合理的だと思います。私はその上限を30分に設定しました。

Gemini 3.5 Flashは、Gemini 3.1 Proを大幅に上回りました。ターゲットバグを1つ多く見つけ、誤検出をそれほど多く作りませんでした。しかし、Gemini 3.5 Flashのコストは、以前のGemini Flashモデルよりも、大規模モデルに近い価格帯です。これは無意味な点です。より良いモデルが(はるかに)安価に存在します。

安価な中国製モデルが素晴らしいです。MiMoとDeepSeekは、Opus 4.8とGPT 5.5と直接競争力があり、価格は約10分の1です。中国製モデルによる「ベンチマーク不正」の非難がありますが、これらのモデルが最近開示されたバグに対してすでに調整されている合理的な方法はないと思います。それらは実際にAnthropicとOpenAIの最先端に追いついていると思います。急いでいるなら、DeepSeekが平均して最も速く、4/9のバグを見つけました。そして、安価に済ませたいなら、MiMoはどんなモデルでも見つけられるバグを最も安価に見つけました。

Mistral Mediumは完全に失敗しました。なぜ失敗したのかを詳しく調べる時間はありませんでした。指示通りにタスクを完了し、エラーを返しませんでしたが、結果を返しませんでした。これは、総無能さではなく、明示せずに安全性の問題だと推測します(agyが行うように)。多くのヨーロッパ人は(合理的に)アメリカや中国のAI企業にデータを渡すことに躊躇しており、Mistralは主要なEUのAI企業なので、興味深いモデルになると思っていました。ただし、現時点ではセキュリティには向きません。

Laguna M.1も既知の脆弱性を見つけるのに失敗しましたが、Opusによってリアルと判定された別のバグを報告しました。そのため、Mistralとは同じカテゴリではないと思います。Mistralは試みすらしなかったようです。Lagunaはこのタスクには単に優れていないと思います。

少なくともセキュリティ監査に関しては、HaikuやSonnetを使用する理由はありません。それらは何にも優れておらず、それほど安くもありません。特にHaikuは、低価格を補うかのように、驚異的な速度でトークンを消費しました。平均1.6M/ケースで、次の候補(自己ホスト型Qwen 3.6、733k)の2倍以上です。MiMoとDeepSeekはどちらも非常に安価で非常に優れています。安価なLLMが必要なら、それらを使用するのが良いでしょう。

6月7日の編集:MoE Gemma 4の結果と「オフベースライン」実行に関する注記をご覧ください。クレイジーですよね?現在、Gemma 4(密なモデルとMoE)のみのベンチマークラウンドを実行しており、それが再現するか、または非常に難しいバグを見つけたことが完全に偶然であるかを確認しています。MoEは、他のどのモデルよりも「迷子」になることが多いことに注意してください。ループに入り、同じ行の束(時には正しい行の束)を繰り返し見て、タイムアウトするまで続きます。これは、繰り返された2つのケースの失敗モードであり、このベンチマークの約30%のケースで見られる失敗モードです。そのため、このコーパスで9件中4件のバグを見つけた最小のモデルですが、インタラクティブに使用しようとすると、かなりの時間を無駄にする可能性が最も高いモデルでもあります。

結論

わかりません。Mythosはできるのか?一般の人々はこれらの難しいバグを見つけるために必要なツールにアクセスできるのでしょうか?このベンチマークは、「たぶん」と力強く答えていると言えるでしょう。コードを読み、複数のセキュリティ監査を生き延びた可能性のある困難な脆弱性を認識することは、難しい問題です。最高の人間セキュリティ研究者は、コードを読んでバグを見つけるだけでなく、さまざまなツールを使用し、さまざまな方法でコードと対話します。

Mythosは、この実験でどのモデルも見つけられなかった4つのバグを見つけたため、おそらく他の現在のモデルよりもセキュリティバグを見つけるのが優れているのかもしれません。しかし、テストは続けます。プロンプトやツールの変更が、現在の公開モデルからより良い結果を引き出すことができる可能性があります。

そして、十分な手がかりを与えられた場合にOpusがこれらのバグすべてを見て理解できたという事実は、十分な時間、機会、およびツールがあれば、現在の最高の公開モデルがこれらのバグを見つけることができる可能性が高いことを示唆しています。このベンチマークは、かなりナイーブなハーネスとプロンプトを使用しています。

←Qwen 3.6 量子化劣化Granite 4.1に関する興味深いこと→