FLAWEDの欠陥と業界研究への影響

FLAWEDの欠陥と業界研究への影響 2026年9月22日公開 免責事項: ここで表明された見解は私自身の個人的なものであり、現在のまたは過去の雇用主や関連組織の見解を代表するものではありません。 9月17日、私はTrail of Bitsのブログ記事「1PasswordのAIパッチ適用ベンチマークは誤解を招く」を引用ツイートしました。このブログ記事は、Davi Ottenheimer氏の「1Passwordによって拡散された偽情報: 彼らのAIパッチ適用レポートは虚偽である」にも言及していました。どちらも1PasswordのOff-by-1 Labsによる「Frontier Models’ Vulnerability Patches are Often F.L.A.W.E.D」（以下「FLAWED」）を批判していました。私はFLAWEDが公開された際にそれを見て、他の研究者とも議論しました。私たちはそれを「ガラクタ」と分類して、そのままにしておきました。しかし、当時私が認識していなかったのは、1Passwordの配布がそれをニュース報道や防御者ロードマップにまで及んでいたということです。リソースの少ないグループによるより厳密な研究を、この論文が不明瞭にしているのを見て、私はTwitterに投稿せざるを得ませんでした。そして、その投稿への反応が、このブログ記事を書く動機となりました。 元のスレッド 以下は、2つのフォローアップ返信を含む、元のスレッドをそのまま再現したものです。Davi氏とToB氏が指摘した評価の問題を超えて、この論文には明白な問題があり、それらは人間の支援とAIの支援の比率について私に疑問を抱かせるほどですが、その中でも特にひどいものがいくつかあり、業界ラボにどのような研究規範を求めているのかを検討すべきです。これらの誤りには、不正確な図（例: 図1が関連ステップにあると主張するアスタリスクはどこにあるのか？）、算術的な誤り（例: 2.8 は約4ではない）、そして簡単な確認でわかる内部的なテキストの矛盾が含まれていますが、引用の問題が最も深刻です。業界の論文は、ある程度低い引用密度を持つことは許容されるかもしれません。しかし、FLAWEDは厳密な研究の形式とレトリックを採用しており（この特定の分野には「先行研究が非常に少ない」とさえ主張しています）、わずか19の出典（主に企業のブログ投稿とXKCD）しか引用していません。この主張は文献と一致しません。同時期のPatchBench論文は73件の引用（https://arxiv.org/pdf/2609.04075）を持っており、そのほとんどが学術研究論文です。例えば、MetaのAutoPatchBenchは、著名な研究者による明白な先行研究であるにもかかわらず、引用されていません。FLAWEDは、LLMセキュリティ研究における落とし穴に関するこのNDSS論文（https://ndss-symposium.org/ndss-paper/chasing-shadows-pitfalls-in-llm-security-research/）を引用しておらず、読んでいません。この論文は、FLAWEDが抱えるような特定された落とし穴を考慮すると、この分野に非常に役立ったでしょう。また、Patch the Planetに関する事実上の問題もあります。OpenAIによると、CalifとHackerOneは「脆弱性トリアージ、協調開示、および追加の焦点的な脆弱性発見努力」に参加しましたが、論文はToBのエンジニアのみを指摘しています。私はToBが注目される理由を理解しています。彼らはOpenAIのパートナーであり、すべての著者の直近の元雇用主でした。私もかつてToBに所属していたので、頭に浮かんだものを引用しやすいことはわかっています。しかし、その記述は依然として不正確であり、研究論文としては不適切です。私は、ブログ記事やホワイトペーパーになった業界研究を行い、学術的な著作も発表してきました。フォーマットの慣習は、それに応じた期待を生み出します。この論文は、必要な厳密さを伴わずに、権威ある研究のトーンと形式を主張し、採用しています。間違いは普通のことです。それこそが、私たちが研究を発表し、再現し、批判する理由の一部です。しかし、それこそが訂正、そして必要であれば撤回が存在する理由でもあります。1Passwordが撤回または訂正を発行することを願っています。最低限、学術研究者と提携したり、研究経験のある人材を雇用したり、コミュニティと協力して、このような多くの重大な誤りを含む研究を再び公開しないようにすることを願っています。私は1Passwordのユーザーであり、彼らがこの種の仕事をしてくれることを望んでいます。AIセキュリティには、フロンティアラボから独立したグループからの研究が必要です。特に、潜在的なマーケティング主張を精査する研究が重要です。しかし、それは、より厳格な研究規範を施行することを、より重要にするのであり、それ以下にするわけではありません。1PasswordのOff-by-1 Labsは世界で最悪の加害者ではありませんが、彼らがこの種の仕事をするのであれば、質の高い、誠実な仕事を生み出すことを期待していました。 フロンティアラボについて誰かが言及したことに対して、私はこう書きました。「もちろん！私のツイートやリツイートの残りをスクロールすれば、私個人としても、私が支援した研究も、フロンティアラボに対して十分に批判的であったことがわかるでしょう。しかし、会社のブランド名でガラクタを投稿するのは、テクノロジー企業に責任を負わせないための一つの方法にすぎません。修正策は正直さと厳密さであり、省略による盗用やガラクタではありません。私たちは、アカデミアやEleutherAIのような、業界ラボよりもはるかにリソースが少なく、リーチも限られている場所からの、本物の、優れた、独立した仕事に光を当てるべきです。直接関連する学術的な仕事を省略することは、その不均衡を深めます。1Passwordの仕事は注目を集め、プレスリリースなどを得ますが、真の思考者はそうではありません。いくつかの誤りが一目でわかる場合、注意の欠如は非常に言い訳がたいです。1Passwordは貧しいアンダードッグではありません!! OpenAIの主張を本当に評価したいのです！OSSは、実際にそれをより安全にするものに向けられたリソースを受けるに値します。CISPA、UMD、Drexelは、1Passwordがおそらく資金提供を助けるべきだったであろう、LLMをセキュリティに対して批判する、同様の質問に取り組む厳密な研究を行いました。」 私の反論の質についての懸念に応えて、私はこうも書きました。「私は不正行為とガラクタを非難します。私は真実が何であるかに非常に興味があり、本物の、厳密な仕事を期待しています。リンクされた評価の反論についてコメントを自由にどうぞ。しかし、ある主張が虚偽であることを証明するために、正しい主張を見つける必要はありません。その非対称性が研究の仕組みです。」 その後、CISO、学者、業界研究者、実務家たちが私にメッセージを送り、同じ問題に気づいていたと述べました。多くは、フォーラムがなかったり、反発を恐れたりして、それらを提起していませんでした。これらの反応は、特に研究を取り巻く社会システムに不慣れな人々にはあまり明白ではない、第二次のコストも明らかにしました。研究はスポーツのように扱われるべきではありません。 1Passwordは多くの才能ある個人を雇用しており、高品質な仕事で評判があります。それにもかかわらず、FLAWEDには提起されなければならない深刻な問題があります。もしFLAWEDがOpenAIを批判していたからという理由で、これらの問題は提起されるべきではないと信じるなら、研究はスポーツではないことを知ってください。OpenAIはスパーズではなく、1Passwordはニックスではなく、Off-by-1 LabsはJalen Brunsonではありません。すべての研究は健全な懐疑心に直面すべきです。フロンティアラボの主張の厳密な評価は、Patch the Planetに内在する主張を含め、可能であり、かつ必要です。EleutherAIは、この分野で定期的に正確な仕事を発表しています。AI Now Instituteは、Patch the Planetを批判する健全なレポート（研究論文ではありませんが、FLAWEDよりも多くの引用があります）を配信しました。 研究は影響力工作になるべきではありません FLAWEDは、多くの人がすでに持っていた先入観を確認しており、それが一部の牽引力の理由を説明している可能性があります。しかし、私たちは、それが私たちの先入観に合致するという理由だけで、研究を信じ、拡散することはできません。厳密さの目的は、受け入れたいが真実ではない結論から私たちを守ることです。この規範を施行しない場合の最悪のシナリオは何でしょうか？これは、悪意のあるアクターが、彼らの制度的または個人的な利益を都合の良い結論を繰り返し選択し、弱い手法を適用し、企業の配布とソーシャルエンジニアリングを使用して、それらの結論を不均衡に影響力のあるものにする道を開きます。私は、これがここでどのような形であれ起こったと主張しているわけではありません。私は、この特定の論文やその著者の意図とは無関係に存在する、私たちの研究エコシステムの脆弱性を説明しています。これらの議論は、高い誠実性を持つ研究環境を育成するために不可欠です。Carliniが「なぜ私が攻撃するのか」で書いているように、「壊れていると知らなければ、それを直すことはできない。そして、誰かが壊れていることを示す必要がある。」論文はn