FLAWEDの欠陥と業界研究への影響

FLAWEDの欠陥とその業界研究への意味

免責事項: ここで表明される見解は私自身の個人的なものであり、現在または過去の雇用主や関連組織の見解を代表するものではありません。

更新 (2026/09/25): The Register が、修正へのリンクを追記しました。

9月17日、私はTrail of Bitsのブログ記事「“1Password's AI patching benchmark is misleading”」を引用ツイートしました。この記事はDavi Ottenheimer氏の「“Disinformation Pushed by 1Password: Their AI Patching Report is False.”」にも言及しており、両者とも1PasswordのOff‑by‑1 Labsによる「“Frontier Models’ Vulnerability Patches are Often F.L.A.W.E.D”」（以下「FLAWED」と呼称）を批判していました。

私はFLAWEDが公開された際に見つけ、他の研究者と議論しましたが、私たちはそれを「駄作」と分類して次に進みました。当時私が認識していなかったのは、1Passwordによるその配布が、ニュース記事や防御者のロードマップにまで及んでいたことです。この研究が、リソースの少ないグループによるより厳密な研究を不明瞭にしているのを見て、私はTwitterに投稿せざるを得なくなり、その反応がこのブログ記事を書く動機となりました。

元のスレッド

以下は、2つのフォローアップ返信を含むスレッドをそのまま転載したものです。

1. DaviとToBが指摘した評価の問題以外にも、この論文には明白な問題があります。それには、人間とAIの支援比率を疑問視させるものも含まれていますが、いくつかあまりにもひどいため、業界ラボにどのような研究規範を求めているのかを考えるべきです。
2. これらの誤りには、不正確な図（例: 図1が関連ステップにあると主張するアスタリスクはどこにあるのか？）、算術的誤り（例: 2.8 は約4ではない）、そしてざっと目を通すだけでもわかる内部的な矛盾が含まれていますが、引用の問題が最も深刻です。 ［画像: 図1の関連ステップにアスタリスクがないことを示す画像］
3. 業界の論文では、引用密度がやや低いことは許容されるかもしれません。しかし、FLAWEDは厳密な研究の形式とレトリックを採用しており（この特定の分野には「先行研究がほとんどない」とさえ主張しています）、引用はわずか19件（主に企業のブログ記事とXKCD）です！ ［画像: FLAWED論文の引用リストの一部を示す画像］
4. その主張は文献と一致しません。同時期のPatchBench論文は73件の引用（https://arxiv.org/pdf/2609.04075）があり、主に学術研究論文です。例えば、MetaのAutoPatchBenchは、著名な研究者による明白な先行研究であるにもかかわらず、引用されていません。
5. FLAWEDは、LLMセキュリティ研究における落とし穴に関するこのNDSS論文（https://ndss-symposium.org/ndss-paper/chasing-shadows-pitfalls-in-llm-security-research/）を引用しておらず、読んでいません。この論文は、FLAWEDが抱えるような問題点を特定しており、特に関連するサブフィールドにとって非常に有益だったでしょう。
6. Patch the Planetに関する事実上の問題もあります。OpenAIによると、CalifとHackerOneは「脆弱性トリアージ、協調開示、および追加の集中的な脆弱性発見努力」に参加しましたが、論文はToBのエンジニアのみを挙げています。
7. なぜToBが注目されるのかは理解できます。彼らはOpenAIのパートナーであり、著者全員の直近の元雇用主です。私も元ToBの一員として、頭の中にあるものを引用しやすいことはわかっています。しかし、その記述は依然として不正確であり、研究論文としては不適切です。
8. 私は、ブログ記事やホワイトペーパーになった業界の研究を行い、学術的な作品も発表してきました。フォーマットの慣習は、それに対応する期待を生み出します。この論文は、必要な厳密性を伴わずに、権威ある研究のトーンと形式を主張し、採用しています。
9. 間違いは普通のことです。それこそが、私たちが研究を発表し、再現し、批判する理由の一部です。しかし、それこそが修正、そして必要であれば撤回が存在する理由でもあります。
10. 1Passwordが撤回または修正を発行することを願っています。最低限、学術研究者と提携したり、研究経験のある人材を雇用したり、コミュニティと協力して、このような重大なエラーが集中した作品を再び公開しないようにすることを願っています。
11. 私は1Passwordのユーザーであり、彼らがこの仕事をしてくれることを望んでいます。AIセキュリティには、特にフロンティアラボから独立したグループによる研究が必要です。特に、潜在的なマーケティング主張を精査する研究が重要です。しかし、それは、より強力な研究規範を施行することを、より重要にするのであって、その逆ではありません。
12. 1PasswordのOff-by-1 Labsは世界で最悪の加害者ではありませんが、もし彼らが質の高い、誠実な仕事をするのであれば、彼らの利益は、駄作よりも信頼できる研究を支持するはずだと期待していました。

フロンティアラボについて誰かが言及したことに対し、私は次のように書きました。

1. もちろん！私のツイートやリツイートの残りをスクロールすれば、私個人としても、私が支援した研究としても、フロンティアラボに対して十分に批判的であったことがわかります。しかし、会社のブランド名の下で駄作を公開することは、テクノロジー企業に責任を負わせないもう一つの方法にすぎません。
2. 解決策は、正直さと厳密さであり、省略による盗用や駄作ではありません。私たちは、アカデミアやEleutherAIのような、業界ラボよりもはるかにリソースが少なく、リーチも限られている場所からの、本物の、優れた、独立した作品を増幅すべきです。
3. 直接関連する学術作品を省略することは、その不均衡を深めます。1Passwordの作品は注目を集め、プレスリリースなどを得ますが、真の思考者はそうではありません。いくつかのエラーがざっと目を通すだけで明らかである場合、注意不足は非常に言い訳がたいです。1Passwordは貧しいアンダードッグではありません!!
4. 私はOpenAIの主張を本当に評価したいです！OSSは、実際にそれをより安全にするものに向けられたリソースを必要としています。CISPA、UMD、Drexelは、同様の質問について厳密な研究を行っており、1Passwordがおそらく支援すべきだったLLMのセキュリティに対しても批判的です。

私の反論の質についての懸念に応えて、私は次のように書きました。

1. 私は不正行為や駄作を非難します。真実が何であるか非常に興味があり、本物の、厳密な研究を楽しみにしています。評価の反論へのリンクについてコメントを歓迎します。しかし、ある主張が偽であることを証明するために、正しい主張を見つける必要はありません。その非対称性が研究の仕組みです。

その後、CISO、学者、業界研究者、実務家が私にメッセージを送り、同じ問題に気づいていたと述べました。多くは、フォーラムがなかったり、反発を恐れたりして、それらを提起していませんでした。これらの反応は、研究を取り巻く社会システムに慣れていない人々にはあまり明白ではない、二次的なコスト、特に学術研究者にとってのコストも明らかにしました。

研究はスポーツのように扱われるべきではない

1Passwordは多くの才能ある個人を雇用しており、高品質な仕事で知られています。それにもかかわらず、FLAWEDには提起されるべき深刻な問題があります。

もしFLAWEDがOpenAIを批判していたという理由でこれらの問題が提起されるべきではないと信じるなら、研究はスポーツではないことを知ってください。OpenAIはスパーズではなく、1Passwordはニックスではなく、Off-by-1 Labsはジェイレン・ブランソンではありません。すべての研究は健全な懐疑心に直面すべきです。

フロンティアラボの主張の厳密な評価は、Patch the Planetに内在する主張も含め、可能であり、かつ必要です。EleutherAI はこの分野で定期的に正確な研究を発表しています。AI Now Instituteは、Patch the Planetを批判する健全な記述を提供しました（研究論文ではありませんが、FLAWEDよりも多くの引用があります）。

研究は影響力工作になってはならない

FLAWEDは、多くの人がすでに持っていた先入観を裏付けており、それが一部の牽引力の理由かもしれません。しかし、私たちは、それが私たちの先入観に合致するという理由だけで、研究を信じ、増幅することはできません。厳密さの目的は、受け入れたいが真実ではない結論から私たちを守ることです。

この規範を施行しない場合の最悪のシナリオは何でしょうか？これは、悪意のあるアクターが、自身の組織的または個人的な利益を賛美する結論を繰り返し選択し、弱い手法を適用し、企業の配布とソーシャルエンジニアリングを使用して、それらの結論を不均衡に影響力のあるものにすることができる扉を開きます。私はこれがどのような形であれ、ここで起こったと主張しているわけではありません。

私は、この特定の論文やその著者たちの意図とは無関係に存在する、私たちの研究エコシステムにおける脆弱性を説明しています。これらの議論は、高い誠実性を持つ研究環境を育む上で不可欠です。Carliniが「なぜ私が攻撃するのか」で書いているように、「壊れていると知らなければ直すことはできない。だから、誰かが壊れていることを示す必要がある。」

論文はブログ記事ではない

セキュリティ研究は、脆弱性の発見、エクスプロイトとツールの開発、脅威インテリジェンス、経験的研究など、幅広い活動を含みます。人間とAIの相互作用に関する経験的、科学的な主張は、脆弱性を実証するために必要なもの以上の研究デザインと証拠を必要とします。

［画像: 記事執筆時点での https://1password.com/research のスクリーンショット］

ジャンルにも同じ区別が適用されます。ブログ記事は、科学的権威を主張することなく、データに基づいた観察結果を提示できます。科学的に厳密で査読されたと主張する論文は、追加の義務を負います。FLAWEDは実際、「査読」という言葉を、著者が感謝している3人の業界の同僚によるレビューを説明するために使用しており、学術的な査読プロセスではありません。

引用数は厳密さの尺度そのものではありませんが、著者が自身の主張を正確に評価し、関連文献に責任を持って関与しているかどうかを判断するのに役立つプロキシです（研究論文を読むための標準的な方法の初期段階にあるのには理由があります）。省略による盗用は深刻です。その分野の基礎的な論文を引用していない研究（例: この論文はAIパッチ研究の基礎と見なされています）に対しては、文献への深い不慣れ、または前述の省略による盗用のいずれかを示唆するため、疑念を抱くでしょう。

この研究が、実際の技術的貢献に焦点を当てた説得力のあるブログ記事になっていればと心から信じています。「Codex（およびGPT-4）はスマートコントラクト監査で人間を打ち負かすことはできない」 は、取られた可能性のある道筋を示しています。このブログ記事は人間とAIの相互作用に関する経験的な主張をしていますが、「私たちの評価は科学的研究の厳密さを満たしておらず、そのように見なされるべきではありません。私たちは評価において経験的かつデータ駆動型であろうとしましたが、私たちの目標は…科学的な出版ではありませんでした。」と明示しています。

プレスサイクルは出版プロセスではない

リリースと更新の両方の形式は、研究が機能すべき方法と一致していません。

• 研究には公開記録が必要です。Hillel Wayneが科学について引用しているように、「素人が理解していないことの一つは、科学は社会的であるということです。「客観性」と「証拠」に多くの焦点を当てていますが、それは人間の制度の中で行われ、人間の働き方に依存しています。私たちは誠実さ、信頼性、評判を気にかけます。これはしばしば外部の者を驚かせますが、結局のところ、科学が大規模に機能するためには不可欠です。」Terence Taoは数学について同様の点を指摘しています（OpenAIを批判して）：「数学的な結果をプレスリリースやソーシャルメディアの投稿で伝えるこの新しい慣行にはうんざりしています」。
  • 私が確認できる限りでは、FLAWEDは学術リポジトリや公開レビューフォーラムに投稿されていませんでした。そうすることは査読にはなりませんが、従来のバージョン管理された記録が作成されたでしょう。業界の研究は非学術的なホワイトペーパーとして公開できますが、FLAWEDは厳密で学術的な研究のベニヤを採用し、公的および私的にそのように宣伝されました。
• 更新は反論に対応していない。「我々のアプローチで使用された変数のサブセットが出力を過度に制約した」という点が唯一の問題であったというのは、検証不可能に偽です。もしこれが本当に唯一の問題であり、この研究が単に評価エラーのために不正確であっただけで、多くの資格のある個人によって合理的に駄作と分類されるものでなかったなら、私のブログ記事はこの批判にずっと近いものになったでしょう。
• 公の主張には公の訂正が必要です。反論の性質を考えると、唯一のフィードバックチャネルがプライベートメールであることは不適切であり、撤回なしにプレプリントを現状のままにしておくのは不正です。この情報は、この研究を宣伝したジャーナリストとも共有されなければなりません。CarliniのInstaHideへの応答は、壊れた研究が宣伝され続ける際に研究者が何をすべきかのモデルとなります。

［画像: FLAWEDブログ記事に加えられた更新のスクリーンショット］

研究における誠実さは重要

なぜ私はこれほど気にするのでしょうか？なぜなら、不正な研究は、虚偽の主張を文献に載せる以上のことをするからです。

• 研究アジェンダを歪める。先行研究によると重複している、あるいは不正確に見える研究は、しばしば資金を得られません。研究者は、解決されたように見える問題から撤退したり、虚偽にスクープされた後に方向転換したりします。
• 研究労働を浪費する。研究者は、誤解を招く発見を再現または拡張したり、健全な結果をそれらと調和させたり、誤った前提に基づいた研究をレビューしたりするのに時間を費やします。
• 注目を集め、認識環境を汚染する。誤解を招く主張は、より厳密な研究を締め出し、矛盾する証拠は軽視され、正しい結論は遅延し、企業のリーチは妥当性の代理となる。

残念ながら、FLAWEDはすでにこれにつながっています（これはTwitterへの投稿後に受け取った複数のメッセージの主題でした。この投稿の理由の一つは、現在これらの会話の真っ只中にいる学術研究者を助けることです）。私たちはコミュニティに誠実さを育む必要があります。

幸いなことに、この研究はニュース記事やソーシャルメディアを通じて人々に届きましたが、まだ学術文献に直接入っていないようです（経験豊富な研究者の中には、すぐに問題に気づいたと私に言った人もいます）。それは安心できることですが、万全ではありません。私たちが引用し、増幅する研究を読むこと、そしてその形式、所属、または既存の引用を妥当性の代理として扱わないことにも、私たち全員の責任があります。

OSSセキュリティを気にかけるべき

私は、強力なセキュリティプログラムを持つあらゆる企業は、堅牢なセキュリティ研究機能を備えるべきだと強く信じており、また、特に周囲の力関係に関して、コミュニティの規範を形成し、施行する責任があるとも信じています。

私は、オープンソースソフトウェアのセキュリティを向上させる介入に関する証拠を真剣に求めています。固定予算で、どの介入が最も効果的でしょうか？より多くのメンテナーを雇用すること、既存のメンテナーにトークン支出を提供すること、AIの使用を許可されていないコンサルタントと提携すること、それとも全く別の何かでしょうか？この問題は私の知る限りまだ未解決です。FLAWEDは、それを真に解決する可能性のある努力から時間とリソースを奪いました。

もしあなたが、十分な注目を集めていない、この分野での本物の、厳密な研究を行っているのであれば、私に連絡してください。私はそれをレビューし、それが強力であると感じた場合は、広く共有し、それが値する注目とリソースを得られるように全力を尽くします。