HN 日本語サマリー

← 一覧へ戻る
科学・技術

ベンチマークポカリプス

The Benchmarkpocalypse (danluu.com)

140 pointsby cyndunlop43 コメント

要約

近年、LLM(大規模言語モデル)の進化により、ベンチマークで偽のパフォーマンス向上を達成することが容易になっています。これは、実際の性能向上ではなく、ベンチマークに特化した最適化を行うことで、あたかも大幅な改善があったかのように見せかける現象です。かつては高度な専門知識と多大な労力を要したベンチマークの不正操作が、AIの助けを借りることで誰でも容易に行えるようになり、ベンチマークの信頼性が低下している現状を論じています。

全文翻訳

「バルナポカリプス(vulnpocalypse)」については多くの議論がありますが、私はセキュリティの専門家ではないため、それについて付け加えることはあまりありません。しかし、それに密接に関連する(そして、公平に見て、それほど深刻ではない問題である)「ベンチマークポカリプス」については、あまり議論がなされていないように思います。

深刻なパフォーマンス向上がかつてないほど容易になった一方で、ベンチマークを不正に操作して見せかけのパフォーマンス向上を達成することも、かつてないほど容易になりました。前者は多くの異なる企業で静かに進行していると思われますが、後者は最近では週に少なくとも1回は見かけます。誰かがXを最適化したと主張し、既存のソフトウェアよりも大幅なパフォーマンス改善を得たと主張しますが、よく見てみると、彼らが行ったのは、実際のパフォーマンスを向上させることなく、ベンチマークのパフォーマンスを向上させる最適化でした。これは、しばしば「XをRustで書き直した」[1]というプロジェクトや、資金調達または何かを販売しようとしている新しいスタートアップによるものですが、他の種類のプロジェクトでも発生します。

もちろん、人々は常に、自分のペットプロジェクトが優れていることを示すために、代表的でないマイクロベンチマークを誇張してきました。代表的でないマイクロベンチマークを簡単に偽造することは常に可能であり、それは決して変わることはありません。変わったのは、かつては大規模なベンチマークスイートを不正に操作するには多くの作業が必要でしたが、LLMとループを使えばそれができてしまうということです。かつてこれが困難だった頃の、大規模なベンチマークスイートを不正に操作した有名な例はかなりあります。例えば、かつて人々がワークステーションのパフォーマンスの代理としてSPECint / SPECfpを気にかけていた頃、CPUベンダーは、ベンチマークの計算を高速化するコンパイラの「最適化」を見つけようとしていました。例えば、SunはSPECfp2000で179.artを12倍改善する方法を見つけました[https://danluu.com/car-safety/]。熟練したエンジニアは、そのようなベンチマークハックを見つけるために多くの時間を費やしました。LLMはこれを容易にするだけでなく、デフォルトでそれを行うため、結果を監査するか、監査した人を信頼しない限り、かつて信頼されていたベンチマークは無意味になります。

誰かの悪い主張を指摘する代わりに、私はFRE、エージェントに構築させたこの正規表現エンジンを挙げます。これは、かなり包括的なrebar正規表現ベンチマークスイートでRustの正規表現クレートを上回っているため、世界最速の正規表現エンジンであると主張できます。しかし、これは、エージェントを1ヶ月間ループに入れ、ベンチマークに過剰適合しないように指示しましたが、実際の監視はありませんでした。ほとんどの場合、LLMに良いベンチマークスコアを出させるのはかなり簡単であり、この場合も例外ではありませんでした。Rustの正規表現クレートのパフォーマンスに匹敵するのに数週間かかり、その後、rebarで1.4倍高速にするのにさらに数週間かかりました[2]。しかし、エージェントは、厳格なガードレールを設けない限り、ハッキングや過剰適合を報酬として与える傾向があり、この場合は実験としてそうしませんでした。

過剰適合をチェックするために、私はやや任意に[3]ripgrepベンチマークコーパスをホールドアウトベンチマークとして使用しました。アルゴリズム的な破裂によりベンチマークに時間がかかりすぎないケースでは10倍遅く、ベンチマークの完了を待つことさえ合理的でないほど時間がかかるケースもありました。40%高速というのは、そんなところです!

Andrew Gallant(別名BurntSushi)のrebarベンチマークスイートは、ベンチマークスイートとしてはかなり包括的ですが、たとえかなり包括的なベンチマークスイートであっても、エージェントは過剰適合しながら高いスコアを獲得することに問題はありません。これは必ずしも良い一般的なパフォーマンスを提供するわけではありません。

次のステップは、以前に議論したトリックを使用することでした。LLMに不正をしないように指示するだけでなく、評価対象となるホールドアウトベンチマークセットがあることを伝えることです。その後、LLMはパフォーマンスを適度に一般化し、ホールドアウトでは全体的に約2.4倍遅くなりました。これは、現存する最速の汎用正規表現エンジンと比較していることを考えると、かなり良いように思えます。しかし、これらのベンチマークはコーディングエージェントによって作成されたことを思い出してください。ベンチマークが測定しているものを調べると、少なくとも同等の重みで含めるべきではないように思えるものがいくつかあります。重要だと思われるベンチマークのみを見ると、FREはホールドアウトで4倍遅く[0]、これは「ホールドアウトトリックを伝えた」という良い古い手法を適用する前よりもかなり改善されましたが、それでも40%高速にはほど遠いです。

これについて興味深いと思った点がいくつかあります。

  1. エージェントにベンチマークに過剰適合したり不正をしたりしないように指示しても、意味のない方法で非自明なベンチマークを「勝利」させることは容易です。
  2. LLMにホールドアウトセットがあることを伝えることは、汎用的な作業を行うように指示したり、過剰適合しないように指示したり、不正をしないように指示したりするよりも、再び効果的でした。
  3. FREの全体的なパフォーマンスはそれほど良くありませんが、一部のユースケースでは実際にパフォーマンスが向上しています。一般的に、特定のユースケースのために、かつては高度なエンジニアリング経験を必要とした特殊なコードを書くコストは大幅に低下しました。

(1)について、偽の40%の速度向上を主張できるほどパフォーマンスを偽装するFREのようなものを作成するために、過去にはかなりの専門知識が必要だったことを考えると、多くの偽の主張を見かけるのも無理はありません。少なくとも、文字列マッチングアルゴリズム、正規表現エンジン、およびまともな一般的なコード最適化とSIMD最適化スキルについてかなりよく理解している必要があります。FREには正規表現をマシンコードにコンパイルするモードもあるため、コンパイラの専門知識も必要になります。今では、数分のタイピングで、そのようなベンチマークチート(チートを望むかどうかにかかわらず)を得ることができます。

(2)について、これが一般化するかどうかは興味がありますが、十分な例を試していないため、まだ判断できません。

(3)について、ほとんど人間の努力なしに作成され、堅牢で既存の、十分にテストされたライブラリよりも遅い、雰囲気でコードされた正規表現ライブラリを使用する理由はありません。そのため、FREの成果物は興味深いものではありません。ここで興味深いのは、かつて希少で特殊で高価だった知識を、LLMがどれだけ代替できるかということです。

過去には、たとえ知識があったとしても、おそらく特定のワークロードに最適化されたカスタム正規表現エンジンを書くことはなかったでしょう。人々がそのようなレベルのカスタマイズを行う大規模なユースケースがいくつかあります。例えば、私がBingインデックスに取り組んでいた頃、コードには複数の異なるコンパイラが含まれていました。なぜなら、それに取り組んでいた人が最大限のパフォーマンスを引き出したかったからです。検索エンジンではコンパイル時間とコンパイル済みパフォーマンスの両方が重要であり、トレードオフは場所によって異なるため、通常のプロジェクトではインタプリタを使用したり、「通常のコード」でデータ構造を直接ウォークしたりする代わりに、カスタムコンパイラを各場所に書くことでパフォーマンスが向上します。それらのコンパイラを書いた人は、正規表現のようなコードに取り組む際に、複数のカスタム正規表現エンジンを書くこともあったかもしれませんが、両方の専門知識と意欲を持っている人はごくわずかであり、ましてや仕事のためにそのような特殊なコードにその時間を費やす自由がある人はさらに少ないでしょう。そのBingエンジニア(当時パートナーレベルのエンジニアで、検索インデックスでの業績によりディスティンギッシュドエンジニアに昇進)のコストを、ループでLLMを実行するコストと比較すると、この種の特殊なコードを書くコストは数桁低下しました。

AIはまだ偽物だと考えている人々は、おそらく記事の最初の部分を読んで、「もちろん、AIは偽物を生成する、だから偽の正規表現エンジンを生成した」と思うでしょう。しかし、結果を見ると、ホールドアウトで世界最速の正規表現エンジンの半分の速度よりも少し悪いパフォーマンスでありながら、多くの実際のワークロードで実際に高速であること(過剰適合のほとんどは特定のベンチマークパターンを特別扱いしたのではなく、同じような形状のものには最適化があるが、他の形状のものにはないというものである)、これは偽の正規表現エンジンとは程遠いです。そして実際、コンパイル時間を無視して繰り返し検索を実行したり、非常に長い検索を実行したりする場合(多くの実際のユースケースで合理的なこと)、ホールドアウトでRust正規表現クレートを実際に上回るネイティブコードコンパイルモードがあります。もしFREで私の目標が、数分で生成できる正規表現エンジンではなく、高速な正規表現エンジンを生成することであったなら、ホールドアウトベンチマークの幅広い範囲でかなり競争力があっただろうと推測します(本番ワークロードの多様なセットで試した場合にのみ見つかるギャップはありますが)。そして、この素早く雑に作られたバージョンでさえ、一部の実際のワークロードでは非常に優れています。

したがって、全体としてFRE正規表現エンジンはRust正規表現クレートよりもパフォーマンスが劣りますが、ワークロードやユースケースに特化することで得られる利点により、場合によっては独自の特殊化された正規表現エンジンを挿入することが合理的になる可能性があり、これはさまざまな種類の低レベルソフトウェアにも当てはまります。AIを最大限に信奉していなくても、数年以内に、データベースのようなより大きなものでも同様のことが起こる可能性があると考えるのはもっともらしいことです。

コメント/修正/議論をしてくれたYossi Kreinin、Jamie Brandon、Peter Geoghegan、Luke Burton、John Spurling、Dennis Snell、Max Bittkerに感謝します。

P.S. ここでの議論によると、LLMを使用すると、何かを少し調べて好奇心を満たすのにかかる時間は大幅に短縮されましたが、それを書き上げてブログに掲載するのに十分な厳密さを持たせるのにかかる時間は実際にはほとんど変わっていません(さまざまな理由で、実際には増加したと考えています)。この結果、これまで以上に多くの分析を行っており、少数の友人と結果を共有していますが、公開はしていません。実験として、通常ブログに掲載するものよりもはるかに低い基準で、物事を非常に迅速に書き上げることを試みています。よりカジュアルな会話で友人に話すようなもので、通常ブログ記事に書くようなものではありません。この記事の目標は、約30分で書き上げることでした。これにより、昼食中にできることになり、時間をかけずに済みます。これについて意見があれば、教えてください!*

もちろん、注意点として、すべての数値が通常よりも間違っているリスクが高くなっています。私は1〜2分ほどベンチマークを1つ調べ、問題を見つけました。その後、別のベンチマークを1分調べ、さらに問題を見つけました。それらは両方とも修正されましたが、これは私が追跡する時間を見つけられなかった他の問題が存在することを示唆しています。しかし、悪いベンチマーク数値に関して言えば、それは非常に現実的です!私がベンチマーク数値を調査するたびに、ここやここで見られるように、数値は間違っています。ベンチマークポカリプスのもう一つの側面は、少なくとも現時点では、LLMは悪いベンチマークを行うのが得意であるということです。そのため、たとえ実際のパフォーマンス改善があったとしても、ベンチマーク設定が合理的であることを確認するためにかなりの注意が払われていない限り、LLM生成のベンチマーク設定からは一般的にそれを知ることはできません。

付録:FREベンチマークの詳細

記事を書き終え、公開する前に見つけたことの1つは、LLMが主張したFREがrebarでRust正規表現クレートよりも40%高速であるという主張も間違っていた、あるいは少なくとも誤解を招くものでした。実際にはrebarベンチマークが実行されるのと同じ方法でベンチマークを実行していませんでした。1分間ベンチマーク結果をチェックした後、2つの問題を見つけました。指示に反して、https://github.com/BurntSushi/rebarで実行されているようにrebarベンチマークを実行するのではなく、LLMがFREがパフォーマンスを向上させる最適化を可能にするインターフェースを変更していたことが判明しました。それを修正した後、FREがRustよりもrebarで1.4倍高速になる代わりに、1.5倍遅く(そしてre2の「わずか」2倍高速)になりました。したがって、元の結果は二重に偽でした。FREはrebarベンチマークに高度に過剰適合していただけでなく、結果には不正行為も含まれていました。

しかし、明るい面としては、これにより、rebarでのFREのパフォーマンス(Rustより1.5倍遅い)とホールドアウトベンチマークでのパフォーマンス(2.4倍遅い)の差が、以前ほど大きく見えなくなったということです。したがって、「LLMにホールドアウトがあることを伝える」トリックは、以前よりもさらに効果的でした。

その後、LLMに数時間かけて山登り(hill climb)をさせると、FREが1.28倍高速であると主張しました。これはわずか数時間のLLM時間で素晴らしい改善のように思えますが、その後、さらに1分かけて不正行為を探すことにし、検索がハイスタック(データ)を見ることなく(?s)^(.*)$のマッチ数をカウントするケースを含む複数の問題を発見しました。不正行為の別のケースは、ベンチマークが1行ずつ実行されることになっているマルチラインgrepを実行したことでした。これらを見つけることは驚くことではありません。これは、エージェントを厳格なガードレールなしで1ヶ月間ループに残しておくと起こることです。これが私の主張をより強くするか、損なうかは不明ですが、これらの問題の別のセットを修正した後、FREは再び1.4倍遅くなりました。エージェントを一晩実行させた後、FREは主張上、再び1.5倍高速になりました。

私の当初の目標は、現在の(公開されている)SOTAエージェントを、ほとんど監視なしで、実際の監視なしで、非自明なコード最適化問題でループで実行した場合に何が起こるかを見ることでした。ベンチマークをより公平にするために物事を修正するのに時間を費やすのではなく、ここで停止し、結果のいくつかのプロットを提示します。

全体として、RustおよびRE2と比較して、FREはrebarベンチマークで優れている傾向がありますが(そして前述のように、その多くは過剰適合によるものです)、すべてではありません(以下のグラフは、エージェントが常に変更を加えているため、記事で言及されている数値と必ずしも一致しません。どのスナップショットも、すぐに時代遅れになる時点での推定値です)。

特定のベンチマークまたは特定のクラスのrebarベンチマークでのパフォーマンスに興味がある場合は、次の表を参照してください(1より大きい比率はFREが高速であることを意味し、1より小さい場合は遅いことを意味します)。

また、正規表現をネイティブコードにコンパイルするのに時間がかかるAOTコンパイラモードもあります。すべてのものにAOTサポートがあるわけではありませんが、ここではサポートされているケースの結果を示します。AOTコンパイラは非常に遅く(コンパイル時間ベンチマークではひどく負けています)、かなりの時間をコンパイルに費やしているにもかかわらず、結果は標準のFRE正規表現エンジンよりも遅いことが多いです(ただし、多くのケースで高速でもあります)。

そして、ホールドアウトベンチマークがあります。前述のように、非AOTFREコードの場合、ホールドアウトでのパフォーマンスはrebarほど良くありません。また前述のように、これはripgrepのようなワークロードであることを考えると、「ホットサーチ」ベンチマークセットは他のものよりも重要である可能性が高いため、FREの結果は全体的なスコアよりも悪いです。

ここで注目すべき点は、コンパイル時間をベンチマークに含めず、繰り返し検索を実行するホールドアウトベンチマークケースでは、AOTFREがベンチマークで優れていることです。多くのユースケースでは、コンパイルに数秒かかる正規表現は望ましくありませんが、これは問題ないケースもたくさんあります。例えば、ripgrepやSilver Searcherのようなものであれば、すぐにマッチを開始できる正規表現で実行を開始し、別のスレッドでコンパイルしてから、コンパイルが完了したときに高速なマッチャーに切り替えることができます。私のCPUの多くが長いripgrep検索に費やされていることを考えると、そのような戦略は私自身の仕事のパフォーマンスを向上させる可能性があります。LLMが登場する前は、最適化正規表現コンパイラを書くのに労力を費やすことは意味がなかったかもしれませんが、これは数トークンで可能になりました。

もう1つの注目点は、この比較はARM GravitonマシンでSVE/SVE2を使用して実行され、FREにはSVE/SVE2最適化が含まれているため、不公平である可能性があります。LLM以前は、あらゆるSIMD命令の組み合わせに対して正規表現を最適化する価値はなかったかもしれませんが、LLMを使用すると、まあまあのSIMD最適化を生成することはかなり簡単です。人間の専門家がここでLLMを一般的に上回ることができることを知っています。例えば、Jay Stellyは、最後にLLMにSIMDコードを生成させようとしたとき、コードを望むほど良くするのに20回以上のイテレーションがかかったと言っています。しかし、一方で、LLMは人間が与えられた時間内に試すことができるよりも多くの最適化を試すことができるため、個々の最適化が人間の専門家が生成するものほど良くなくても、全体としてはかなりうまく機能することができます。

また、この投稿で議論されている過剰適合の問題もあります。文脈によっては、その問題は解決が非常に簡単なものから少し難しいものまであります。私は意図的にここで問題を解決しようとあまりしませんでしたが、例えばこのAzul AIに取り組んでいたときには、過剰な労力をかけずに問題を解決することができました。しかし、これらの多くの大きなベンチマーク主張は、人々が過剰適合を回避しようとほとんど、あるいは全く労力をかけない場合に発生します。LLM以前の時代には、人々は自分のペットプロジェクトがいかに優れているかを示すために、代表的でないマイクロベンチマークを選ぶことがよくありました。これは、少なくとも無意識レベルでは、ベンチマークへの過剰適合を避けるためのマイナスの努力を含んでいます。人間の性質上、人々が誤解を招く主張をやめるとは思えませんし、誤解を招く主張をすることがかつてないほど容易になったため、当然ながらそれらがより多く見られます。

この投稿では非AIソフトウェアについて議論しましたが、ここで述べられていることはすべてAIソフトウェアに二重に当てはまります。例えば、多くの人々がKimi K3はFable(5)レベルだとコメントしているのを見かけました。しかし、それを使用した私が知るすべての人は、GPT-5.6 SolやFableよりも大幅に劣ると感じています。それが印象的なエンジニアリングの成果ではないとは言いませんが、幅広い現実世界のタスクでのパフォーマンスは、ベンチマークでのレベルには達していません。これは、評価的な問題にも当てはまります。例えば、友人がICFP 2026コンテストの問題でさまざまなコーディングエージェントを試したときのことです。セキュリティ問題にも当てはまります。AIラボが評価に含めていることは間違いありません。例えば、同僚がKimi K3を使用して私たちのソフトウェアの脆弱性をスキャンしたところ、GPT-5.6 Solが見つけた脆弱性の約4分の1しか見つけられず、GPT-5.6 Solが見つけなかった脆弱性は見つけられず、コスト以外のどの次元でも利点はありませんでした。より安価なモデルを使用して実際のセキュリティ上の問題を見つけている人々は、ベンチマークでは劣るが実際にはより良いパフォーマンスを示す他のモデル、例えばGLM-5.2を使用しています。

FREに戻ると、もう1つの注意点として、ホールドアウトベンチマークは、エージェントが不明な理由で選択したripgrepベンチマークセットの任意のサブセットです。エージェントにベンチマークスイート全体をプルするように依頼しましたが、この記事の公開には間に合わなかったため、完了したときの結果がどうなるかはわかりません。


  1. 面白いことに、私は人々が最も懐疑的であるプロジェクトの一部に信頼を置いています。例えば、pgrustを見るたびに、多くの懐疑的なコメントがあります。しかし、彼が何を最適化しているかの詳細を見ていないにもかかわらず、彼らがベンチマークで何か怪しいことをしていないと信頼するでしょう。なぜなら、Michael Malisがプロジェクトを開始し(そしてまだ関与しています)、そのプロジェクトを始めたからです。かつては私のレーダーに引っかかるほとんどのベンチマーク主張を詳細に調べていましたが、今ではそれらが非常に多く、実際にそれを行う時間がなく、一般的に主張は精神的には(技術的に正しくても)偽であると仮定しています。もちろん、これは時々間違っているでしょう(例えば、Michael Malisを知らなかったら、pgrustは単なる低品質の「LLMにこれを書き直させる」プロジェクトだと推測したでしょう)。しかし、LLMは人間の注意をDoSするための信じられないほどのマシンであり、他にどうすればよいかわかりません(LLMにパフォーマンス主張を分析させようとしましたが、結果は自分で何かを調べた場合に考えることと相関していますが、結果はしばしばかなり間違っています)。

誰かが、人々が理解するのに数分から数時間かかるものを、数秒(または、適切なフレームワークを使用している場合は、実際には時間をかけずに)で生成できます。これは別の投稿のトピックですが、職場でのこの種の経験について人々と話したところ、このようなことに対する規範が悪い企業は今日、生産性で本当に苦労しています。

[戻る]
2. これはすべてのrebarベンチマークの幾何平均を指しています。これはおそらく使用すべき正しいメトリックではありません。なぜなら、これは暗黙的に各ベンチマークが同じ重要性を持っていることを意味しますが、おそらくそうではないからです。SPEC CPUのようなものとは異なり、rebarベンチマークは、全体的なパフォーマンスを表そうとする意味のある要約メトリックを得るという位置づけではありません(リポジトリには実際、「キュレーションされたタスクセットで一部の正規表現エンジンの相対速度を測定するための偏ったバロメーター」と記載されています)。しかし、有用な要約メトリックを得るには、人々が実際に正規表現をどのように使用するかについて多くのことを知る必要があります。そして、私はそれについてほとんど何も知りません。私の知る限りでは、正規表現が適用されるさまざまな方法があるため、2つ(SPEC CPUのSPECfpとSPECintのように)または10または100の異なる数値を必要とするかもしれません。

[戻る]
3. 最初に見たいくつかの正規表現ベンチマークはすでにrebarに組み込まれていたため、ホールドアウトとしては機能しませんでした。そして、前述のように、現在のSOTA LLMはベンチマークを行うのがあまり得意ではありません。そのため、ベンチマークスイートの品質を判断するのに十分な正規表現パフォーマンスに関する知識がない限り、LLMがホールドアウトベンチマークを考案することを信頼することはできませんでした。私は文字列マッチングアルゴリズムや正規表現パフォーマンスについてほとんど何も知らないため、それも不可能でした。

BurntSushiはripgrepとそのベンチマークも維持しており、それらはrebarにバンドルされていないほど大規模なベンチマークであるため、それらをホールドアウトとして使用しようとしました。

[戻る]