あなたのモデルはすでに答えを知っている:ベンチマークの回答がLLMに漏洩する方法
Your model already knows the answer: how benchmark answers leak into LLMs (elman.ai)
要約
AIモデルの評価において、実世界の問題に対する既知の答えを使ったベンチマークは、モデルの推論能力を測るのに理想的ですが、同時に「汚染」の問題を抱えています。モデルが学習データで既に質問やその答えに触れている場合、高いスコアは推論によるものか、単なる記憶によるものか区別がつきません。この記事では、この「汚染」が入力漏洩、ベンチマーク漏洩、結果漏洩の3つの経路で発生するメカニズムを解説し、特に実世界の結果に基づくベンチマークにおける結果漏洩の深刻さと、それを防ぐためのアプローチについて論じています。
全文翻訳
あなたのモデルはすでに答えを知っている
エッセイ · 2026年7月30日
Francesco Moramarco • Co-founder, Elman
AIモデルの最良のテストは、答えがわかっている現実世界の問題です。それは同時に、最も簡単に不正ができるテストでもあります。AIモデルはインターネットの大部分を読み込んでいるため、あなたが質問するずっと前に、質問、答え、あるいはその両方に出会っている可能性があります。その場合、高いスコアは2つの非常に異なるものを隠しています。それは、モデルが推論して答えにたどり着いたのか、それともすでに読んだものを繰り返しているだけなのか、ということです。それらを区別することが「汚染問題」であり、この分野が依存している驚くほど多くのベンチマークの下に潜んでいます。
モデルが新薬の臨床試験の成功をどれだけ確実に予測できるかを知りたいと想像してみてください。数年待って新しい試験結果を待つ代わりに、すでに終了した試験でテストします。つまり、後期段階の試験に到達した薬剤プログラムを取り上げ、それぞれの結果を隠し、モデルに予測させます。表向きはクリーンで迅速なテストであり、実際の成果で採点されるように見えますが、そうではありません。テストする価値のある試験は、しばしば有名なものであり、その結果はモデルが学習した教科書、レビュー、ニュース、特許全体に繰り返し登場します。モデルが薬の成功を予測したとき、そのスコアは、モデルが推論してそこにたどり着いたのか、それとも名前を認識して何が起こったかを思い出したのかを区別できません。
臨床試験は私たちの分野ですが、この落とし穴は一般的です。それは、金融、法律、予測など、結果がすでに公開されているあらゆる分野で、解決済みのイベントから構築されたベンチマークに発生します。これらのベンチマークは、現実の結果が専門家が発明できるものよりも優れたテストケースであるため、良い理由で公開された歴史から構築されています。それは、単に質問作成者が尋ねようと思ったことだけでなく、真の生物学と薬が失敗する現実の方法を反映しているからです。それらの結果は、私たちが採点したいゴールドスタンダードであり、公開されていることがまさにそれらが漏洩する理由です。では、どうすればよいでしょうか?
答えがモデルに入る3つの方法
答えは3つの経路でモデルに到達します。この分類は、問題の整理方法であり、確立された基盤を持つ各経路に名前が付いているわけではありません。
[画像: 3つの並列パネル、それぞれ1つの漏洩を示し、答え(赤色のチェックマークバッジとして描かれている)が同じモデルにどのように到達するかを示しています。入力漏洩、テスト時:決定日以降の日付のドキュメントが直接モデルの入力に読み込まれます。ベンチマーク漏洩、トレーニング中:あなたのテストケース(答えが赤でマークされた質問と回答カードとして描かれている)が、モデルが学習するトレーニングデータにコピーされます。結果漏洩、トレーニング中:論文、ニュース、特許の公開記録が、その結果を同じトレーニングデータに運びます。3つすべてで同じ答えが同じモデルに到達し、2つの漏洩はトレーニング中に組み込まれ、1つはテスト時に到着します。]
図1。3つの漏洩、並列表示。各パネルの赤いマークは、モデルが予測すべき答えです。入力漏洩はテスト時に、そのケースのためにモデルが読み取るドキュメント内で発生します。ベンチマーク漏洩は、あなたのテストファイルがトレーニングデータに引き込まれることです。結果漏洩は、トレーニング中に論文、ニュース、特許から学習した公開結果です。3つすべてで同じ答えですが、経路だけが異なります。
入力漏洩はテスト時に発生します。モデルが目の前のケースのために読み取るドキュメントを通じて起こります。あなたがそれらのドキュメントをフィードする場合でも、モデルが検索ツールでそれ自体を取得する場合でも同様です。決定日以降に書かれたドキュメントは、モデルが予測すべきまさにその結果を発表する可能性があり、それは未来を読むことと同じです(Kaufman et al., 2012)。
ベンチマーク漏洩は、モデルがあなたのベンチマークの後にリリースされ、モデルがベンチマークセット自体でトレーニングされ、質問と回答の両方を記憶している可能性がある場合に発生します。これは、ベンチマークが時間とともに劣化する最も一般的な方法です。Balloccuらは、GPT-3.5およびGPT-4のリリースから1年以内に400万を超えるテストサンプルが漏洩したことを追跡しました(Balloccu et al., 2024)。他の研究者が小学校レベルの数学の問題セットをゼロから書き直したところ、いくつかのモデルファミリーは新しいバージョンで著しく低いスコアを示しました(GSM1k, Zhang et al., 2024)。
結果漏洩は、結果自体が公開された事実であり、モデルがそれについてトレーニングされている場合に発生します。完了した試験、規制当局の承認、または成功した薬は、何千もの論文や申請書に繰り返し登場し、モデルはトレーニング中にそれを吸収します。事前トレーニング中であっても、その後のファインチューニング中であっても、あなたの特定のベンチマークとは一切接触しません。モデルは、戦争が終わった年のような、広く報告されている他の事実を保持するのと同じ方法で、結果を保持するようになります。その結果、モデルがまだ見たことのない完全に新しいテストセットを作成し、与えるすべての入力の日付を隠しても、モデルはその有名な薬が成功したことを知っているでしょう。ベンチマークを秘密にしても役立ちません。なぜなら、答えはそもそもあなたのファイルに含まれていなかったからです。それはすでにモデルの世界に関する一般的な知識の一部でした。
新しい結果を待つことは機能するが、結果が10年先の場合はそうではない
あらゆる種類の漏洩を防ぐ最もクリーンな方法は、歴史に対するテストを完全に中止し、まだ発生していないイベントに対してのみモデルを採点することです。そうすれば、漏洩する答えは単純に存在しなくなります。ライブベンチマークは、固定スケジュールで質問を更新します(LiveBench, White et al., 2024)。ForecastBenchのような予測ベンチマークは、テスト時にまだ解決されていないイベントに対してモデルを採点します(ForecastBench, Karger et al., 2024)。CT Openは、結果が公開される前にモデルを臨床試験で採点するライブプラットフォームです。予測は各チャレンジが開く前に提出され、専門家の注釈に対して検証された自動パイプラインが各結果の最も早い公開言及を検索するため、予測が行われたときに答えが見つからなかった場合にのみ試験がカウントされます(Wang et al., 2026; ct-open.net)。試験結果は年間を通じて発表され、CT Openは年4回採点します。私たちが気にする決定はより遅いものです。10億ドルの費用がかかるコミットメントは、それを決定する読み取りから約10年前に取られるため、その決定をライブベンチマークにかけ、最初のスコアは2036年に到着します。
したがって、私たちは歴史、そしてそれに伴う結果漏洩に囚われています。そこで、知っておく価値のある8つの方法が残ります。それぞれが漏洩を防ぐか検出します。しかし、より重要な区別は、どの3つの漏洩に対処するかです。分野の作業のほとんどはベンチマーク漏洩を対象としていますが、現実世界の結果から構築されたベンチマークの場合、最も重要な方法は結果漏洩を対象とした3つです。
[画像: 8枚のカード、それぞれ1つの方法、各方法が対処する漏洩によって3行に配置されています。入力漏洩、1枚のカード:日付制限付きツール。決定日より前の日付のドキュメントは通過し、それ以降の日付のドキュメントはブロックされます。ベンチマーク漏洩、4枚のカード:新規またはプライベートテストセット。トレーニングから除外されたロックされたファイル。メンバーシップ推論。モデルがテキストを見たかどうかのスパイクを示す流暢さバー。摂動。スコアが低下するように数学の問題を言い換えたもの。ウォーターマークとカナリア。モデルが繰り返し再生する埋め込まれたマーカー。結果漏洩、それぞれが対処する漏洩によって色付けされた3枚のカード:カットオフギャップ。トレーニングカットオフ前の高い精度バーとそれ以降の低いバー。認識テスト。Drug Xの名前を隠すと、判断が反転します。推論の採点。ケースより前のソースに裏付けられた3つの主張、そのうちの1つが失敗します。]
図2。8つの各方法の仕組み、それが取り組む漏洩によってグループ化されています。2つの防止方法は漏洩が発生する前に停止します。6つの検出方法は漏洩が発生した後に捕捉します。解決済みの結果から構築されたベンチマークの場合、下段の3つの結果漏洩方法は最も重要です。
それぞれの漏洩に取り組む方法でグループ化された8つの方法
入力漏洩:ソースで遮断する。
- 日付制限付きツールは、モデルに検索・取得ツールを提供し、決定日以降に公開されたものは拒否します。例えば、日付制限付きのウェブ検索です。予測システムはすでにこの方法で機能しており、質問の決定日より前に公開されたニュースに取得を制限しています(Halawi et al., 2024)。これは入力漏洩を閉じる唯一の手段であり、ソースで機能するため、後で検出するものは何も残りません。ソースが持つ日付にのみ依存するため、実際にはオープンウェブよりも信頼性の高い公開日を持つ学術ソースに依存します。
ベンチマーク漏洩:モデルがあなたのファイルを見たかどうか。
- 新規またはプライベートテストセットは、クリーンな方法です。モデルがトレーニングされていないケースでテストするか、セットを公開しないでおけば、誰もトレーニングできません。多くの新しいベンチマークは、まさにこのルートを取っており、各モデルのトレーニングカットオフ後にリリースされた新しい問題を作成して、テストセットがトレーニングされていないようにしています(LiveCodeBench, Jain et al., 2024)。
この漏洩に対する他の3つの方法は、事後に検出を試みます。これらは分野で最も発展した部分を構成していますが、公開された結果のベンチマークにとっては8つの中で最も有用性が低いです。なぜなら、モデルは特定のファイルを見たかどうかに関わらず、結果を完全に知っている可能性があるからです。
-
メンバーシップ推論は、モデルが特定のテキストを見たかどうかを、各単語に対する信頼度(シーケンス内の各トークンの対数確率)をチェックすることで検出します。モデルはトレーニングしたテキストに対して異常に流暢であるためです(Min-K%, Shi et al., 2023)。私たちにとっては2つの点で弱いです。1兆語でトレーニングされたモデルの統計に単一のファイルがほとんど影響を与えないため、信号は偶然に近いものです。また、この方法はモデルの単語ごとの確率を必要としますが、すべてのプロバイダーがそれを公開しているわけではありません(AnthropicのAPIは何も返さないため、SaMIA, Kaneko et al., 2024のようなサンプリングベースの回避策が必要になります)。いずれにしても、モデルがあなたのファイルを見たかどうかしか教えてくれません。答えを知っているかどうかは教えてくれません。
-
摂動は、ベンチマークの質問を言い換え、その真の答えを維持した上で、精度が低下するかどうかをチェックします。精度の大きな低下は、モデルが推論ではなく記憶された言葉遣いに一致していたことを意味します。GSM-Symbolicは、数学の問題の数値を入れ替えることでこれを実行し、マスターしたように見えたモデルを捕捉します(Mirzadeh et al., 2024)。これは、言い換えられた質問がまだ計算できる答えを持っている場合に機能します。しかし、実際の試験では計算できるものはありません。薬や患者グループを変更すると、実行されなかった試験を記述することになり、その結果がどうなったかは誰も知りません。
-
ウォーターマークとカナリアは、リリース前にベンチマークに隠されたマーカーを埋め込みます。モデルが後でそれを再現した場合、ファイルでトレーニングされたことになります。古典的な例は、BIG-benchに埋め込まれたカナリア文字列です。ベンチマークをプライベートに保つのと同様に、これは公開していないベンチマークしか保護せず、モデルがトレーニングするずっと前から公開されていた結果には何も影響しません。
結果漏洩:モデルがすでに結果を知っているかどうか。
最後の3つは、すでに解決されたケースから構築されたベンチマークにとって重要なものです。なぜなら、それらはモデルが特定のファイルを見たかどうかではなく、結果漏洩を直接対象としているからです。
-
カットオフギャップは、トレーニングカットオフ前に決定されたケースとそれ以降に決定されたケースに対するモデルの精度を比較します。カットオフ前は強く、カットオフ後は偶然に近い場合は、記憶された結果の兆候です。実際のスキルは、ケースが日付のどちら側に位置するかを気にするべきではないからです。研究者たちは、金融予測や公開日に関連する知識に対してこの分割を実行しました(Lopez-Lira et al., 2025; Roberts et al., 2023)。これは設計上の選択ではなく診断ツールです。そのため、カットオフ後のケースのみを採点したり、入力の日付を隠したりすることとは異なります。これは、両方の半分が同一に構築されている場合、またはフォーマットの変更を測定する場合にのみ機能します。
-
認識テストは、モデルが証拠ではなく認識に基づいて動作しているかどうかを3つのバリエーションで尋ねます。サポート資料なしで結果を尋ねる、エンティティの名前を隠して事実を維持する、または名前だけを与えて他は何も与えない。真に推論するモデルは、名前が隠されたときに安定し、証拠が削除されたときに無力になるはずです。一方、有名な名前に依存するモデルは逆を行います。この方法で名前を隠した、腫瘍学ターゲットの研究では、モデルのトップピックの約6分の1が変化しましたが、検証されたターゲットの回復は変わりませんでした(Cuccarese, 2026)。この論文の注意点は、これにより盲検化された回答がより良くなるわけではないということです。なぜなら、遺伝子名には実際の生物学が宿っているからです。しかし、盲検化なしでは、回答のどれだけがページ上のデータから来て、どれだけがモデルの名前の記憶から来たのかを判断できないということです。この数値は、それぞれ1回の実行で4つの適応から来ています。
-
推論の採点は、最終的な答えを無視し、その背後にある議論を評価します。各主張が決定日より前に存在したソースに基づいていることを確認します。なぜなら、結果を記憶しただけのモデルはそれを述べることができますが、それに対する日付付きの根拠を構築することはできないからです。私たち自身の方法はここにあります、レシートテスト:モデルにレシート、つまり決定日時点で利用可能な証拠のみを使用した、日付付きで検証可能な根拠を示させます。証明できない正解をミスとしてカウントし、正解した頻度と証明できる頻度の間のギャップを追跡し、推測する代わりに「まだ不明」と答えさせます。日付付きソースに対する推論の採点は確立されています(process supervision, Lightman et al., 2023)。TimeSPECは予測を原子的な主張に分解し、決定のどれだけがカットオフ後の情報に基づいていたかを報告します(Zhang et al., 2026)。
どの方法もモデルが完全にクリーンであることを証明できない
どの方法も、モデルが完全にクリーンであることを証明できません。防止策が最も近い方法です。日付制限付きツールは、日付後のドキュメントを除外するように構築されており、モデルがトレーニングしていないテストセットはあなたのファイルを通じて漏洩しないため、これらの2つの漏洩は検出されるだけでなく設計によって排除できます。結果漏洩は、あなたが閉じることのできないものです。重みが全く助けにならなかったことを証明する方法はなく、明白に助けになったケースを捕捉することしかできません。各方法には独自の盲点があり、2つの防止策でさえ万全ではありません。日付制限は、信頼する公開日にのみ依存し、新規テストセットは、モデルがすでに広範な文献から吸収した結果には何の影響も与えません。これは私たちの経験だけではありません。1931年以前のテキストのみで言語モデルをトレーニングする独立した取り組みでさえ、時間的漏洩を最も重要な目標として指定し、それを強制する目的で構築された時代錯誤フィルターを備えていましたが、それでも第二次世界大戦が起こったことを知っているモデルを生成しました(Talkie, Levine et al., 2026)。データクリーンを目的とした場合でも、汚染フィルターは漏洩します。メンバーシップ推論は大規模では弱く、ウォーターマークはファイル自体を保護しますが、公開された結果は保護しません。摂動は、実際の試験では提供されない、再生成可能な答えに依存します。カットオフギャップは、質問フォーマットが境界を越えてドリフトすることを許可された場合、フォーマットの測定値に崩壊します。名前の盲検化は、実際の生物学も生成するであろう変化をフラグ付けしますが、推論の採点は、モデルがすでに知っていた答えから逆算して構築された流暢な議論によって打ち負かされる可能性があります。これらの理由から、私たちは単一の方法に依存せず、複数の方法を組み合わせて実行し、それらが矛盾するケースに特に注意を払います。これにより、信頼できない数値を擁護できる数値に変えることができます。解決済みの結果から構築されたベンチマークの場合、価値のある3つの方法は、結果漏洩を対象としたものです。
あらゆる漏洩に耐えうるベンチマークを構築している
私たちが薬剤開発の結果のために構築しているベンチマークは、これらの漏洩すべてに同時に耐えなければなりません。なぜなら、採点する価値が最も高いケースは、まさにモデルが最も記憶している可能性が高い有名なケースであり、新しい結果を待つために10年待つことは現実的な選択肢ではないからです。
私たちは一人ではありません。CT Openはライブ化することで結果漏洩を回避しています(Wang et al., 2026)。TimeSPECはトレースを採点します(Zhang et al., 2026)。MemGuard-Alphaは、金融バックテストから記憶された信号をフィルタリングします(Roy and Roy, 2026)。これら3つすべてが、予測が正しかったかどうかを採点しますが、試験がそのようになった理由までは採点しません。薬剤開発者は、判断に基づいて行動することはできません。メカニズムが、変更するメカニズムだからです。ターゲット、コホート、患者を選択するバイオマーカーなどです。したがって、私たちが採点しているのは、主張するよりもテストしたいという賭けに基づいています。モデルは、推論する必要のなかったメカニズムよりも、判断をはるかに簡単に記憶できるということです。
薬剤発見やその他の分野で、歴史的データに基づいてモデルを構築または評価している場合は、記憶を捉えるものと何がすり抜けるのかを教えてください。特に、ここで書いたことと矛盾する場合です。そして、正確な日付が付いた結果データを持っている場合は、それがこの種のベンチマークの原材料です。ぜひお聞かせください!
次の記事を取得
Elmanからの薬剤開発AIとモデルについて証明できることに関する新しい記事。月に1回まで。いつでもワンクリックで購読解除できます。メールのみを保存し、他は何も保存しません。私たちのプライバシーノートをご覧ください。
Francesco Moramarco
Elman Bioの共同創業者 · francesco@elman.ai
レビューにMoustafa Khedrに感謝します。