AIベンチマークが停滞するとき:ベンチマーク飽和の体系的な研究
When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation (arxiv.org)
要約
本研究は、AIベンチマークがモデルの進歩を測定する上で重要である一方、急速に飽和してしまい、モデル間の差別化を困難にしている現状を分析します。60の言語モデルベンチマークを対象に、約半数が飽和状態にあり、その割合はベンチマークの経過年数とともに増加することが明らかになりました。また、飽和への耐性は、公開テストデータではなく、専門家によるキュレーションに影響されることが示唆されています。
全文翻訳
タイトル: AIベンチマークが飽和する時:ベンチマーク飽和に関する体系的な研究
著者: Mubashara Akhtar, Anka Reuel, Prajna Soni, Sanchit Ahuja, Pawan Sasanka Ammanamanchi, Ruchit Rawal, Vilém Zouhar, Srishti Yadav, Chenxi Whitehouse, Dayeon Ki, Jennifer Mickel, Leshem Choshen, Marek Šuppa, Jan Batzner, Jenny Chim, Jeba Sania, Yanan Long, Hossein A. Rahmani, Christina Knight, Yiyang Nan, Jyoutir Raj, Yu Fan, Shubham Singh, Subramanyam Sahoo, Eliya Habba, Usman Gohar, Siddhesh Pawar, Robert Scholz, Arjun Subramonian, Jingwei Ni, Mykel Kochenderfer, Sanmi Koyejo, Mrinmaya Sachan, Stella Biderman, Zeerak Talat, Avijit Ghosh, Irene Solaiman
要旨: 人工知能ベンチマークは、モデルの進歩を測定し、デプロイメントの決定を導くための重要なメカニズムです。しかし、ベンチマークはすぐに「飽和」し、モデル間の差別化を困難にし、その長期的な価値を低下させます。本研究では、ベンチマーク飽和を定義し、飽和に関連する14の特性を用いて60の言語モデルベンチマーク全体でそれを分析します。我々は、ベンチマークのほぼ半数が飽和を示しており、その割合は経過年数とともに増加することを発見しました。さらに、飽和への耐性は、公開テストデータではなく、専門家によるキュレーションによって影響されることを発見しました。我々の結果は、設計上の選択がベンチマークの寿命を延ばし、より耐久性のある評価アプローチを inform できることを示唆しています。
| コメント: | ICML 2026 (第43回国際機械学習会議) で発表 |
| 件名: | 人工知能 (cs.AI) |
| 引用: | arXiv:2602.16763 [cs.AI] |
| (またはこのバージョンについては arXiv:2602.16763v4 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2602.16763 DataCite 経由の arXiv 発行 DOI |
提出履歴
From: Mubashara Akhtar
v1 Wed, 18 Feb 2026 16:51:37 UTC (222 KB)
v2 Sat, 30 May 2026 16:41:50 UTC (640 KB)
v3 Mon, 29 Jun 2026 17:01:58 UTC (636 KB)
v4 Thu, 6 Aug 2026 17:25:29 UTC (636 KB)