AI・機械学習

最先端モデルは物理学においてどの程度優れているのか？

How good are frontier models at physics? (arxiv.org)

79 pointsby qt314159262026年9月17日36 コメント

要約

最先端の言語モデルは物理学のベンチマークで低いスコアを示すとされていましたが、専門家による詳細な監査の結果、多くの「間違い」はモデルの誤りではなく、評価手法や参照解答の不備に起因することが明らかになりました。これらの問題点を修正したところ、モデルの物理問題解決能力は大幅に向上し、現在のベンチマークがモデルの真の能力を過小評価している可能性が示唆されました。今後は、より高度で専門家が検証した評価手法が必要とされています。

全文翻訳

コンピュータサイエンス > 人工知能

arXiv:2609.13009 (cs)

[2026年9月11日提出 (v1)、最終更新2026年10月17日 (本バージョン、v2) ]

フロンティアモデルは物理学にどれほど強いのか？専門家による再採点が、不備のある評価と主要ベンチマークの飽和状態を明らかにする

著者: Ali Ansari, Haoran Sun, Andy Zeyi Liu, Mark Jabbour, Yongshan Ding, Steven Girvin, Yu He, Sohrab Ismail-Beigi, Aleksander Kubica, Owen D. Miller, Corey O'Hern, Vidvuds Ozolins, David Poland, A. Douglas Stone, Frank C. van den Bosch, Logan Wright, Navid Akbari, Santanu Antu, Kangle Cai, Andrew Calabrese-Day, Mateo Cárdenes Wuttig, Meng Cheng, Barry T. Chiang, Ali Ghorashi, Shouzhen Gu, Haoyang Huang, Zhibo Kang, Lukas Kienesberger, Hantian Liu, Charles Lomba, Zhongling Lu, Wenchao Ma, Rohin E. McIntosh, Evan McKinney, Ivan Rojkov, Xulei Sun, Yarone Meir Tokayer, Naveen Balaji Umasankar, Mira Varma, Leda Wang, Qimin Wang, Tyler Wang, Haoyu Wei, Jinming Yang, Jinchen Zhao, Sherlock Tingrui Zhao, Qinyuan Zheng, Jay S. Zou, Lucas Baker, Arman Cohan, John Sous

How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks というタイトルの論文のPDFを表示します。著者: Ali Ansari および 50名の共著者

PDFを表示 HTML (実験的) TeXソース

要旨: 人工知能インデックス（2026年）でも取り上げられている主要な物理学ベンチマークにおける低い報告スコアは、フロンティア言語モデルが依然として高度な物理学に苦戦していることを示唆しており、これは科学的推論と定量的問題解決能力を試す厳しいテストとなります。しかし、この印象は、これらのモデルを自身の研究で利用している分野専門家の経験と必ずしも一致しません。私たちは、6つの広く使用されている物理学ベンチマークでフロンティアモデルを評価し、専門家による監査を行うことで、これらの報告された結果を再検討します。特に、検証可能な最終解答を持つテキストのみの問題に焦点を当てます。物理学の各サブ分野について、関連する専門知識を持つ教員や大学院研究者が、問題文、参照解答、およびモデルの応答を注意深くレビューし、モデルの真のエラーと、採点者のエラー、不正確な参照解答、曖昧または不十分な質問を区別します。監査されたケースのほとんどは、当初は不正確と評価されていましたが、モデルの物理推論のエラーではなく、これらのベンチマークの問題を反映していました。次に、専門家にこれらのベンチマークの問題に対処してもらい、誤った参照解答を修正し、欠陥のある質問を修復または除外してもらいます。その結果、GPT-5.6-SolのHLE-Physicsにおける平均@4（mean@4）は47.3%から78.7%に、CMT-Benchmarkでは61.0%から87.2%に上昇することがわかりました。また、専門家によるレビュー後に保持された54のCritPtチャレンジでは、修正されたパス@4（pass@4）が94.4%に達しました。UGPhysics、PRISM-Physics、PHYBenchの監査済みサブセットにおけるスコアも、修正後に大幅に上昇しました。これらの発見は、現在のベンチマークが、適切に定式化された物理学の問題を解くフロンティアモデルの能力を大幅に過小評価していることを示唆しています。これらのクローズドエンドタスクにおける飽和状態の近さは、より要求の高い、専門家による検証を経た評価の必要性を浮き彫りにしています。


科目:	人工知能 (cs.AI)
引用:	arXiv:2609.13009 [cs.AI]
	(またはこのバージョンについては arXiv:2609.13009v2 [cs.AI])
	https://doi.org/10.48550/arXiv.2609.13009 DataCite経由のarXiv発行DOI