OpenAIの数学的結果の評価
Assessment of open AI math results (twitter.com)
要約
この記事は、OpenAIが数学的なタスクで示した結果を評価する内容です。具体的な評価基準や、どのような数学的問題に対する結果が分析されているかについて論じられています。
全文翻訳
Xにログインまたはサインアップ
[画像: @stalkermustang]
これらのタスクの複雑さを一般の人が理解するのは困難です。私は数学者ではありませんし、例えば結果3と10の違いも分かりません。そこで、GPT-5.6 Sol ProとFable 5 Maxに、@EpochAIResearchのOpenMathの評価基準を使って分類させました。
- Solid Result: その分野の優秀な研究者が、自身の平均的な成果がこのレベルの問題に対処できれば満足するでしょう。しかし、その問題がサブフィールド外で大きな注目を集めることはないでしょう。
- Major Advance: 数学の広範な分野(数論やグラフ理論の規模)で活動する平均的な研究者は注目し、少なくとも解決策の概要を理解するために時間を割くでしょう。
- Breakthrough: たとえ自分の専門分野外であっても、平均的な数学者はこの結果を知りたいと思うでしょう。数学全体におけるその年の最優秀成果候補となるでしょう。
FableとSolはともに、#3が「Breakthrough」であるという点で一致しています(これが@SebastienBubeckがツイートの冒頭でそれを取り上げている理由を説明しています)。また、少なくとも7つが「Major Advancements」であることでも一致しています。Fableは#7を単なる「Solid Result」と考えていますが、Solは「Major Advance」というラベルを付けています。
興味深いのは、公式のEpoch.AIの評価基準では次のように述べられていることです。
複数のティアが問題に適合する可能性がある場合、私たちは保守的な方向に誤りを犯しました。解決された問題の重要度を下げることは残念なことですが、解決策の予期せぬ興味深い要素はいつでも強調できます。
そして、Fable 5は、少なくとも3つの結果(#1、#4、#9)が「Borderline Breakthrough」であると考えています。@AcerFurさん、これについて何か考えはありますか?
[画像]
[ @polynoamial ]
@OpenAIの次期主要モデルファミリーであるAstraの内部バージョンは、数学、量子計算複雑性、理論計算機科学における10の未解決問題を解決しました。私たちはこれが科学的推論における大きな一歩となると信じています。openai.com/index/ten-adva…
[画像]