AI・機械学習
LLMはどのような数学を得意としているのか?
What sort of maths are LLMs good at? (gowers.wordpress.com)
要約
この記事は、LLM(大規模言語モデル)が数学、特に証明や反例の発見においてどのような能力を発揮するかを考察しています。OpenAIの最近の数学分野での成果を踏まえ、LLMが特定の種類の問題、例えば反例を見つけることに長けている可能性について、数論や関数解析の例を挙げて議論しています。しかし、反例の定義の曖昧さや、LLMの能力は急速に進化するため、現時点での評価は暫定的なものであることを示唆しています。
全文翻訳
誰かがこのブログ記事を遠い未来(例えば1ヶ月後)に読むかもしれないので、OpenAIが群論における非ソフィック群の最初の構成や、多色ラムゼー数(3つの場合)が指数関数的に増大するという証明を含む、数学と理論計算機科学における10の主要な問題を解決したと発表した数日後にこの記事を書いていることを明記しておきます。
最初の問題は、私が参加した様々な講演から判断すると、群論における最も重要な未解決問題の一つであり、2番目の問題はラムゼー理論における主要な未解決問題で、私の生涯で解決されるとは必ずしも予想していませんでしたが、もちろんそのような期待は今や修正されなければなりません。
タイミングを明確にしたい理由は、LLMの現在の能力について議論する際に、それらが急速に変化し続けるという期待を抱いているからです。そのため、私が書いたことに何か興味深い点があるとすれば、それはおそらく2026年初頭の状況を記録したものとして、それほど遠くない将来に興味深いものになるでしょう。
これらの結果、そしてリストにある他の8つの結果は、驚くほど印象的ですが、LLMが数学のすべての側面において、すべての人間よりも優れているとはまだ思えません。もしそうであれば、彼らの人間に対する大きな速度の利点は、結果の洪水がもっと多くなることを意味するはずです。したがって、LLMが得意とする問題の種類、そしてまだ改善の余地があるのはどこかについて疑問に思うのは自然です。
私はこの質問に対して、現在の例によく合う的確な分類という、良い答えを持っているとは主張しませんが、いくつかの悪い答えを排除し、証拠によって明白に矛盾しない可能性のある答えを特定しようとすることは興味深い演習です。
LLMは反例を見つけるのが特に得意なのでしょうか?
ここで最初の remarks は、LLMは単に反例を見つけるのが得意なだけでなく、難しい命題の証明も見つけることができるということです。しかし、彼らが解決した最も有名な問題のほとんどが、証明よりも反例によってであったことは注目に値します。これは上記の2つの問題、そしてヤコビ予想や単位距離予想にも当てはまります。
もしLLMが特に反例を見つけるのが得意であると理論化したいのであれば、その理論をより説得力のあるものにするために行うと良いことが2つあります。最初のものは問題がないように聞こえるかもしれません。それは、いつ問題を解決することが反例を見つけることを意味するかを決定することです。それが整理されたら、2番目は、なぜLLMがその特定の種類の問題を解決するのに特に適しているのかについての潜在的な説明を考え出すことです。
反例を見つけるとはどういうことでしょうか?
なぜ私が反例を見つけることが、完全に明白ではないと示唆しているのでしょうか?確かに、あなたは「そのような種類のすべてのオブジェクトは、そのような性質を持っている」という形式のステートメントを持っており、その性質を持っていない指定されたタイプのオブジェクトを提示するだけだと提案するかもしれません。
しかし、これは常にうまくいくわけではありません。ヴィノグラードの有名な結果を考えてみましょう。これは、十分に大きいすべての正の整数は3つの素数の和であると述べています。このステートメントの否定は、(またはそれに相当するのは)すべての正の整数に対して、3つの素数の和ではない整数が存在するというステートメントです。言い換えれば、それはすべての正の整数がある性質を持っていると述べています。この観点から見ると、ヴィノグラードはこの性質を持っていない正の整数を見つけました。私たちは、ヴィノグラードが反例を見つけたと言うべきでしょうか?明らかにそうではありません。その結果は、反例ではなく定理として分類されるべきです。
したがって、LLMは特に普遍的に量化されたステートメントを否定するのが得意だとは単純に言えません。普遍的な量化の性質に関する何かがなければなりません。
3つの素数の例では、ヴィノグラードが「この性質を持つものをどうやって見つけようか?」と考えたのではなく、むしろ「私は非常に大きな整数を持っている。どうやってそれを3つの素数の和だと証明しようか?」と考えたであろうことが明らかです。つまり、彼のすべての焦点は普遍的に量化された
に向けられていたでしょう。
が、証明の詳細が解明された後の、ある種の afterthought であったでしょう。
一般に、多くの興味深い結果は、正式に述べられると、2つまたは3つ(またはそれ以上)の量化子の交互から始まります。問題は、ある意味で最初の「興味深い」量化された変数であるかを決定することになります。
ここで、有限次元ノルム空間の理論から、その点を説明する別の例を挙げます。興味のある人のためにいくつかの数学的な詳細を記載しますが、それらに興味がない場合は、次の3つの段落をスキップしても、この例について私が言っていることの要点を理解できるはずです。
と
を2つの
次元ノルム空間とし、
から
への線形写像とします。
が存在し、すべての
に対して
となる場合、私たちは
を
-同型と呼びます。スケーリングにより常に
とすることができます。この場合、すべての
に対して
となります。もし
ならば、これは
が等長写像であることを示します。一般に、
と
の間のバナッハ・マズール距離は、
から
への
-同型の最小値として定義されます。
バナッハ・マズール距離の対数は、
次元ノルム空間の等長写像クラスの集合上の距離であることが容易にわかります。それほど難しくない事実ですが、結果として得られる距離空間はコンパクトです。実際、それはバナッハ・マズールコンパクトゥムとして知られています。
バナッハ・マズールコンパクトゥムの直径が何であるか疑問に思うのは自然であり、ここで物事は興味深いものになります。フリッツ・ジョンの結果は、すべての
次元空間が
からの距離を持つことを示しています。(証明のアイデアは次のとおりです。
次元楕円体の最大体積である単位球内に
を選びます。これは
に等長同型なノルム空間の単位球です。恒等写像が
と
の間の
-同型であることが示されます。)フリッツ・ジョンの定理と(乗法的な)三角不等式から、任意の2つの
次元ノルム空間に対して
が成り立つことがわかります。つまり、バナッハ・マズールコンパクトゥムの直径は
以下です。
しかし、それは大幅に小さくなる可能性はあるでしょうか?答えが明白ではない兆候は、空間
と
を調べることから得られます。これらの2つの空間間の恒等写像は
-同型ですが、標準基底ベクトルをそれら自身にマッピングするのではなく、単位立方体の頂点にマッピングすることで、はるかにうまくいくことができます。頂点は可能な限り直交するように選択されます。特に、アダマール行列が存在する場合、対応する線形写像は
-同型です。
この観察をさらに進めると、任意の
に対して、
と
の間のバナッハ・マズール距離は
であると推論できます。また、
であることも容易に示せます。したがって、
次元空間は、容易な下限をほとんど改善せず、アダマール行列が存在する次元ではまったく改善しません。
1981年に、グルスキンはバナッハ・マズールコンパクトゥムの直径の正しい漸近線を決定することによって、この問題を解決したことで有名になりました。非公式には、彼が示したのは、直径がフリッツ・ジョンの定理から直接導かれる上限の定数に近いということです。
量化を明示すると、最終的に得られるステートメントは
です。ここで、
をすべての
次元ノルム空間の集合として書きました。(それが集合であると主張したい場合は、さらに、基底ベクトル空間が
であると指定してください。)言葉で言うと、正の定数
が存在し、すべての正の整数
に対して、
次元ノルム空間
と
が存在し、
と
の間のバナッハ・マズール距離は少なくとも
であるということです。
グルスキンがこの問題を解決するために持っていた美しく、非常に影響力のあるアイデアを非常に簡単に説明せずに続けることはできません。彼は
と
をノルム空間として取りました。