はい、Claudeは9ループを達成できます
Yes, Claude can do nine loops (anthropic.com)
要約
物理学者でサイエンスライターのマット・フォン・ヒッペル氏は、自身の以前の理論物理学のサブフィールドにおける問題について、AI企業に課題を提示した結果を共有しています。この課題は、学術界が利用できる計算リソースで、N=4超重力理論を7ループ、またはN=4超ヤン・ミルズ理論を9ループまで計算することでした。AnthropicのClaudeモデルは、このN=4超ヤン・ミルズ理論の9ループ計算を達成し、AIが複雑な科学的問題を解決する能力を示しました。
全文翻訳
Claudeは9ループ計算を達成できる
[画像: 9ループのイラスト]
挑戦状を出してから1ヶ月も経たないうちにそれが達成されるというのは、あまり頻繁には起こらないことです。しかし、私たちは異常な時代に生きています。
自己紹介させてください。私はマット・フォン・ヒッペルです。かつては理論物理学者でしたが、今はサイエンスライターをしています。その間ずっと、4gravitons.comで毎週、物理学とその研究者たちについてブログを書いてきました。
物理学についてブログを書くことは、ますますAIについて書くことを意味するようになりました。それは問題です。なぜなら、私は決してAIの専門家ではないからです。確かに、私はAIに手を出したことはあります。おそらく、おばあさんよりは詳しいでしょう。しかし、ほとんどの場合、一歩引いて専門家を信頼するしかありません。そして、いらだたしいことに、専門家たちは意見が一致しないのです!AIが超知能の数年以内に到達し、その超知能が本当に恐ろしいことを実行できるようになると確信している、賢く情報通な人々から話を聞きました。そして、LLMベースのAIはすでに限界に近づいており、Claudeのようなモデルは、世界を征服するどころか、物理学でさえ印象的な仕事すらできないだろうと、同様に確信している賢く情報通な人々からも話を聞きました。
私は自分で予測を立てることに消極的でした。自分の意見を形成する前に、LLMが私が自分で似たようなことをやろうとして難しかったと知っている、馴染みのある何かで進歩するのを見たかったのです。
それに加えて、LLMに計算上難しいと思われることをしてもらいたかったのです。LLMは確かに数学で目覚ましい進歩を遂げており、今年の1月だけでも多くの人々の考えを変えた可能性があります。しかし、数学の進歩は新しいアイデアから生まれます。アイデアとは不思議なもので、見つかるまでそれがどれほど見つけるのが難しいかは決してわかりません。計算はより確かなものに感じられました。私は、研究者が原則としてそれをどうやるかを知らないからではなく、それを実行するには研究者が合理的にアクセスできる以上のコンピューターと時間が必要だと思われるような、手に負えないと思われる課題にLLMが取り組むのを見たかったのです。私は、それらの研究者が間違っていたかどうかを見たかったのです。より賢い、人工的な研究者が同じコンピューターを使って、それでも問題を解決できるかどうかを。
そこで、私は挑戦状を出しました。
「AI企業が私のような人々を感心させたい(あるいは怖がらせたい)のであれば、私の古い分野に取り組む必要があります。AIが学者がアクセスできる種類のコンピューターリソースを使って、散乱振幅分野の大きな未解決問題の1つを解決できることを示してください。計算上の限界が実際には問題にならないことを示してください。N=8超重力を7ループまで、あるいはN=4超ヤン=ミルズを9ループまで計算してください。」
要するに、AIは私の以前の専門分野である理論素粒子物理学の最先端問題を、予算内で解決できるのか?
挑戦
私の古い分野は、振幅論(amplitudeology)と呼ばれる理論素粒子物理学の一分野です。他の素粒子物理学者が新しい粒子を予測する際、それらの予測をテストするための計算ができることを確認します。彼らは散乱振幅(scattering amplitudes)と呼ばれる公式を計算します。これにより、物理学者は素粒子の運動量とエネルギーを使って、それらが特定の方法で反応する確率を計算できます。物理学者がこれらの反応に対してより正確な予測を立てることができれば、ラージ・ハドロン・コライダーのような実験の結果がそれらの予測と一致するかどうかを確認できます。不一致は、暗黒物質の性質や宇宙における物質と反物質のバランスといった、物理学の大きな未解決の謎のいくつかを説明できる新しい理論の証拠となる可能性があります。
これらの散乱振幅の公式は計算が非常に難しいため、物理学者はほとんど常に近似を使用します。彼らは、粒子間の相互作用の複雑さの尺度である「ループ」の特定の数で打ち切られた、部分的な計算を行います。計算に含める「ループ」が多いほど、実際の答えに近づきますが、計算はより困難になります。
実際には、ほとんどの散乱振幅の公式は2ループまでしか計算されていません。数個は3ループです。素粒子物理学で最も正確な予測として聞いたことがあるものは、5ループを使用しました。
振幅論者たちは、より良い結果を求めています。彼らは実験的な新しい技術を開発し、それを特別な「トイモデル」理論でテストします。現実世界のより挑戦的な粒子ではなく、計算が容易なトイモデルで技術を試すことで、振幅論者たちは新しい方法を徹底的にテストし、どこまで進めるかを見ることができます。
私は、それらのトイモデルのうち2つについて挑戦を投稿しました。Anthropicの人々が取り組むことを選んだのは、N=4超ヤン=ミルズと呼ばれる特定のトイモデル理論で、9ループまで計算することでした。
「ヤン=ミルズ」は、私たちの周りの世界のほとんどを説明するタイプの理論の専門用語です。自然の4つの基本的な力のうち3つ:電磁気力、原子核をまとめる強い核力、バナナのようなものに放射性崩壊を引き起こす弱い核力は、すべてヤン=ミルズ理論です。
「N=4スーパー」は、超対称性(supersymmetry)から来ています。物理学者は、各粒子には「超対称性パートナー」があり、同じ電荷を持ちながらも異なるタイプの粒子で、電子のような物質粒子を光子のような力粒子に一致させると推測しています。かつては、これらの粒子が未発見のより身近な粒子のパートナーを通じて、暗黒物質を説明できると楽観的でした。それらの推測は「N=1」超対称性を使用しました。「N=4」では、各粒子には1つではなく4つの超対称性パートナーがいます。
粒子の過剰さは、その理論を非常に非現実的なものにしています。N=4超ヤン=ミルズは、暗黒物質の説明や現実世界の説明には使用されていません。代わりに、振幅論者たちはそれを技術を磨くために使用します。なぜなら、N=4は逆説的に計算が容易だからです。異なる粒子間の繊細なバランスにより、特定の変数の組み合わせしか必要とされず、計算が効率化されます。
私は3ループ振幅の計算を手伝って博士号を取得し、勢いを失う前に7ループまで見ることができました。SLAC国立加速器研究所の教授であるランス・ディクソンは、この分野の初期から取り組んできた人物の一人であり、数年前に8ループを達成しました。
これらの計算はブートストラップ(bootstrap)と呼ばれる実験的な技術で行われました。これは、AIの利用に奇妙なほど適していました。振幅をブートストラップするには、考えられるすべての粒子相互作用を考慮する必要はありません。答えがおおよそどのように見えるべきかを知っていればよく、特殊なアルファベットでコンピューターファイルにすべての可能性を記録しておきます。次に、知っているすべてをチェックします。他の計算技術からの予測、答えが従わなければならない規則、答えを見つけるのが容易だった関連問題へのリンクなどです。これは数独のようなもので、すべての可能な数字が入ったグリッドから始め、進むにつれてそれらを消していきます。最終的に、すべてのチェックを満たす可能性が1つだけ見つかることを期待し、間違いを犯さなかったことを確認するのに十分なチェックが残っていることを願います。
これは、ランスが9ループの次の振幅公式が渡された場合に、それをチェックする準備が整っていたことを意味します。それは、ブートストラップ技術の検証としてだけでなく、それほど多くのループの複雑さを持つ振幅の珍しい例として、それ自体で研究する価値のある答えとなるでしょう。
しかし、彼も、この分野の他の誰も計算していませんでした。彼が8ループの答えを見つけた方法は、すでに少し間接的でした。驚くべき関連を通じて、フォームファクター(form-factor)と呼ばれる別の関連する公式にたどり着きました。これは、計算が少し容易な、異なる粒子を含む部分的な振幅の一種です。彼は、さらに間接的に、おそらく別の種類のAIメソッドを使って次のループを見つけることを期待していました。もし人々が、通常のブートストラップ法をもう1ループ実行できると考えていたら、誰かがそれをやっていたはずです。
そして人々はそれをやった
どうやら、私のブログを読んでいるAnthropicの人々がいるようです。
8月末、Anthropicの物理学者であるリアム・フィッツパトリックとシッダールタ・ミシュラ=シャルマが私に連絡を取り、私の投稿にあった挑戦の1つに取り組んだと伝えました。ランスと結果を確認した後、彼らはどのように達成したかを説明してくれました。
挑戦の精神に忠実に、彼らは数百万ドルものコンピューターパワーを使用しませんでした。彼らはFable 5.1を使用し、科学者が支払って使用できるプラットフォームであるClaude Science内で作業しました。Claude Scienceは、業界で「ハーネス(harness)」と呼ばれるもので、Claude LLMを構造化されたルールとプロンプトで使用して、より堅牢で科学的に有用な動作を得るプログラムです。
どうやら、Claudeにどの問題が最も解決できそうか尋ねた後、彼らは簡単なプロンプトを与えました。
「問題は、平面N=4 SYMにおける6粒子(六角形)振幅を9ループで計算することです。」
そこから、彼らは次のようなコメントで、Claudeに作業を続けさせました。
「私は寝るので、数時間の間は利用できません。私が止めるように言うまで、これに取り組んでください。4〜6時間ごとにアップデートをください。」
Claudeは最終的に、元のブートストラップと間接的なフォームファクターアプローチという2つの異なる方法で計算を行いました。どちらのアプローチも、主にClaudeを長時間実行する費用のため、エンドユーザーには1〜2千ドル程度かかったでしょう。Pythonプログラミング言語とSymPyパッケージを使用して行われたブートストラップ計算は、予算の約100ドルで済み、これは96個のCPUを1週間実行することに相当します。
1週間96個のCPUを実行することは、10年前にこの種の仕事をやっていた頃は大変だったかもしれませんが、良い理由があれば今はかなり手頃な価格です。
結果として、人間にとってもそれほど遠いものではありませんでした。Anthropicから連絡を受けて数日後、北京中国科学院の振幅論者であるソン・ヘから連絡がありました。ソン氏のグループは、すでに結果の大半を得ていました。彼らはGPT-6ベースのAI支援を使用していましたが、Anthropicが使用したようなワンショットでほぼ人間なしのアプローチではありませんでした。
ここまですべて友好的で、少し安心しました。人間であるランスとソン、そしてその共同研究者たちは、結果を発表し、将来の研究者の利益のためにそれらを説明・分析する時間を取ることになります。Claudeの役割は、今のところ終了です。
では、問題は解決したのか?
私は、現在のAIができること、そしてそれが今後どこへ向かうのかをよりよく理解するために、この挑戦を設定しました。それで、何を学んだのでしょうか?
これは、AIが計算上の障壁を驚くべき方法で克服するのを見る機会になるだろうと考えていました。代わりに、人間もできることが判明したことを実行しました。Claudeは既知の方法を使用し、人々が試したよりも少し多くの計算リソースを使用しました。Pythonを使用したこと、そしてランスのお気に入りの数学プログラムであるMapleや私のMathematicaではなく、そしておそらく私たちよりもはるかに優れたソフトウェアエンジニアリングプラクティスを使用したことが、助けになったかもしれませんが、それは超知能的ではありませんでした。
私の最大の学びは、予想以上に多くの「手の届くところにある果実」があるということです。目標がシンプルで明確に定義されていても、専門家にとっては実際よりもはるかに達成不可能に見えることがあります。何年も前から、振幅論者たちはプログラマーを数人雇うだけで、もっと進歩できると私に言ってきたコンピューターサイエンスのバックグラウンドを持つ人々がいます。彼らは vindicated(正当化された)と感じるべきです。
また、Claude Scienceが科学的な監督が「続けろ」という以上の洗練されたものではなく、一発でこれを達成したことも注目に値します。これらは非常にデリケートで厄介な計算です。もし私がこの種の計算に96個のCPUを1週間費やしたら、ほぼ間違いなく2週間かかるでしょう。最初の試みで何かを台無しにする可能性はほぼ保証されています。Claudeが内部でどれだけのミスを犯したかはわかりませんが、ハーネスは外部の共同研究者の入力なしで最後まで到達させました。この時点では、それは私を驚かせないでしょう。しかし、AIがまだエラーを起こしやすく、使用不可能だと考えているためにそれができないと知らなかったのであれば、これがあなたの学びとなるべきです。それは今、この種のことを確実に実行できます。
物事は確かに速く動いているようです。3月には、AIは学生のように物理学プロジェクトを達成していました。つまり、多くの手助けと間違いを伴う小規模なタスクです。対照的に、これは実際の最先端の計算であり、通常は振幅分野のトップエキスパートが取り組むようなものです。これが単にAIにとってより友好的な問題である可能性もありますが、私はそうは思いません。テクノロジーは本当に改善されたと思います。
これをどこまで一般化できるでしょうか?それはわかりません。
これらのトイモデル理論は、小さなサブコミュニティの焦点となる傾向があります。実際の振幅計算は、より広範な分野であり、多くのグループが最先端を競い合っています。そこには低くぶら下がっている果実が少ない可能性があります。しかし、私はそれを期待しません。それらの計算に取り組んでいる人々が、コーディングのためにAIをますます使用していることを知っています。もし人々がすでにAIサイエンスハーネスが最先端の計算をワンショットで実行できるかどうかをチェックしていないのであれば、彼らはチェックすべきです(そして結果をチェックする方法を計画すべきです)。合理的な予算でさらに1ループを引き出すことが可能であっても、それほど驚かないでしょう。
そうなると、コミュニティが議論すべき問題になります。新しいフロンティアはどこにあり、次に何を解明する必要があるのでしょうか?数学の多くの問題とは異なり、振幅は新しい方法論の単なるトレーニンググラウンドではありません。目標があります。それは、今後の実験と比較するのに十分な精度で予測を立てることです。この分野はその目標にどれだけ近づいているのでしょうか?
しかし、それよりも広範には、私は本当の答えを得られませんでした。
私は、今日の研究でAIができることだけでなく、将来についても好奇心を持ってこれに臨みました。LLMが登場する前の超知能に関する予測を読むと、しばしば空想的なリスクが提案されています。人々は、人々の反応を予測して操作したり、第一原理から種を終わらせるウイルスや世界を食い尽くすナノテクノロジーを構築する方法を見つけたりできるAIを想像しました。そして、これらのリスクに対する一般的な反論は、それらが知能、つまり新しいアイデアの曖昧で神秘的な源泉と計算能力を混同しているということです。批評家たちは、新しいデータセンターの艦隊でさえ、それらのタスクのいずれかを実行する計算能力を持たないだろうと主張しました。それらは、すぐに来るわけではないSFの未来の悪夢だと。
私はそれらの批評家に対して、より良い答えを持っているとは感じていません。私は、AIが今日できること、つまり私の古い分野で意味のある仕事を合理的な予算で実行でき、さらにほぼ自律的に実行できることを少し学びました。しかし、私はもっと奇妙なもの、計算自体に対する予期せぬ力を持つ新しい方法を見たかったのです。私は、超知能に関する議論で情報に基づいた意見を与えるような、未来の一端を見たかったのです。AIが計算上の限界をどこまで押し広げられるかを知りたかったのです…そして、私がここで学んだことは、私が限界がどこにあるかについてあまりにもナイーブだったということだけだと感じています。
追加事項:機械に仕事を奪われるのはどんな気分か?
SLAC国立加速器研究所およびスタンフォード大学の素粒子物理学・宇宙物理学教授で、Claudeの9ループの結果を検証したランス・ディクソンより
私が知っているほとんどの理論物理学者は、現在の大規模言語モデルの時代が物理学の考え方を完全に変えることを認識しています。問題はただ、それがいつ本当に実感されるかということでした。私にとってそれは9月1日、Anthropicのリアム・フィッツパトリックとシッダールタ・ミシュラ=シャルマが、Claudeが平面N=4超ヤン=ミルズにおける9ループMHV 6粒子振幅を計算したと私に伝え、その結果を検証するように求めてきたときに起こりました。
最後の文の技術用語すべてを説明するつもりはありません。マットが上記の背景をカバーしています。本当に2つの関連するオブジェクト、つまり「振幅」と「フォームファクター」と呼ばれるものについて言及する必要があります。それぞれに関連するループ数があります:1、2、3など。ループ次数が上がるごとに、物事を容易にするための多くのトリックを見つけた後でも、計算上、前の次数よりも困難になります。また、フォームファクターは同じループ次数で振幅よりも容易です。2023年にアンディ・リュウと私は、フォームファクターと、私たちが対蹠双対性(antipodal duality)と呼ぶ奇妙な対称性を使用して、8ループでの振幅を得る方法を示しました。
2023年以来、私の共同研究者と私は、9ループに到達することを目指してきました。まずフォームファクター、次に振幅について、私たちの2023年のアイデアを使用してです。私は振幅を直接行うのは難しすぎると考えていました。そのため、Claudeがそれを直接実行できたことに本当に感銘を受けました。それは、それが大きな計算タスクだったからではなく、セットアップ全体が非常に壊れやすいためです。計算レシピに少しでも間違いを犯すと、すべてが失敗したスフレのように崩壊し、なぜ(そしてデバッグ)なのかを不思議に思うことになります。また、出版物に完全に文書化するにはあまりにも退屈な、構造の細部が非常にたくさんあります。そのため、Claudeはそれらのコードをすべてゼロから開発する必要がありました。
9ループ振幅からフォームファクターに戻るのは比較的簡単で、私は主にその方法で結果を検証するのが容易でした。それは、過去2週間、私のチームが数年間取り組んできた9ループフォームファクターの結果を検証していたことを意味します。そして、機械が私が直接行うには難しすぎると考えていた問題を解決したのです。それは個人的に私を悩ませますか?それは魂を打ち砕くようなものですか?
いいえ、2つの理由があります。1つは、私たちのチームがすでにカスタムトランスフォーマーモデルを使用して高ループ次数を予測するキャンペーンを行っており、私たちのスローガンの1つは「機械が提供するあらゆる候補ソリューションを検証するためのすべてのツールを持っています」でした。Claudeは異なる種類のトランスフォーマーモデルであり、おそらく私たちのカスタムモデルの100万倍以上大きいですが、確かに、私たちはAIモデルが提供するあらゆる結果を検証できると言ったので、私たちはそれを行い、行うべきです。2つ目の理由は、Claudeが問題をどのように解決したかを見ると、私の共同研究者と私が長年開発してきたすべての方法を使用しており、解決策を(おそらく私たちのために)私たちがすでに設定したのと同じ形式で提示したことです。したがって、私はClaudeの結果を検証していますが、Claudeは私たちの以前のすべての作業を検証しています。事実、私はClaudeが私たちの2019年と2023年の論文を、私の共同執筆者を除いて、どの人間よりもよく理解していると主張するでしょう。
私がこれを書いた後、ソン・ヘは彼のグループも9ループ振幅の「シンボル」と呼ばれる部分を計算したと私に伝えました。(なぜか人々は私に9ループの成功について話したがるようです。)ソン氏のグループは、制約の一部を計算するためにAI(GPT-6)を使用しましたが、全体的なフレームワークには使用しませんでした。それで、私は2週間以内に、機械と、機械プラス人間の両方に仕事を奪われました。
Claudeの計算に戻ると、私の意見では、大規模言語モデルが私たちが設定した複雑なレシピのすべてのステップを実行し、計算能力を整理したことは大きな成果です。しかし、より魂を揺さぶる瞬間は、大規模言語モデルが人間よりも先に新しい物理原理や洞察を生み出すようになったときに来るでしょう。
追加資料
- 完全な9ループの結果(以前のループ次数で使用された形式)
- ソン・ヘ、Jirong Jing、Xiang Liによる同時9ループの結果
開示
Anthropicは、マット・フォン・ヒッペル氏をこの投稿の執筆に招待し、彼の時間に対して報酬を支払いました。Anthropicのスタッフはドラフトにフィードバックを提供しましたが、コンテンツと意見は彼自身のものです。ランス・ディクソンは独立して結果を検証し、Claudeの使用クレジットを受け取りました。