HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIの推論は間違った理由で正しいのか?

Is AI Reasoning Right for the Wrong Reasons? (quantamagazine.org)

149 pointsby retupmoc01175 コメント

要約

AIが「推論」できるという考えは、かつてないほど直感的になっていますが、その直感は誤っている可能性があり、科学的な解明はまだ進んでいません。大規模推論モデル(LRM)が生成する「思考連鎖」は、一見すると論理的な推論プロセスのように見えますが、実際にはモデルの内部動作を忠実に反映しておらず、意味のない単語の羅列や、最終的な出力にほとんど影響を与えない「表面的なショートカット」である可能性が指摘されています。AIの推論能力については、その有効性と、そのプロセスがどのように機能しているのかという根本的な疑問の間で、研究はまだ流動的です。

全文翻訳

AIの推論は間違った理由で正しいのか?

[画像: Qualia: 探求心が導くエッセイ]

率直に言おう。AIの「推論」とは一体何なのだろうか?

引用符をつけたのは、大規模言語モデル(LLM)の特別に訓練された親戚である「大規模推論モデル」(LRM)がまだ新しかった2024年頃には、このような懐疑的な見方が一般的だったからだ。しかし、2026年5月にOpenAIの「汎用推論モデル」が有名な未解決の数学研究問題を一度で解いたことを考えると、今ではそれは意地悪く聞こえるかもしれない。それでも、これらのAIシステムが実際に行っていることの科学的解釈に対する私の知的なむち打ち感を、他にどのように表現すればよいのか分からない。

推論には多くの技術的に定義された形式があるが、その基本的な手順は容易に認識できる。それは、互いに論理的に続く中間ステップを繋ぎ合わせることで、妥当な結論に達することだ。私たちは思考でこれを行い、LRMは「思考連鎖」と呼ばれるものを使用する。これは、モデルが複雑なクエリに対する回答に到達する前に生成する合成テキストのストリームを指す専門用語だ。ある瞬間には、AIがこれらの連鎖を通じて推論できるという考えは、Appleの研究チームによって「思考の幻想」と題され、驚くほど単純な条件下で「完全な精度崩壊」を起こしやすいと、信憑性をもって批判されていた。次の瞬間には、LRMは国際数学オリンピックで金メダルを獲得していた。これは、「非常に成功した数学者や科学者でさえ、一生涯その業績を履歴書に載せるかもしれない」と、科学者でありAI批判者のゲイリー・マーカスとアーネスト・デイビスが2025年に書いたほど挑戦的な偉業だ。もしこれが「本物の」推論の兆候でなければ、何がそうだろうか?

しかし待ってほしい。間もなく、サンタフェ研究所からのさらなる研究により、LRMは推論のための注意深く設計されたベンチマーク(アナロジーのような視覚パズル集など)さえも、単なる「表面的な『ショートカット』」で打ち負かすことができることが示された。彼らが行っていたことは、汎用的な推論というより、システムを騙しているように見えた。そして、まるで合図があったかのように、別の「待ってろよ」の瞬間が訪れた。Google DeepMindと数学者のテレンス・タオ(GOAT!)は、AIを使って「数学的解析、組み合わせ論、幾何学、数論にまたがる」67の問題の解を再発見または改善した。反論する者はいるか!

LRMが、必要なアルゴリズムと計算予算を持っているにもかかわらず、信頼できる推論ができないという追加の証拠はどうだろうか? それでも、それは「ギザギザの知性」(AI用語で「機能するときは機能する」という意味)というものだろう。

そして、2025年後半から2026年にかけて、事態はこう進んだ。私は20年間科学ジャーナリストとして、そしてその半分の期間AIジャーナリストとして活動してきたので、急速に進歩する研究からきっちりとした一貫性を期待しない方が良いことを知っている。しかし、私でさえ、この行ったり来たりは少し多すぎると感じている。『インサイダー』のアルの・パチーノの言葉を借りれば、「私は2つのことを感じている。腹が立っていることと、好奇心だ。」私はここに詐欺があるとは思わない。ただ、どちらが正しいのかを知りたいだけだ。AIの推論は、同時に「くだらない」ものであり、そうでないものであり得るのだろうか? もしそうなら、それは一体どのように機能するのだろうか?

最初に誰に連絡すべきか、私は知っていた。

[画像]

メラニー・ミッチェルのAIにおけるキャリアは1980年代に遡るが、最近では彼女は『Science』誌のための明快な解説や広く読まれているニュースレターを執筆し、サンタフェ研究所で研究を行うなど、最新のAIの真実を語る人物として評判を得ている。(「表面的な『ショートカット』」に関する研究は彼女のものだ。)私が彼女にAIの推論について実際に何を知っているかを尋ねたところ、彼女の答えはインデックスカードに収まるほど簡潔だった。

「第一に、それは機能する。物事を改善する」と彼女は述べ、LRMが推論タスクにおいてLLMよりも高い精度を持つことに言及した。「第二に、実際に生成されるテキスト」――つまり、パフォーマンス向上を目的としてLRMが生成するように訓練されている思考連鎖――「は、必ずしもモデル内部で何が起こっているかを忠実に反映しているわけではない。そして第三に、そのテキストの多くは役に立たないことさえある。実際、それを取り除くこともできる。」

「くだらない」と「そうでない」の重ね合わせが実際に存在する場所である、第二と第三の点を詳しく見てみよう。思考連鎖は、2022年にLLMのためのプロンプティングハックとして半発見、半考案されたものだ。書き出された推論の例(あるいは、有名なように、単に「一歩ずつ考えなさい」と尋ねる)を与えると、それらは単純な論理や数学の問題に対して、突然、より的確な回答を出すようになる。2024年のOpenAIのo1モデルから始まったLRMは、このようなプロンプト――推論トレースまたは思考トークンとも呼ばれる――を生成し、それを自分自身にフィードバックすることで、このトリックを自動化するように訓練されている。LRMは本質的に言語モデルであるため、これらの追加のテキスト片は、モデルの「思考プロセス」のように説得力のある証拠の記録を作成する。

しかし、それはそれほど単純ではない。学術界および産業界の研究が増えるにつれて、これらの「中間トークン」がLRMの内部動作を忠実に表現しているのかどうかについて疑問が投げかけられている。監査可能な領収書や正確なレポートである代わりに、アリゾナ州立大学の研究者であるスバラオ・カンバムパティが「つぶやき」と呼ぶもの――言語の断片だが、その意味は起こったかもしれない推論とは全く無関係である可能性がある――のように見えることがある。カンバムパティの研究室は、2025年に、モデルの正しい「トレース」を誤った、あるいは無関係なものに完全に置き換えても、形式的な推論タスクにおけるそのパフォーマンスを低下させないことを示した。一方、モデルを正しいトレースデータのみで訓練しても、元の問題に対する正しい解決策を生成した場合でさえ、時折無効な推論記録を生成することがあった。ニューヨーク大学の研究者による2024年の論文は、「意味のないフィラー(詰め物)トークン」――文字通り、ドットの文字列――が、人間が読める「思考連鎖」の代わりとして効果的に機能することを示した。

その論文の著者の一人で、現在シカゴの豊田工業大学の教授であるウィリアム・メリルは、この問題を平易に述べた。「思考連鎖がどのような意味においても意味を持つ必要があるという保証はない。」Anthropicの研究者であり、その初期の推論モデルチームの一員でもあったNYUのパーベル・イズマイロフは、LRMの典型的な訓練方法である強化学習が、そもそもモデルに忠実な思考連鎖を生成するように奨励しているのか疑問だと述べた。「まあ、そうするかもしれない」と彼は私に言った。「しかし、その可能性はあまり高くないだろう。」

さて、推論トレースの言語的な内容は疑わしいかもしれない。しかし、トークン自体がモデルの出力生成に役割を果たしているに違いない。(ピンボールマシンを考えてほしい。それはコインで動くのであって、「In God We Trust」という言葉で動くのではない。)

そう簡単ではない。2025年の論文では、最先端のオープンソースLRMに関するノースイースタン大学とカリフォルニア大学バークレー校の研究により、それらの「思考ステップ」の30%から60%が、モデルがベンチマークの数学の問題に対して生成する回答に「最小限の因果的影響」しか与えていないことが示された。それらの半分を切り取っても、モデルのパフォーマンスはほとんど低下しない。「思考連鎖プロンプトをレビューする際には注意が必要だ。なぜなら、それらが最終出力と結びついていない可能性があるからだ」と、研究の著者の一人であるウェイヤン・シーは述べた。

つまり、LRMを単なる次単語予測LLMと区別するとされている推論トレースは、必ずしも意味のあるものでも、モデルの…推論の因果関係にあるものでもないということか? 私は哲学者ではないが、これは「推論」の意味をその引張強度を超えて引き伸ばしているように思える。カンバムパティの研究グループは、この件に関する彼らの論説論文(この分野で最も権威ある学術集会の一つである2026年国際機械学習会議で発表された)のタイトルで、率直にうんざりしている様子を示していた。「中間トークンを推論/思考トレースとして擬人化するのをやめよう!」

明確にしておくと、AI計画アルゴリズムのバックグラウンドを持つ、人工知能学会の元会長であるカンバムパティは、LRMが(機能するときは)機能することを否定しているわけではない。「私たちは驚異的な時代にいる」と彼は私に語り、OpenAIが2026年に有名な単位距離問題を解決したことについてどう思うか尋ねた。もし彼が不満を抱いているとすれば、それは彼が見るところ、学界と産業界の両方で、あまりにも都合の良い説明を受け入れることへの急ぎすぎだ。

「これらのモデルの強さの源泉について提案された多くのアイデアは、誤解されたり誤って特徴づけられたりしている」と彼は言った。「『最終的には真実になるかもしれないから、特定の能力があると主張しよう』という一般的な考え方がある。そして私の感覚はこうだ。それは科学ではない。それは投資だ。」

AI推論のフェンスの反対側では、軽蔑は相互のようだ。「去年の夏のこれらの『科学的』論文――私はこれを大、大、引用符で囲むだろう」と、OpenAIの技術スタッフであり、科学者や数学者の間で同社の推論モデルの著名な提唱者であるセバスチャン・ビューベックは述べた。彼は、AI推論を批判する以前のAppleの結果を「間違っている」と呼び、それらは現在では時代遅れとなったモデルの訓練上の癖によるものだと主張した。「GPT-5.5以降の最新モデルはこの問題に悩まされていない」と彼は言った。「それらの結果を再検討するのは興味深いだろう。」(Appleは研究者のインタビューに応じなかった。)

[画像]

重要なのは、AI推論モデルが実際に重要で正確な結果を生み出すことができることを誰も否定していないことだ。さらに、私が話したすべての研究者は、特定の推論タスク(特に小規模なオープンソースLRMのもの)におけるモデルの能力に関する否定的な発見は、常に最新かつ最高のAI製品に一般化されるとは限らないことを認めた。それらの内部構造は企業秘密のままだ。しかし、もし私たちがAI推論を駆動するメカニズムに関する矛盾する証拠を単純に無視することに消極的であるなら(私はそうである)、疑問は残る。どう説明すればよいのだろうか?

カンバムパティは、まさにそれをしようとしていることが判明した。「私は否定的ではない。皆がそれ以上に肯定的すぎるから、私が否定的のように聞こえるだけだ」と彼は言った。「科学では、現在のものが何をするのか、そして何ができないのかを実際に理解する必要がある。」

彼が私に語った(ミッチェルも同様に言及した点)ところ、最先端のLRMが機能する一つの直接的な理由は、それらがしばしば「通常の」ソフトウェアに囲まれており、その出力をガイドし検証していることだ。2025年秋以降、ソフトウェアエンジニアリングを変革してきたエージェンティックAIシステムは、このように機能する。Google DeepMindのAlphaProof Nexusも同様で、自動定理証明ツールであるLeanに依存している。しかし、カンバムパティは、自ら生成した推論トレースにのみ依存するスタンドアロン推論モデル――「思考」の部分――を理解することにもっと関心がある、と彼は言った。

「思考」の部分は、例えばOpenAIが注力している部分だ。ビューベックに、単位距離の派手な証明がLRM自身の思考連鎖以外の方法、例えばLeanが結果を検証したのかどうか尋ねたところ、彼はその質問をほとんど無意味だと感じたようだ。

「我々がそれを謎にしているわけではない」と彼は言った。「我々は思考連鎖を公開した。君はただ見てみることができる。モデルが人間のように推論しているというのがその全体的なポイントだ。そして人間が推論するとき、我々はLeanを使わない。」技術的には、OpenAIは、Codexという別のOpenAIモデルを使用した2人の人間の専門家によって生成された、モデルの思考連鎖の「書き直された要約」を公開した。2024年以降、同社は推論モデルからの「生の」思考連鎖を公表していない。これはGoogle DeepMindやAnthropicも採用している方針だ。

カンバムパティの分析は、驚くほど似た場所から始まる。LRMは、より特化した訓練を受けたLLMに過ぎないという考えだ。「余分な魔法はない」と彼は言った。しかし、そこから彼は鋭く分岐する。「LLMが、解決策を与える前に、自分が(推論している)ことを一歩ずつ説明するというのは、私には意味がない。なぜなら、LLMの訓練方法を考えると、それは単に解決策を推測するよりもはるかに難しいタスクだからだ。」

彼の作業仮説は、LRMが、そのLLMの前身と同様に、彼が「近似検索」と呼ぶものを広大な訓練コーパス全体で行っているというものだ。それは、パターンマッチングと推論の「中間」だが、前者に近い、と彼は述べた。その場合、「思考トークン」の役割は、実際の思考連鎖を物語ることではない(なぜなら、それは存在しないからだ)。むしろ、推論の形をしたテキスト文字列を予測する、あるいは「近似検索」する可能性を高めるように、モデルのコンテキストウィンドウをロードすることだ。

カンバムパティはこのプロセスを、記憶を呼び覚ますために自分で言葉をつぶやくことに例えた。言葉が何であるかはほとんど重要ではない(関連する言葉は役立つかもしれないが)、それらが有用な何かを解き放つ限り。LRMの広大な「記憶」には、訓練された書き言葉による推論のすべての呼び出しと応答のような例が含まれており、それらは数値的な「埋め込み」に変換されている。これらの埋め込みは、それらの類似点と相違点(およびその他の不可解な関連性)を、高次元空間における幾何学的な関係としてエンコードしている。その空間内で確率的に答えに到達することは、明瞭な英語で「思考」のように見える埋め込みを持つ中間トークンを含むかもしれないが、必ずしもそうではない。それらは他の言語の断片かもしれない。それらは偽の「アハ!」のような感嘆符かもしれない。適切な条件下では、それらは単なるドットかもしれない。

「[埋め込み]が単一の単語に対応するかどうか」――ましてや忠実な推論プロセスなど――「は問題ではない」とカンバムパティは言った。

この枠組みは、一部の思考連鎖の奇妙な「くだらなさ」と、それらがそれでも正確な出力を引き出すことができるという事実の両方を説明するのに役立つかもしれない。また、LRMがコーディングや数学――AI研究者が「検証可能な領域」と呼ぶもの――で着実に改善していることをうまく説明できるだろう。コードは実行されるか、されないかだ。証明は正しいか、正しくないかだ。これらの二項条件とそれに関連する書面によるステップは、LRMにとって都合の良い訓練信号を作成できる。モデルは、一般的な推論プロセスを学習したり、確実に適用したりする必要はない、とカンバムパティは述べた。それは、ステップがどのように見えるかの例を十分に吸収し、それを予測的に模倣して、検証可能な結果を「縫い合わせる」だけでよいのだ。

カンバムパティは、推論モデルの訓練とステップ追従能力の限界、すなわち「推論ホライズン」は、2025年の「思考の幻想」論文でAppleの研究者が露呈したものであると付け加えた。新しいモデルは、このホライズンを(ギザギザではあるが)さらに押し広げたように見える。「ほとんどの場合、彼らはアルゴリズムを学習していないだろう」と彼は述べた。それは、ますます拡大する例のセットと巧妙な報酬信号を活用している可能性の方がはるかに高い。

カンバムパティは自分の主張が終わったとは全く考えていないし、私もそうではない。しかし、それは始まりであり、他の研究者も同様の「それは訓練だ、愚か者」というアプローチでAIの振る舞いを解明しようとしていることを考えると、私はそれがもっともらしいと考えている。それでも、部屋の中に象が残っていた。AI推論モデルの内部で機能するプロセスを正確に観察、特徴づけ、検証できるかどうかは、どれほど重要なのか?

ミッチェルによれば、正直な答えは、それは状況によるという。「AlphaFoldを考えてみてほしい」と彼女は、Googleのタンパク質構造予測AIツールに言及して述べた。「それは、信じられないほど複雑な統計的関連付けを行っている。それが何であるかは分からないが、機能しているようだ。これらのものは、たとえ『推論トレース』がなくても、すでにブラックボックスなのだ。」もしLRMが、AlphaFoldが計算生物学に貢献したように、数学研究を加速させることができるのであれば、この考え方によれば、それらの奇妙な癖も含めて受け入れ、結果を検証するだけで良いのではないか? 「私の視点はこうだ。私たちは役に立とうとしている。私たちは、重要な問題を解決できるように、これらのモデルを構築しようとしている。それによって科学研究を実際に加速させるのだ」とビューベックは述べた。「彼らが何ができるかについて話す方が、『ああ、しかし彼らはX(理由)のせいでそれしかできないのだ』と話すよりも、興味深く生産的だ。」

しかし、ミッチェルが指摘するように、LRMが「間違った理由で正しい」可能性は、研究の未来にとって明白な関連性がある。「正しい理由で正しい答えを得たい。そうすれば、これらのものを信頼できる」と彼女は述べ、検証可能な領域だけでなく、あらゆる状況でそうであるべきだと付け加えた。

NYUとGoogleの研究者で、計算と言語心理学ラボがAppleの「思考の幻想」論文と同様の結果を発表したタル・リンゼンは、「AIシステムが、それを推論と呼ぶかどうかにかかわらず、アルゴリズムを確実に適用できることを望む」と述べた。思考連鎖を過度に敬意を持って扱うこと――たとえその結果が検証可能であっても――は、科学者がLRMを正確な出力に偏らせるさらに良い方法を発見するのを妨げる可能性もある。「私たちはいくつかの機会を探求せずにいるかもしれない」と、アレン人工知能研究所でオープンLRMの訓練を支援した研究者であるプラディープ・ダシギは述べた。カンバムパティは、予想通り、さらに厳しい言葉で表現した。AI推論トレースの意味を真剣に受け止めることは、地動説やエーテルを信じることと同様の、科学的な「ウサギの穴」だと彼は言った。

厳しいかもしれないが、彼は一理ある。それらの誤ったメンタルモデルは、当時直感的に理解できた。思考連鎖が現在そうであるように。LRMが正しい答えを生成し、その結果に至るまでの「思考」のページを提示するとき、直感はそれらが結びついているはずだと私たちに語る。そのプロセスと結果がほとんど関係がないとは想像しにくい。しかし、1990年代(ミッチェルとイズマイロフが両方とも言及したエピソードで)、力任せの探索がチェスで世界チャンピオンのガルリ・カスパロフを破ることができるとは想像しにくかった。そして2023年には、巨大な行列計算の山が弱強五歩格で書くことができるとは直感しにくかった。私たちの大半にとって、これらは考えられる思考ではなかった。突然、そうなるまでは。

[画像]

2024年夏、最初のLRMが登場するわずか数ヶ月前、ミッチェルは私がAI報道で繰り返し参照する概念に私を導いた。「願望的記憶術」だ。このフレーズは、1976年にコンピュータ科学者のドリュー・マクダーモットが、非常に不機嫌なタイトルの論文「人工知能は自然の愚かさと出会う」で初めて使用した。ミッチェルが引用したのと同じ一節を引用しよう。

AIプログラムにおける単純思考の主な原因は、「UNDERSTAND」や「GOAL」のようなプログラムやデータ構造を参照するための記憶術の使用である。…もし研究者が…彼のプログラムのメインループを「UNDERSTAND」と呼ぶなら、彼は(無実が証明されるまで)単に論点を先取りしているだけだ。彼は多くの人々、特に彼自身を誤解させるかもしれない。…代わりに彼がすべきことは、このメインループを「G0034」と呼び、彼自身または誰かに、G0034が理解の一部を実装していると説得できるかどうかを見ることだ。…AI研究者による願望的記憶術の多くの教訓的な例は、そのポイントを見た後で思い浮かぶ。

これが私がAIの推論を理解する方法だ。LRM、思考連鎖、思考トークン:それはすべて、願望的記憶術の連続だ。コンピュータサイエンスのひねりを加えた、オペラ風の「顕現」のような、近道と疑念の停止の強烈な混合物だ。これは必ずしも非難ではない。すべての新しい研究は、離陸するためには何らかのバージョンのこの考え方を必要とするだろう。それは確かにAIの推論が機能しない、あるいは機能しないことを意味するものではない。しかし、「願望的」な部分は、これまでと同様に強力であるように思われる。

「私たちは言語に、非常に擬人化するような方法で反応します。それが人間というものなのです」とミッチェルは私に語った。AI推論を巡る多くの論争的な研究活動は、「いつものことだ」と彼女は述べた。しかし、他の点では、それには多くの非常に非科学的な側面がある。あるいは、カンバムパティの言葉を借りれば、「偽の理論は、理論がないことを認めるよりも悪い。」

いずれにせよ、それが何であるかを理解するまで、私たちはそれを何と呼ぶ必要がある。私は、馬力の「馬」に引用符をつけないのと同じように、AI推論の周りに常に引用符をつけ続けるとは予想していない。LRMはエンジンに似ている。燃料を必要とし、排気を排出し、速く走る。それでも、私がアクセルを踏んだときに私のトヨタが提供できる力強さを説明するとき、それはボンネットの下で小さな蹄が叩いていると信じているからではない。AI推論モデルのボンネットの下で何が起こっているのかについての、より明確な科学的説明が現れるまで、私はその馬力を同様の精神で捉えるだろう――エンジンが轟音を立てている間でも。

[画像]