AIの推論は間違った理由で正しいのか？

ホーム AIの推論は間違った理由で正しいのか？ コメント 記事を保存 後で読む 共有 Facebook コピーしました！ リンクをコピー Email Pocket Reddit Ycombinator コメント コメント 記事を保存 後で読む 後で読む Qualia AIの推論は間違った理由で正しいのか？ John Pavlus著 2026年7月31日 人工知能が「推論」できるという考えは、かつてないほど直感的になっています。しかし、直感は間違っていることがあり、科学はまだ settled ではありません。 コメント 記事を保存 後で読む Celsius Pictor for Quanta Magazine はじめに 率直に言おう。AIの「推論」とは一体何なんだ？エアクォーテーションマークをつけたことをお許しください。この文法的な斜め見は、特別に訓練されたLLMのいとこ、現在「大規模推論モデル」、略してLRMとして知られるものがまだ新しかった2024年には、もっと一般的でした。しかし、今ではまったく無作法に見えるかもしれません。なぜなら、OpenAIの「汎用推論モデル」が2026年5月に有名な未解決の数学研究問題を一発で解決したからです。それでも、これらのAIシステムが実際に行っていることの科学的解釈に対する私の知的なむち打ちを、他にどのように認識すればよいのか分かりません。 推論には多くの技術的に定義された形式がありますが、基本的な手順は容易に認識できます。それは、互いに論理的に続く中間ステップをリンクすることによって、健全な結論に達することです。私たちは思考でこれを行います。LRMは、いわゆる「思考連鎖」、つまりモデルが複雑なクエリへの回答に到達する前に放出する合成テキストのストリームの専門用語を使用します。 ある瞬間には、AIがこれらの連鎖を通じて推論できるという考えは、Appleの研究者チームによって「思考の幻想」であり、驚くほど単純な条件下で「完全な精度崩壊」を起こしやすいと、著名かつ信頼できる批判を受けていました。次の瞬間には、LRMは国際数学オリンピックで金メダルを獲得していました。これは、「非常に成功した数学者や科学者でさえ、生涯にわたってそれを自分の履歴書に載せるかもしれない」と、科学者でAI批評家のゲイリー・マーカスとアーネスト・デイビスが2025年に書いたほど困難な偉業です。もしそれが「本物の」推論の兆候でなければ、何がそうなのでしょうか？ しかし待ってください――その後、サンタフェ研究所からのさらなる研究により、LRMは「表面的な『ショートカット』」だけで、推論のための注意深く設計されたベンチマーク（アナロジーのような視覚パズル集など）さえも打ち負かすことができることが示されました。彼らが行っていたことは、汎用的な推論というよりも、システムをゲームしているように見えました。 それから、まるで合図があったかのように、別の「ビールをホールド」の瞬間がありました。Google DeepMindと数学者のテレンス・タオ（GOAT！）は、AIを使って「数学的解析、組み合わせ論、幾何学、数論にまたがる」67の問題の解決策を再発見または改善しました。文句を言う奴らは黙ってろ！ AIが、必要なアルゴリズムと計算予算を持っているにもかかわらず、信頼できる推論ができず、スリップ＆スライドに使えるほど長い科学的に文書化された失敗状態のリストに苦しんでいるという追加の証拠はどうでしょうか？それはともかく、それはあなたにとって「ギザギザの知性」（AI用語で「うまくいくときはうまくいく」という意味）なのでしょう。そして、2025年後半から2026年にかけて、それはそのように進みました。 私は20年間科学ジャーナリストであり、その半分の期間AIジャーナリストでしたが、急速に進歩する研究から、きっちりとした一貫性を期待すべきではないことを知っています。しかし、私でさえ、この行ったり来たりは少し多すぎました。アル・パチーノが『インサイダー』で言ったように、「私は2つのことを得ている：怒りと好奇心だ。」私はここに詐欺があるとは信じていません。ただ、どちらが正しいのかを知りたいのです。AIの推論は、同時に「ガセ」であり「そうでない」ということはあり得るのでしょうか？もしそうなら、それは一体どうやって機能するのでしょうか？ 最初に電話すべき人物は分かっていました。メラニー・ミッチェルは1980年代からAIのキャリアを積んでいますが、最近では『サイエンス』誌の明快な解説や、広く読まれているニュースレターの執筆、そしてサンタフェ研究所での研究活動を通じて、現代的なAIの真実の語り手としての評判を得ています。（「表面的な『ショートカット』」に関する研究は彼女のものです。） 私が彼女にAIの推論について実際に何を知っているのか尋ねたとき、彼女の答えはインデックスカードに収まるほど簡潔でした。「第一に：うまくいきます。物事を改善します」と彼女は述べ、LRMが推論タスクにおいてLLMよりも優れた精度を持っていることを指しました。「第二に：実際に生成されるテキスト――つまり、LRMがパフォーマンスを向上させるために生成するように訓練されている思考連鎖――は、必ずしもモデル内で何が起こっているかを忠実に反映しているわけではありません。そして第三に：そのテキストの多くは役に立たないことさえあります。実際、それを取り除くことができます。」 第二と第三の点を詳しく見てみましょう。なぜなら、そこに「ガセとそうでない」の重ね合わせが存在するからです。思考連鎖は2022年にLLMのプロンプトハックとして半発見、半考案されました。つまり、書かれた推論の例（あるいは、有名なように、「ステップバイステップで考えて」と尋ねるだけ）を提供すると、単純な論理や数学の問題に対して、突然、より骨抜きの回答を出すようになります。LRMは、2024年のOpenAIのo1モデルから始まり、これらのプロンプト――推論トレースや思考トークンとも呼ばれる――を生成し、それを自分自身にフィードバックすることで、このトリックを自動化するように訓練されています。LRMは基本的に言語モデルであるため、これらの余分なテキストビットは、モデルの「思考プロセス」のように説得力のあるペーパートレイルを作成します。しかし、それはそれほど単純ではありません。 学術的および産業界の研究が増えるにつれて、これらの「中間トークン」がLRMの内部動作を忠実に表現しているかどうかについて疑念が生じています。監査可能な領収書や正確なレポートである代わりに、アリゾナ州立大学の研究者、Subbarao Kambhampatiが「つぶやき」と呼ぶもの――言語の断片ですが、その意味は、発生した可能性のある推論とは全く無関係である可能性があります――のように見えることがあります。Kambhampatiの研究室は2025年に、モデルの正しい「トレース」を誤った、または無関係なものに完全に置き換えても、正式な推論タスクでのパフォーマンスを低下させないことを示しました。一方、モデルを正しいトレースデータのみで訓練しても、元の問題に対する正しい解決策を生成した場合でさえ、時折無効な推論記録を生成することがありました。 ニューヨーク大学の研究者による2024年の論文では、「意味のないフィルートークン」――文字通り、ドットの文字列――が、人間が読める「思考連鎖」の代わりとして効果的に機能することが示されました。その論文の著者の一人であり、現在シカゴのトヨタ工科大学の教授であるWilliam Merrill氏は、この問題を平易な言葉で説明しました。「思考連鎖がどのような意味でも意味を持つ必要があるという保証はありません。」 Pavel Izmailov氏は、NYUの研究者であり、Anthropic（そしてその初期の推論モデルチームの一員）でも働いていますが、彼は、強化学習――LRMの典型的な訓練方法――でさえ、モデルに忠実な思考連鎖を生成することを奨励しているのか疑問に思っています。「まあ、そうなるかもしれませんが」と彼は私に言いました。「しかし、その可能性は非常に高くないと言わざるを得ません。」 さて、推論トレースの言語的な内容は疑わしいかもしれません。しかし、トークン自体が出力の生成に役割を果たしているに違いないのではないでしょうか？（ピンボールマシンを考えてみてください。それは「In God We Trust」という言葉ではなく、コインで動きます。）そうはいきません。 ノースイースタン大学とカリフォルニア大学バークレー校の研究者による、最先端のオープンソースLRMに関する2025年の論文では、それらの「思考ステップ」の30%から60%が、モデルがベンチマークの数学の問題に対して生成した回答に「最小限の因果的影響」しか持たなかったことが示されています。それらの半分を切り取っても、モデルのパフォーマンスはほとんど低下しません。「思考連鎖プロンプトをレビューする際には注意が必要です。なぜなら、それらは最終出力と結びついていない可能性があるからです」と、その研究の著者の一人であるWeiyan Shi氏は述べています。 つまり、LRMを単なる次単語予測LLMと区別するとされている思考連鎖は、必ずしも意味があるわけでも、モデルの…推論に因果関係があるわけでもないのでしょうか？私は哲学者ではありませんが、これは「推論」の意味をその張力限界を超えて引き伸ばしているように思えます。Kambhampatiの研究グループは、この主題に関する彼らのポジションペーパーのタイトルで、率直にうんざりしているように見えました（プレ