AIは数学者を凌駕しているのではなく、記憶力で凌駕している
AI Isn't Outthinking Mathematicians. It's Out-Remembering Them (davidepiffer.com)
要約
この記事は、AIが数学で優れているのは、高度な推論能力よりも、人間には真似できないほど広大な「ワーキングメモリ」や「コンテキストウィンドウ」を持っているためだと論じています。人間のワーキングメモリの限界が数学的思考を妨げるのに対し、AIは問題全体、中間計算、定義などを大量に保持・処理できるため、それが高度な知能と見なされることがあると指摘しています。
全文翻訳
AIは数学者を出し抜いているのではなく、記憶力で凌駕している。
[画像: John Von Neumann : une définition de Ma petite encyclopédie]
(https://substackcdn.com/image/fetch/$s_!DIxw!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2e2e14e7-c536-49c0-9f27-79b1073dd527_1279x759.jpeg)
1952年の高等研究所コンピュータの開設式典にて。AIは電子的なアインシュタインというより、機械で増幅されたフォン・ノイマンのような存在かもしれない:計り知れない速度、幅広さ、そして記号的な記憶力。
AIシステムが困難な数学的問題を解決するとき、その一般的な説明は、AIがより知的になったというものです。
おそらく、それは何百万もの数学的例を吸収したのでしょう。おそらく、強化学習がより優れた推論戦略を教え込んだのでしょう。おそらく、それは真の数学的直観に似たものを開発し始めているのでしょう。
これらの説明のすべてに真実が含まれているかもしれません。しかし、それらはより単純な可能性を見落としています:
AIは人間の脳よりもはるかに大きなワーキングメモリにアクセスできる。
より正確には、それは人間のワーキングメモリが果たす多くの機能を行う、巨大な外部記号ワークスペースにアクセスできるのです。
この違いは、数学において特に重要かもしれません。
人間の数学者は、同時に少数の見慣れない要素しか心に留めておくことができません。AIモデルは、問題文全体、数百の中間方程式、放棄されたアプローチ、定義、制約、そして以前の結論をすべてコンテキストウィンドウ内に保持できます。
私たちは通常、その結果としてのパフォーマンスを優れた推論の証拠として解釈します。しかし、その一部は、人間の推論における最も重要な生物学的限界の一つ、すなわち極端に制限されたワーキングメモリ容量を取り除いたことを反映しているのかもしれません。
数学は記憶力によって制約される
ワーキングメモリとは、短期間に情報を保持し操作することを可能にする精神システムです。
方程式を解くとき、各変数が何を表すか、どの演算がすでに実行されたか、そして現在の目標が何であるかを覚えておく必要があります。証明の途中では、仮定、中間的な補題、例外、そして複数の可能なケースを追跡する必要があるかもしれません。
人間のワーキングメモリは驚くほど限定的です。
その正確な容量はタスクや情報の整理方法に依存しますが、一般的な限界は日常経験から明らかです。頭の中で3桁の数を2つ掛けてみてください。基本的な演算は単純です。難しさは、追加の計算を実行しながら部分的な結果を保持する必要があることから主に生じます。
数字を書き出すことで、問題は変換されます。
紙はあなたをより賢くしません。それはあなたの実効ワーキングメモリを拡張します。
同じ原則が、より高次の数学にも当てはまります。数学者は、解を伝えるためだけでなく、推論を認知的に可能にするために、記法、メモ用紙、図、そして以前に書かれた補題を使用します。
専門家は「チャンキング」によって補います。初心者は長い記号の列を見ます。専門家は馴染みのある構造を認識し、それを単一の概念的オブジェクトとして扱います。これにより、同じ生物学的ワーキングメモリの限界内に、より多くの情報が収まるようになります。
しかし、チャンキングは限界をなくしません。それは単に情報を圧縮するだけです。
AIモデルは、非常に異なる制約に直面します。
ワーキングメモリはIQを超えて数学的パフォーマンスを予測する
数学におけるワーキングメモリの重要性は、理論上のものだけではありません。それは人間間の違いにも見られます。
ワーキングメモリは一般的な知性と強く関連していますが、明白な疑問が生じます:それは数学的パフォーマンスを独立して予測するのか、それとも単にIQの別の不完全な測定値に過ぎないのか?
いくつかの研究は、それが従来の知能測定値を超える何かを貢献していることを示唆しています。例えば、AllowayとPassolunghi(2011)は、子供たちのワーキングメモリ、言語能力、数学スキルを調査しました。彼らは、ワーキングメモリの測定値が、数学と一般的な言語能力との関連を単に再現するのではなく、数学的パフォーマンスに独自の貢献をしたことを見出しました。
別の6年間の縦断研究では、AllowayとAlloway(2010)は5歳の子供たちのデータを収集し、6年後の学業成績を調査しました。早期のワーキングメモリパフォーマンスは、IQを分析に含めた後でも、後の読み書き能力と計算能力を予測しました。実際、ワーキングメモリは、研究で使用されたIQ測定値よりも、後の学業成績の強力な予測因子でした。
Blankenshipと共同研究者(2015)も同様に、IQと年齢を統計的に制御した後、ワーキングメモリが数学的流暢さと計算における独自の変動を説明したと報告しました。Friso-van den Bosらの大規模なメタアナリシス(2013)も、小学校の研究全体でワーキングメモリと数学との間に一貫した関係を見出しましたが、その関係の強さは、測定されたワーキングメモリと数学タスクのタイプによって異なりました。
これらの発見を誇張すべきではありません。ワーキングメモリと知能は大きく重複しており、統計的制御ではそれらを独立した心理的メカニズムとして完全に分離することはできません。また、市販のワーキングメモリトレーニングが必ずしも知能や数学の大幅な改善につながることを、この証拠が示唆しているわけでもありません。
より狭い結論はそれでも重要です:測定された知能が類似している子供たちの間で、情報を保持、更新、操作する能力の違いは、依然として数学的パフォーマンスの違いを予測します。
これはAIを理解するための重要な手がかりを提供します。人間の数学的パフォーマンスが部分的にワーキングメモリのボトルネックによって上限されているのであれば、機械に巨大な記号ワークスペースを与えることは、競争の性質を変えます。機械は、人間のパフォーマンスを抑制する認知的限界にあまり制約されないため、数学的に知的であるように見えるかもしれません。
コンテキストウィンドウは巨大なノートである
最新の言語モデルは、一度に膨大な数のトークンを処理できます。このシーケンスには、元の質問、定義、例、中間計算、そしてモデル自身の以前の推論が含まれる場合があります。
コンテキストウィンドウは人間のワーキングメモリと同一ではありません。それは、巨大な外部ノートブックと、そこに書かれたものを検索・使用するための不完全なシステムを組み合わせたものとして理解する方が良いでしょう。
この区別は重要です。
人間は能動的な内部記憶の一形態を持っています。私たちは、何も言ったり書いたりすることなく、静かに数を選び、それを心に留め、変換し、新しい値に置き換えることができます。
標準的な言語モデルは、この種のプライベートで継続的に更新されるメンタルステートを維持することに関しては、はるかに弱いです。それらの最も安定した記憶の形態は、通常、すでに生成されたトークンのシーケンスです。
モデルが次のように書いた場合:
x=6
そして後で次のように書いた場合:
x+3=9
これらのステートメントはコンテキスト内に残ります。モデルは、次のステップを生成する際にそれらに再び注意を払うことができます。
したがって、その推論はしばしば外部化されます。テキストは完了した思考プロセスの単なる報告ではありません。テキストは、推論が発生するメカニズムの一部です。
人間もメモ用紙を使うときに同様のことを行います。主な違いは規模です。
助けのない人間は、同時に5つの見慣れない条件をアクティブに保つのに苦労するかもしれません。AIは、数十または数百の条件を明示的な形式で保持できます。
これは、長いコンテキスト内のすべての項目が完全に取得されることを意味するわけではありません。モデルは関連情報を見落としたり、注意散漫になったり、詳細を見失ったりすることがあります。宣伝されているコンテキスト長は、完全に利用可能なメモリと同じではありません。
それにもかかわらず、潜在的な容量の違いは巨大です。
なぜこれが特に数学にとって重要なのか
コンテキストウィンドウの利点は、あらゆる種類の推論に等しく役立つわけではありません。
それは特に数学にとって重要です。なぜなら、数学的推論は異常にうまく明示的な記号に変換できるからです。
数学的問題の関連要素のほぼすべてを書き留めることができます:
- 仮定;
- 定義;
- 既知の方程式;
- 現在の目標;
- すでに証明された結果;
- 除外されたケース;
- 各ステップが有効である条件。
一度書き留められると、この情報は安定します。
証明の冒頭で(x)が整数と定義されている場合、証明が明示的に定義を変更しない限り、それは整数であり続けます。厳密な不等式が、気分の変化、文脈、または解釈のために、非厳密な不等式に徐々に変わることはありません。
数学的記号は曖昧さを減らすように設計されています。
これにより、数学は巨大なテキストワークスペースを通じて動作する知能にほぼ完璧に適合します。
次のことを覚えておく必要がある問題について考えてみましょう:
- nは奇数である;
- pは素数である;
- x≠0
そして、議論の一方の枝がすでに矛盾を生み出していること。
人間は基本的な戦略を理解するかもしれませんが、x≠0を確立する前にxで割ってしまうかもしれません。そのエラーは、知性の欠如によるものではないかもしれません。それは簿記の失敗かもしれません。
AIは各段階でアクティブな制約を再提示できます:
(n)が奇数、(p)が素数、そして(x≠0)であるという仮定の下で作業しています。
コンテキストは、推論状態の台帳になります。
多くの困難な数学的問題には、最初の方に深い洞察が含まれていますが、その後には、式の展開、ケースのチェック、変換を通じた条件の伝達、そして最終的な結論がすべての以前の仮定と互換性があることを確認するなど、多くの地味な作業が含まれます。
機械は、ここで優位性を得るために、人間よりも深い洞察を持つ必要はありません。それは単に、長い一連の操作を完了しながら、問題全体の状態を保持するのに適しているだけかもしれません。
長い推論チェーンは人間の能力を超える可能性がある
数学は高度に構成的です。
A → B → C → D
各ステップが有効であり、チェーンが正確に維持されていれば、結論は導かれます。
大きな作業スペースは、モデルが糸を見失う前に、はるかに長いチェーンを構築することを可能にします。
これは、問題の難易度が個々のステップの難易度だけに依存するわけではないため重要です。それは、調整する必要があるステップの数にも依存します。
人は、100ステップの議論のすべての局所的な推論を完全に理解できる能力がありながら、依然として全体的な議論を単独で生成できないかもしれません。問題は、その人のグローバル構造を維持する能力を超えています。
AIは、ほぼすべてを書き出すことによって、潜在的に補うことができます。
これは、追加の「思考時間」がモデルのパフォーマンスを向上させることが多い理由を説明しているかもしれません。より多くの計算により、システムはより多くの中間状態を生成し、代替の分岐を調べ、部分的な結論を保持することができます。
より深い思考のように見えるものは、時には、はるかに大きなノートの中で行われるより広い探索であることがあります。
非公式な推論は同じようには機能しない
次に、数学的問題と社会的な質問を比較してみましょう:
マリアが突然メッセージの返信を止めたのはなぜだろうか?
より大きなコンテキストウィンドウがあれば、AIは数年間のやり取りを調べることができるかもしれません。トーン、タイミング、語彙の変化を特定できるかもしれません。
しかし、決定的な情報は依然として欠けている可能性があります。
おそらくマリアは怒っているのでしょう。おそらく彼女は忙しいのでしょう。おそらく彼女は病気なのでしょう。おそらく彼女は携帯電話を失くしたのでしょう。おそらく彼女は無関係な問題を避けているのでしょう。
どんなに多くの記憶があっても、観察されなかった事実を呼び戻すことはできません。
課題は、単に既知の前提のセットを保持し、それらの結果を導き出すことだけではありません。それは、隠された原因について不確実性の下で推論することです。
非公式な推論は、意味が不安定な概念にも大きく依存します。
「公正」「成功した」「責任ある」「有害な」「知的な」といった言葉は、数学的な変数ほどの正確さを持っていません。それらの意味は、文化、目標、文脈に依存します。
モデルは、議論中のすべての文を記憶しながら、参加者が何を意味しているのかを誤解する可能性があります。
これは、政治分析、歴史解釈、ビジネス戦略、心理的判断にも当てはまります。これらの領域では、中心的な問題はしばしばワーキングメモリの容量ではありません。それは、証拠が不完全で曖昧な場合に、正しい因果モデルを特定することです。
より大きなノートは役立ちますが、根本的な問題を解決するわけではありません。
数学は、推論環境が仮定を明示し、変換を検証可能にするように人工的に構築されているため、異なります。
数学は異常に強いフィードバックを提供する
数学の答えはしばしばチェックできます。
方程式の解は元の式に代入して確認できます。提案された恒等式は数値的に評価できます。コンピュータプログラムは数百のケースをテストできます。形式的な証明アシスタントは、すべての推論が受け入れられたルールから導かれているかどうかを検証できます。
これはAIにとって理想的な環境を作り出します。
モデルは、コンテキストを使用して解を生成するだけでなく、代替アプローチを記録し、矛盾を特定し、以前の間違いを修正することもできます。
より非公式な領域では、フィードバックははるかに弱いです。
説得力のある歴史的説明は、決定的に検証することが不可能かもしれません。ビジネス戦略は、数年後までそれが正しかったかどうかを明らかにしないかもしれません。心理的解釈は、永久に不確実なままかもしれません。
これらの分野では、長く一貫した議論であっても、完全に間違っている可能性があります。
数学は、明示的な中間状態を生成、保存、検証できるシステムを報酬します。これらはまさに、コンテキストウィンドウ、スクラッチパッド、コード実行、および形式検証が強化する能力です。
これは本当にワーキングメモリなのか?
一部の研究者は、コンテキストウィンドウをワーキングメモリと説明することに異議を唱えるでしょう。
彼らには一理あります。
人間のワーキングメモリは単なるストレージバッファではありません。それは注意、抑制、継続的な更新、そして内部表現の能動的な操作を含みます。
言語モデルのコンテキストはより受動的です。以前のトークンは固定されたままです。モデルは文字通り以前の行に戻ってそれを置き換えることはできません。それは既存の記録に基づいて新しいトークンを生成します。
したがって、最も正確な説明は、拡張された記号ワーキングメモリかもしれません。
モデルは、いくつかの点では人間よりもプライベートなメンタルメモリが弱いですが、他の点でははるかに大きな明示的なメモリを持っています。
人間は、少数の内部状態を静かに維持することに優れています。AIは、巨大な書面記録を操作することに優れています。
数学においては、後者の能力の方がしばしば価値が高いかもしれません。
形式的な推論は、すべての関連状態がプライベートであることを必要としません。それどころか、仮定と中間ステップが明示されると、数学は改善されます。
AIの明らかな弱点、すなわち「独り言を言う」傾向は、ドメイン自体が書かれた記号から構築されている場合には利点となります。
知能か、認知アーキテクチャか?
これはより広範な疑問につながります:AIが人間よりも「数学に優れている」と言うことは何を意味するのでしょうか?
2人の人に同じ数学的問題を与えられると想像してください。
一人はそれを完全に頭の中で解かなければなりません。もう一人は無制限の紙、完璧なメモ、すべての以前の計算への即時アクセス、複数のアプローチを並行して試す能力、そして各結果をチェックする機械を受け取ります。
もし後者の人が勝った場合、私たちは後者の人がより高い生の数学的知能を持っていると結論付ける必要はないでしょう。私たちは代わりに、後者の人がそのタスクのためにずっと優れた認知アーキテクチャを持っていたと結論付けるかもしれません。
同じ注意が、人間とAIを比較する際にも適用されるべきです。
AIシステムは、膨大な量の数学的資料でトレーニングされています。それらは多くの可能な解を生成し、コードを使用し、ツールを参照し、長い推論トレースを保存できます。
したがって、それらのパフォーマンスはいくつかの要因の産物です:数学的知識、推論能力、記憶容量、探索、そして検証。
私たちは、それが最も哲学的にエキサイティングなコンポーネントであるため、推論に焦点を当てる傾向があります。しかし、記憶は私たちが思っているよりも多くの仕事をしているのかもしれません。
検証可能な予測
ワーキングメモリ仮説は明確な予測を生み出します。
AIの利点は、次のような問題で最大になるはずです:
- 多くの相互作用する制約;
- 長い計算;
- 広範なケース分析;
- 以前の結果への繰り返し参照;
- 正確な記号の簿記;
- 大量の形式定義。
その利点は、主に短い概念的な飛躍に依存する問題では小さくなるはずです。
優れた数学者は、重要な課題が問題のまったく新しい表現を見つけることである場合、依然としてAIを上回る可能性があります。しかし、その表現が見つかれば、AIはそのすべての結果を探求する上で優れているかもしれません。
この仮説はまた、モデルの利用可能なコンテキストを削減したり、中間ステップを書き出すことを妨げたりすると、長い数学的タスクでのパフォーマンスが不均衡に低下するという予測もしています。
逆に、人間の外部メモリを拡張すること(明確な記法、図、ソフトウェア、構造化されたメモなど)は、ギャップの一部を狭めるはずです。
したがって、最も公平な比較は、AIと単独で考えている人間との比較ではないかもしれません。それは、同様に強力な外部メモリと検証システムを持つ人間と、そのツールを持つAIとの比較かもしれません。
AIは私たちを凌駕しているのかもしれない
数学的AIの台頭は、しばしば機械知能の人間知能に対する勝利として描写されます。
その解釈は時期尚早かもしれません。
AIは確かに、より優れた推論戦略を学習しているように見えます。それは最終的に、私たちのものと同等またはそれを超える数学的直観の形態を発達させるかもしれません。
しかし、その現在の利点の一部は、より平凡なものである可能性があります。
人間の脳は厳しい制約の下で進化しました。それは限られたワーキングメモリを持ち、疲労し、中間結果を失い、長い見慣れない記号のチェーンを調整するのに苦労します。
AIは同じアーキテクチャに束縛されていません。
それは推論をテキストに変換し、そのテキストを広大な外部認知ワークスペースとして使用できます。数学は、その精度と記号構造のために、この利点が優れたパフォーマンスに最も容易に変換されるドメインです。
したがって、AIが現在数学で人間を打ち負かしている本当の理由は、私たちが想像するよりも神秘的ではないかもしれません。
おそらく最も啓示的な比較は、平均的な人間とAIとの比較ではなく、2つの非常に異なる種類の天才との比較でしょう。
物理学者のユージン・ウィグナーは、ジョン・フォン・ノイマンとアルバート・アインシュタインの両方を知っていましたが、フォン・ノイマンほど「速く鋭い」心を持った人物は他に誰もいなかったと書いています。フォン・ノイマンは膨大な量の情報を吸収し、信じられないほど複雑な議論を追跡し、驚くべき速さで数学分野間を移動できました。しかし、ウィグナーはアインシュタインの理解をより深く、より洞察力があり、より独創的だと考えていました。フォン・ノイマンはより大きな生の知的処理能力を持っていたかもしれませんが、アインシュタインは問題自体を再概念化する可能性が高かったのです。
現在のAIは、後者よりも前者の能力の機械増幅版のように見えます。それは異常に速く、幅広く、膨大な量の明示的な情報を保持・操作する能力があります。それは多くの可能性を検索し、長い推論チェーンを記憶し、助けのない人間が一致できない規模で形式的な推論を実行できます。しかし、それは必ずしもアインシュタイン的な深さ、すなわち受け入れられたフレームワークを捨て、隠された概念的なエラーを特定し、現実を見るための根本的に新しい方法を発明する能力を持っていることを意味するわけではありません。
このアナロジーをあまり押し広げすぎるべきではありません。フォン・ノイマン自身も、単なる速い計算機ではなく、非常に独創的な思考家でした。しかし、ウィグナーの区別は何か重要なものを捉えています。現在のAIが数学で人間を打ち負かしているのは、アインシュタインのように考えることよりも、フォン・ノイマンの速度と幅広さに似たものと、事実上無限のノートを組み合わせることによるのかもしれません。
次の大きな閾値は、AIが既存の問題を人間よりも速く解決すること以上のことができるようになったときに達成されます。それは、AIが問題が誤って定式化されていることに気づき、それを理解するための根本的に優れた方法を発明したときに達成されます。
参考文献
Alloway, T. P., & Alloway, R. G. (2010). Investigating the predictive roles of working memory and IQ in academic attainment. Journal of Experimental Child Psychology, 106(1), 20–29. DOI: 10.1016/j.jecp.2009.11.003.
Alloway, T. P., & Passolunghi, M. C. (2011). The relationship between working memory, IQ, and mathematical skills in children. Learning and Individual Differences, 21(1), 133–137. DOI: 10.1016/j.lindif.2010.09.013.
Blankenship, T. L., O’Neill, M., Ross, A., & Bell, M. A. (2015). Working memory and recollection contribute to academic achievement. Learning and Individual Differences, 43, 164–169. DOI: 10.1016/j.lindif.2015.08.020.
Friso-van den Bos, I., van der Ven, S. H. G., Kroesbergen, E. H., & van Luit, J. E. H. (2013). Working memory and mathematics in primary school children: A meta-analysis. Educational Research Review, 10, 29–44. DOI: 10.1016/j.edurev.2013.05.003.
No posts