惑わされないでください – LLMは推論しません
Don't be fooled–LLMs don't reason (technologyreview.com)
要約
この記事は、現在のLLMが「推論」しているように見える振る舞いは、実際にはAlphaGoのような真の推論能力とは異なると主張しています。AlphaGoは、直感(ポリシーネットワーク)と探索(ゲームツリー)を分離して意思決定を行いましたが、現在のLLMは、単に次のトークンを予測するシステム1的なアプローチを繰り返しているに過ぎません。LLMの「思考連鎖(Chain of Thought)」も、実際には後付けで生成されることが多く、推論の過程が不透明で検証不可能であるという問題点を指摘しています。真に信頼できるAIを開発するには、AlphaGoのような、明示的で検証可能な推論メカニズムが必要だと論じています。
全文翻訳
LLM(大規模言語モデル)に騙されないでください – LLMは推論しません
2016年3月のソウルの午後、私が開発に携わったプログラムが囲碁盤の5列目に石を置くのを見ました。それは人間の対戦相手への贈り物のように見えました。5番勝負の第2局、37手目はあまりにも奇妙に見えたため、解説者の中にはプログラミングのバグだと考える人もいました。
それはバグではありませんでした。AlphaGoはそのゲームに勝利し、最終的に史上最高のプロ囲碁棋士の一人であるイ・セドル氏を4勝1敗で破りました。イ氏は後で「AlphaGoは確率計算に基づいており、単なる機械だと思っていました」と語っています。「しかし、この手を見たとき、考えが変わりました。確かに、AlphaGoは創造的でした。」
1997年にディープ・ブルーが当時の世界チェスチャンピオン、ガルリ・カスパロフ氏を破ったとき、それは人間がハードコードしたルールを使用し、プレイヤーごとに6~8手先を読み、毎秒2億のチェスポジションを評価することで達成されました。囲碁はそれよりもはるかに複雑なゲームです。石の価値は、遠いグループや陣地が数十手の間にどのように展開されるかに依存します。可能な結果のほんの一部を計算するだけでも、スーパーコンピューターで数十億年かかるでしょう。勝利するためには、AlphaGoは一目で誰が優勢かを感知し、人間が考えもしなかった手を考案する必要がありました。
だからこそ、AlphaGoとイ氏の対局の多くの解説では、37手目を純粋な機械的直感の閃きとして描いています。しかし、それは誤解です。実際には、この創造的な選択を可能にしたのはAlphaGoの推論能力であり、これは今日のAIが欠いている能力です。もし私たちが将来のAIシステムに、科学や医療などの分野で信頼できる結果と真に斬新な洞察を生み出してほしいと願うなら、この種の真の推論能力をAIに装備する必要があります。
AlphaGoは2つのシステムで構成されています。最初のポリシーネットワークは、強い人間ならどのような手を打つかを推測するように訓練されました。この「直感的」な部分は、37手目を特別なものではないと見なしました。専門家プレイヤーが打つ可能性が1万分の1程度のプレイです。AlphaGoがそれを選択したのは、プログラムの探索メカニズムであり、それは即時の妥当性を超えて、提案された手の将来の結果を評価しました。それは、数千の分岐を持つゲームツリーを明示的に構築して探索しました。各分岐は異なる可能な未来を表しています。
行動科学における有名な理論で、ダニエル・カーネマンによって広められたものは、人間の思考の2つのモードを区別しています。システム1は速く、直感的で、労力を要しません。システム2は遅く、段階的で、熟考的です。AlphaGoは、その分割の顕著な機械的類推を提供しました。そのネットワークは、この手は有望そうだ、このポジションは勝ちそうだ、といったひらめきを提供し、その探索は、それらのひらめきを続く手や応手に対してテストすることで、熟考を提供しました。人間の認知と同様に、どちらか半分だけでは機能しません。直感だけでは37手目を選ぶことは決してなく、ブルートフォース検索では、多くの可能な手の中からふるいにかけるのに苦労したでしょう。
これは、今日のAIモデルが動作する方法とは著しく異なります。大規模言語モデルは、次に来るトークンを繰り返し選択します。これはシステム1の動作に相当します。速く、連想的で、人々が書くほぼすべての主題にわたって驚くほど優れたパターン補完を行います。
ChatGPTが登場してから間もなく、この分野は、言語の流暢さだけでは真の有用性には不十分であることに気づきました。見かけ上の解決策は、熟考するモデルを作成することでした。すぐに回答するのではなく、問題を分解し、部分的な結果を引き継ぎ、後続の推論に影響を与える中間ステップを生成できるようになりました。これは「思考連鎖(chain of thought)」として知られるプロセスです。
その進歩は、特に数学とコーディングにおいて、現実のものとなっています。しかし、AlphaGoの探索とは異なり、これは真に独立した推論メカニズムを導入するものではありません。中間的な推論は、モデルが回答を確定する前に、同じ次トークン予測プロセスによって、より長く繰り返されることで生成されます。
チャットボットが行うことが、科学者が認識するような推論の資格を得るのを妨げている3つの欠点があります。第一に、これらのモデルは通常、明示的で永続的かつ検査可能な認識状態を維持していません。モデルが検討している仮説、さまざまな説明に対する自信、評価している証拠、保留している未解決の質問を明らかにするオープンな台帳はありません。これらはすべて、新しい情報が到着するにつれて体系的に改訂されるべきものです。
第二に、システムが知っていることと、その知識をどのように操作するかの間に、明確な分離がありません。知識と推論はニューラルネットワークの重みの中に不可分に織り込まれており、独立して明示的に表現された信念のセットはありません。第三に、チャットボットが生成する思考連鎖は熟考のように見えますが、研究により、ボットはしばしば事後的にそれらを捏造し、ある経路で回答に到達しながら別の経路を報告することが示されています。
これは問題です。なぜなら、医療、工学、科学研究など、私たち全員が関心を持つハイステークスの応用において、システムが結論に至ったことだけでなく、その結論に至った方法も重要だからです。間違いが発生した場合(例えば、医療診断や治療において)、何がうまくいかなかったのかを特定する必要があります。システムの推論に問題があったのか、無効な証拠を参照したのか、あるいは誤った仮定をしたのか?
だからこそ、私は最近Google DeepMindでの職を辞しました。私は、機械推論に対する新しいアプローチが必要だと信じています。それはAlphaGoのアーキテクチャから学ぶものです。AlphaGoは、与えられたポジションについて知っていることの記録、つまりゲームツリーを維持します。このデータ構造には、AlphaGoが検討したすべてのバリエーション、可能な未来が含まれており、各手とポジションは、そのニューラルネットワークによって行われた判断で注釈が付けられています。推論が進むにつれて、AlphaGoはゲームツリーを更新し、最終的にそこに含まれる情報を合成して、どの手を選択するかを決定します。
同様に、一般的な推論のために、システムは、システムが確定していると見なしていること、疑っていること、除外したこと、どの質問が開いたままになっているかを表現する認識状態を維持すべきです。推論は、認識状態を変更して知識を進歩させ、不確実性を減らす一連の手として理解できます。つまり、結果を推論し、問題を部分に分解し、そして最も重要なこととして、次にどの質問を尋ねるか、どの計算を実行するか、またはどの実験を実行するかを決定することです。
もちろん、オープンワールドの推論は、囲碁やチェスのようなボードゲームをプレイすることよりも困難です。現実世界では、現在の状況は部分的にしか知られておらず、利用可能な行動のセットは大きく変動し、行動の結果は確率的または未知です。
しかし、LLMやその他のニューラルモデルにおける最近の進歩は、現在、そのような一般的な推論問題に取り組む能力を私たちに与えています。例えば、LLMは、既知のことと利用可能なリソースに基づいて、問題に取り組む方法を提案できます。APIやコードを介してツールと対話でき、主張が利用可能な証拠によって裏付けられているかどうかを評価するのに役立ちます。
最も重要なのは、システムを正直に保つために、システムの独立した部分が、不確実性を実際にどれだけ解消したかに基づいて各手を評価し、変更が証拠によって裏付けられている場合にのみ信念を更新する必要があります。これらのルールが強制されれば、モデルは認定された知識を蓄積し、過去の推論経験から学習することによって推論ポリシーを改善できます。このようなシステムは、科学的方法を強化したものと考えることができ、精査に耐えうる知識を生み出すことを目的としています。
システム1を大きくすることで、信頼できる機械知能に到達できるとは思いません。スケールは直感を鋭くしますが、直感をより熟考的にするわけではありません。37手目が重要だったのは、機械がポジションを保持し、可能な未来を評価し、人工的な本能が拒否する可能性が高い手を選択したからです。
社会は、創薬、材料、気候、診断など、ボードが囲碁盤とは全く似ておらず、ルールが与えられない分野で、このような創造的な手を必要としています。私たちは、事後的に説得力のある物語から生じるのではなく、証拠、推論、信念の改訂の監査可能なシーケンスから結論が生じる、推論するシステムからのみ、そのような洞察を得ることができるでしょう。
トール・グレーペルは、ユニバーシティ・カレッジ・ロンドンの機械学習の教授です。彼はDeepMindのAlphaGoチームのコアメンバーであり、AIが人間の幸福に貢献するように取り組んでいます。