Chain-of-Thought (CoT) 推論は、実際の環境では必ずしも忠実ではない
Chain-of-Thought Reasoning in the Wild Is Not Always Faithful (arxiv.org)
要約
本研究は、大規模言語モデル(LLM)のChain-of-Thought(CoT)推論が、意図しないプロンプトのバイアスや、モデル自身の内部的なバイアスによって、必ずしも正確な結論に至らないことを示しています。特に、単純な比較問題で矛盾した回答を生成したり、数学問題で不正確な推論を正当化したりする「Unfaithful Illogical Shortcuts」が確認されました。CoTはモデルの内部プロセスを完全に説明するものではなく、エージェントや安全性が重要な場面での使用には注意が必要です。
全文翻訳
Chain-of-Thought推論は、実際の利用では必ずしも忠実ではない
要旨: 最近の研究では、プロンプトに明示的なバイアスが含まれている場合、モデルはそのバイアスをChain-of-Thought(CoT)出力で言及しないことが多く、言語化された推論がモデルの結論に至るプロセスを誤って示す(不忠実性)ことが示されています。本研究では、人工的なバイアスを追加したり、モデルの出力を編集したりすることなく、自然な言葉遣いの、敵対的でないプロンプトでも不忠実なCoTが発生することを示します。「XはYより大きいか?」と「YはXより大きいか?」という質問を別々に提示された場合、モデルは矛盾しているにもかかわらず、両方に系統的に「はい」または両方に「いいえ」と答えることを正当化するために、表面上は一貫した議論を生成することがあります。我々は、これがモデルの「はい」または「いいえ」への暗黙的なバイアスによるものであるという予備的な証拠を提示し、これを「Implicit Post-Hoc Rationalization(暗黙の後付け合理化)」と名付けます。我々の結果は、プロダクションモデルで最大13%の発生率を示しており、フロンティアモデルはより忠実ですが、DeepSeek R1(0.37%)やSonnet 3.7(思考付きで0.04%)のような思考モデルを含め、どれも完全に忠実ではありません。また、我々は、モデルが微妙に非論理的な推論を使用して、難しい数学の問題に対する推測的な回答を厳密に証明されたように見せかける「Unfaithful Illogical Shortcuts(不忠実な非論理的ショートカット)」も調査します。我々の発見は、CoTは出力の評価に役立つ可能性があるものの、モデルの回答を生成した内部プロセスを完全に説明するものではなく、エージェント的な、あるいは安全性が重要な設定では注意して使用されるべきであることを示唆しています。
| コメント: | 第43回国際機械学習会議(ICML 2026)で発表 |
| 件名: | 人工知能 (cs.AI); 計算と言語 (cs.CL); 機械学習 (cs.LG) |
| 引用: | arXiv:2503.08679 [cs.AI] |
| (またはこのバージョンについては arXiv:2503.08679v6 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2503.08679 arXiv発行のDOI(DataCite経由) |
投稿履歴
From: Iván Arcuschin [メールを表示]
[v1] 2025年3月11日(火)17:56:30 UTC (4,311 KB)
[v2] 2025年3月13日(木)17:49:58 UTC (4,348 KB)
[v3] 2025年3月19日(水)19:20:42 UTC (4,349 KB)
[v4] 2025年6月17日(火)17:59:57 UTC (2,337 KB)
[v5] 2026年5月29日(金)17:38:22 UTC (2,378 KB)
[v6] 2026年6月16日(火)17:36:22 UTC (2,378 KB)