Chain-of-Thought (CoT) 推論は、実際の環境では必ずしも忠実ではない

最近の研究では、プロンプトに明示的なバイアスがある場合、モデルはしばしばそのバイアスに言及することを省略し、CoT（Chain-of-Thought）出力がモデルの結論に至る過程の不正確な描写を与える（不忠実さ）ことが示されています。本研究では、人工的なバイアスを追加したり、モデルの出力を編集したりすることなく、自然な言葉遣いの、敵対的でないプロンプトでも不忠実なCoTが発生することを示します。私たちは、「XはYより大きいか？」と「YはXより大きいか？」という質問を別々に提示された場合、モデルは矛盾にもかかわらず、両方に「はい」と答えるか、両方に「いいえ」と答えることを正当化するために、表面的には一貫した議論を生成することがあります。私たちは、これがモデルの「はい」または「いいえ」への暗黙的なバイアスによるものであるという予備的な証拠を提示し、これを「Implicit Post-Hoc Rationalization（暗黙の後付け合理化）」と名付けます。私たちの結果は、本番モデルで最大13%の発生率を示しており、フロンティアモデルはより忠実ですが、DeepSeek R1（0.37%）やSonnet 3.7（思考付きで0.04%）のような思考モデルを含め、完全に忠実なものはありません。また、「Unfaithful Illogical Shortcuts（不忠実な非論理的ショートカット）」も調査しており、モデルが微妙に非論理的な推論を使用して、難しい数学問題に対する推測的な回答を厳密に証明されたものに見せかけます。私たちの発見は、CoTがアウトプットの評価に役立つ可能性がある一方で、モデルの回答を生み出した内部プロセスを完全に説明するものではなく、エージェントや安全性が重要な設定では注意して使用されるべきであることを示唆しています。