人間にとってのChain of Thought

人間にとってのChain of Thought

この数週間、私は面接を行ってきましたが、しばしば「考えを声に出して話してください、そうすればあなたの思考プロセスを追うことができます」と切り出しています。これは主に私が読心術の使い手ではないからですが、候補者がフリーズするのを避けるのにも役立ちます。しかし、これは非常に「面接らしい」スキルであり、実際の開発とは異なります。

もう一つ私がやっていることは、2016年のパズルゲームであるThe Witnessをプレイすることです。このゲームは、ますます複雑な隠されたルールを持つ迷路を解くことに焦点を当てています。ゲームは退屈なプレゼンテーションで、音楽も興味深い対話も、ストーリーもありません。最初はゲームをかなり退屈だと感じました。多くの時間を可能性と組み合わせ論の格闘に費やします。進歩が見られないときは非常にフラストレーションがたまることがあります。

しかし、面接に触発されて、私は自分の思考プロセスを声に出して自分自身に説明し始めました。私は少し変な人に見えますが、自分自身には「観客が一人だけのストリーマーだ」と言い聞かせています。そして驚いたことに、それは本当にうまく機能しています。ゲームがより生き生きとしてエネルギッシュになるだけでなく、パズルを解くのがより効果的であることにも気づきました。

私は当初、これに困惑していました。常識的には、自分の考えを、考える速度や正確さで表現することはできないはずです。特に、推論の大部分が幾何学的で、言葉で説明するのが難しいパズルゲームではなおさらです。LLMがこのような推論から恩恵を受けることは知られていますが、それはアーキテクチャ上の制限によるものです。それらは前の思考を反復することが文字通りできません。真の再帰を得るためにはトークンを出力する必要があります。

しかし、ラバーダックデバッグのことを思い出しました。ソフトウェアエンジニアリングでは、問題を誰かに説明することがよくあります。しかし、誰に説明するかはプロセスの重要な部分ではありません。それはラバーダックでも構いません。価値は、すべての暗黙の仮定を評価し、思考を優先順位と依存関係で線形に並べ替え、良い抽象化を見つけることを強制することにあります。

これらは、リアルタイムの問題解決にも役立つスキルです。この特定のユースケースには、さらにいくつかの利点があると思います。

• 直感に頼るのではなく、名前付きの形式的なルールと概念を確立することを強制します。つまり、パズルが明示的に設計されているシステムIIを活用することになります。
• 恣意的な選択をしていることを認識することを強制します。バックトラッキングや可能性空間の網羅的な検索に役立ちます。
• エコー記憶を使用してワーキングメモリをわずかに拡張できると思います。
• 偶然にもホーソン効果をトリガーした可能性があります。

このテクニックには適度な効果があるという良い証拠があります。例えば、このメタ研究（n=6000人の参加者）を参照してください。私は間違いなく、将来的にさらに多くの状況でこれを試すつもりです。