HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

中間トークンを推論/思考の痕跡として擬人化することをやめる

Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces (arxiv.org)

266 pointsby nunodonato218 コメント

要約

この論文は、大規模言語モデル(LLM)が推論タスクを解く際に生成する中間トークン(「推論の痕跡」や「思考の痕跡」と呼ばれることがある)を、人間の思考プロセスのように擬人化することの危険性を指摘しています。著者は、この擬人化がモデルの性質や利用方法を誤解させ、不適切な研究につながる可能性があると主張し、コミュニティに対して中間トークンの擬人化を避けるよう呼びかけています。

全文翻訳

タイトル: 立場表明:中間トークンを推論/思考の痕跡として擬人化するのをやめよう!

PDFを表示 HTML (実験的)

要旨: モデルが解法に至る前に出力を生成する中間トークン生成(ITG)は、推論タスクにおける言語モデルの性能を向上させる標準的な手法となっています。これらの「中間トークン」は、「推論の痕跡」あるいは「思考の痕跡」と呼ばれてきました。これは、これらの痕跡を暗黙的に擬人化し、それらが人間が困難な問題を解決する際に取るステップに似ていること、そしてその結果としてエンドユーザーにモデルの思考プロセスの動作を解釈可能な窓として提供できることを示唆しています。本立場表明論文では、この擬人化が無害な比喩ではなく、非常に危険であることを示す証拠を提示します。それは、これらのモデルの性質と効果的な使用方法を混乱させ、疑問のある研究につながります。私たちは、コミュニティに対し、中間トークンのこのような擬人化を避けるよう呼びかけます。

コメント:ICML 2026 で発表予定。[これは v1 のフォークです。このフォークは、背景セクションで v1 と重複しますが、全体的な焦点と、推論の痕跡の擬人化に対する具体的な議論の両方で異なります]
件名:人工知能 (cs.AI)
引用形式:arXiv:2504.09762 [cs.AI]
(または、このバージョンについては arXiv:2504.09762v4 [cs.AI])
https://doi.org/10.48550/arXiv.2504.09762 arXiv発行のDOI (DataCite経由)
ジャーナル参照:ICML 2026

投稿履歴

投稿者: Subbarao Kambhampati [メール表示]
[v1] Mon, 14 Apr 2025 00:03:34 UTC (381 KB)
[v2] Tue, 27 May 2025 16:35:47 UTC (536 KB)
[v3] Fri, 6 Mar 2026 14:36:07 UTC (1,321 KB)
[v4] Tue, 9 Jun 2026 20:08:39 UTC (4,278 KB)