跳到正文
arXiv Artificial Intelligence· Jingjie Qiu, Sheldon Yu, Xunyi Jiang, Jiajin Liu, Zihan Huang, Zhendong Chu, Tong Yu, Julian McAuley, Junda Wu·· 2 小时前AI 评分32

潜在思维链真的在推理吗?一项统一分类法研究

Does Latent Chain-of-Thought Actually Reason? A Single, Unifying Taxonomy for Latent Reasoning

AI 导读

研究覆盖 21 种模型-任务配置(3 种训练方案、3 类推理任务、2 种骨干网络),结合链删除、内容替换与探针和轨迹分析,检验潜在思维链是否影响答案、编码了什么以及状态如何变化。逻辑任务上 COCONUT 常在链开始前就已给出可读答案,状态早早稳定,删除链后预测几乎不变;算术任务上所有测试方案都依赖链内容。作者据此提出分类法,区分链所表示的内容与模型如何使用链。

来源:arXiv Artificial Intelligence · arxiv.org