跳到正文
arXiv Artificial Intelligence· Shuyue Stella Li, Priyanka Kargupta, Haocheng Wang, Jinu Lee, Dean Light, Shan Chen, Orevaoghene Ahia, Thomas L. Griffiths, Max Kleiman-Weiner, Jiawei Han, Asli Celikyilmaz, Yulia Tsvetkov·· 2 天前AI 评分47

认知科学视角下的LLM推理:28个认知元素分类与测试时引导提升9.7个百分点

Cognitive Foundations for Reasoning and Their Manifestation in LLMs

AI 导读

研究将认知科学成果整合为涵盖推理不变量、元认知控制、表征与转换操作的28个认知元素分类体系,并据此评估了18个模型在文本、视觉、音频上的192K条推理轨迹及1,346条人类出声思维记录。基于这些模式开发的测试时推理引导能自动搭建成功的推理拓扑,使最强模型在非结构化问题上的准确率提升9.7个百分点。对1.6K篇LLM推理论文的元分析显示,研究界集中于易量化元素,很少针对自我意识。

来源:arXiv Artificial Intelligence · arxiv.org