跳到正文
arXiv Artificial Intelligence· Yize Cheng, Chenrui Fan, Mahdi JafariRaviz, Keivan Rezaei, Soheil Feizi·· 2 小时前AI 评分45

LLM 工具使用中的知行差距:模型自适应工具必要性定义揭示认知与行动脱节

Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

AI 导读

研究提出按各模型实际表现定义"工具必要性",在四个模型的算术与事实问答任务上发现工具调用行为与必要性判断的错配率分别达 26.5-54.0% 和 30.8-41.8%。通过探测隐藏状态,模型对工具必要性的认知信号与驱动实际调用的信号在末层末 token 处近乎正交,多数错配集中在认知到行动的转换环节而非认知本身。

来源:arXiv Artificial Intelligence · arxiv.org