跳到正文
arXiv Artificial Intelligence· Debojeet Ghosh, Shreyansh Kumar, Ayushman Garg·· 2 小时前AI 评分31

大语言模型置信度信号的测量效度与表征动态:Qwen2.5 五模型审计

Measurement Validity and Representation Dynamics of Confidence Signals in Large Language Models

AI 导读

一项预注册审计在 PopQA、SimpleQA、GSM8K、MATH 上对比 Qwen2.5 五个模型(0.5B-7B)的三种置信度信号,发现基于 prefill 状态的探针在检索任务中约 7% 层深即具信息量,推理任务约 28%。

来源:arXiv Artificial Intelligence · arxiv.org