arXiv Artificial Intelligence· Hankyeol Kim, Pilsung Kang·2026-10-26 12:00· 2 小时前AI 评分31

同一答案，不同置信度：LLM 置信度校准中的协议敏感性

Same Answer, Different Confidence: Protocol Sensitivity in LLM Confidence Calibration

AI 导读

在五个开源 LLM 和四个问答数据集上，固定答案、口头置信度与正确性标签、仅改变测量协议后，token 置信度的读数会随前文语境变化，使两种置信度评分的差距移动约等于差距本身的幅度（ECE 0.287 对 0.304，AUROC 0.189 对 0.145）。