研究揭示LLM置信度校准对测量协议的敏感性

2026年10月26日，arXiv Artificial Intelligence 刊出 Hankyeol Kim 与 Pilsung Kang 的研究，指出 LLM 置信度校准的读数对测量协议敏感。研究在五个开源 LLM 和四个问答数据集上，固定每个答案、其口头置信度与正确性标签，仅改变测量协议，发现 token 置信度读数会随前文语境变化，使两种置信度评分的差距移动约等于差距本身的幅度，报道给出的例子为 ECE 0.287 对 0.304、AUROC 0.189 对 0.145。目前该事件仅有这一篇主报道，尚无后续跟进报道，研究结论的适用范围限于上述五个开源模型与四个问答数据集。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。