arXiv Artificial Intelligence· Nils Schwager, Simon M\"unker, Alistair Plum, Achim Rettinger·· 2 天前AI 评分31
卢森堡语 Next Like Prediction 任务中 token 概率作为置信度估计的评估
Evaluating Token Probabilities as Confidence Estimators in Human Behavior Simulations: A Case Study in Luxembourgish Next Like Prediction
AI 导读
研究在卢森堡语新闻平台的 Next Like Prediction 任务中检验开放权重 LLM 的 token 概率能否作为置信度估计。仅用上下文学习时，Ministral 3（3B、8B）均过度自信，准确率与校准均不及简单统计基线；从 3B 扩到 8B 准确率提升但校准变差，行为历史更长则准确率上升而置信度下降。
来源：arXiv Artificial Intelligence · arxiv.org