arXiv Artificial Intelligence· Yuyang Dai, Yuting Tang, Futoshi Futami, Takashi Ishida·2026-10-15 12:00· 18 小时前AI 评分22

ProbabilityBench：用精确真值不确定性评测与校准模型

ProbabilityBench: Model Evaluation and Calibration with Exact Ground-Truth Uncertainty

AI 导读

ProbabilityBench 是一个提供实例级精确类别概率的基准，覆盖同行评审、隐蔽信息传递和信用风险三个模拟文本域，通过显式定义数据生成过程解析计算精确类别概率与 Bayes error，并保证自然语言备忘录严格保留生成概率。