arXiv Artificial Intelligence· Qifeng Lei, Zhiyong Yang, Zitai Wang, Shilong Bao, Linchao Zhang, Qianqian Xu, Qingming Huang·· 2 小时前AI 评分38
UtilityBench：衡量错误代价不同时语言模型的效用
UtilityBench: Measuring Language Model Utility When Errors Have Different Costs
AI 导读
研究者提出 UtilityBench，一个含 15,000 条可验证答案实例的大规模基准，用 Best-Worst Scaling 量化错误严重程度，并引入 UtilityAUC 指标衡量模型响应排序下的效用曲线面积。
来源：arXiv Artificial Intelligence · arxiv.org