arXiv Artificial Intelligence· Russell Yang, Ruishi Chen, Pierce Kelaita, Riya Ranjan, Sibo Ma, Charles Dickens, Matthew Guillod, Megan Ma, Julian Nyarko·· 2 天前AI 评分39
JudgmentBench：对比评分标准与偏好评估在质量评测中的效果
JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment
AI 导读
研究者发布 JudgmentBench，包含 30 个真实法律任务及执业律师标注的 1,539 条评分标准打分与 1,530 条成对偏好判断，是首个在同一批专家、同一批任务上同时采集两类监督信号的高专业领域公开数据集。
来源：arXiv Artificial Intelligence · arxiv.org