arXiv Artificial Intelligence· Hosein Hasanbeig, Priyanshu Gupta, Ashish Tiwari, Vu Le, Sumit Gulwani·· 2 小时前AI 评分36
RubricCraft:从候选解法差异中生成评分标准
RubricCraft: Where Solutions Diverge, Criteria Emerge
AI 导读
RubricCraft 将评分标准构建视为由候选解法引导的自然语言规范生成,通过比较不同求解轨迹对任务要求的满足与违反来提炼评分条目。在 SpreadsheetBench v2 上,其评分标准误通过的错误输出比例为 29.5%,低于同一模型仅凭提示词生成的 42.6%,且未误判基准自带检查器接受的任何输出。
来源:arXiv Artificial Intelligence · arxiv.org