跳到正文
arXiv Artificial Intelligence· Hosein Hasanbeig, Priyanshu Gupta, Ashish Tiwari, Vu Le, Sumit Gulwani·· 2 小时前AI 评分36

RubricCraft:从候选解法差异中生成评分标准

RubricCraft: Where Solutions Diverge, Criteria Emerge

AI 导读

RubricCraft 将评分标准构建视为由候选解法引导的自然语言规范生成,通过比较不同求解轨迹对任务要求的满足与违反来提炼评分条目。在 SpreadsheetBench v2 上,其评分标准误通过的错误输出比例为 29.5%,低于同一模型仅凭提示词生成的 42.6%,且未误判基准自带检查器接受的任何输出。

来源:arXiv Artificial Intelligence · arxiv.org