arXiv Artificial Intelligence· Ethan Ludwick, Yu-Chung Hsiao·· 18 小时前AI 评分34
SANE:面向 LLM 评审器的自动化评分器专属蜕变测试框架
SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges
AI 导读
SANE 是一个基于智能体的框架,可将随机评估器的行为要求编码为可复用的智能体指令,自动为每个评分器推导扰动配方与预期分数关系。在五个领域中,SANE 生成的已验证测试族数量是 Judge Reliability Harness(JRH)的 3.7 倍,并在每个领域都检测出评分器缺陷,包括 JRH 未能检出的专业性与毒性领域。
来源:arXiv Artificial Intelligence · arxiv.org