跳到正文
arXiv Artificial Intelligence· Ethan Ludwick, Yu-Chung Hsiao·· 18 小时前AI 评分34

SANE:面向 LLM 评审器的自动化评分器专属蜕变测试框架

SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges

AI 导读

SANE 是一个基于智能体的框架,可将随机评估器的行为要求编码为可复用的智能体指令,自动为每个评分器推导扰动配方与预期分数关系。在五个领域中,SANE 生成的已验证测试族数量是 Judge Reliability Harness(JRH)的 3.7 倍,并在每个领域都检测出评分器缺陷,包括 JRH 未能检出的专业性与毒性领域。

来源:arXiv Artificial Intelligence · arxiv.org