arXiv Artificial Intelligence· Yang Ba, Michelle V. Mancenido, Rong Pan·· 20 小时前AI 评分26
如何评估 LLM-as-a-Judge 的实例级可靠性？SCUR 方法提出无标签风险评分
Can We Trust This Evaluation? Instance-Level Reliability of LLM-as-a-Judge
AI 导读
针对 LLM-as-a-judge 多数投票无法保证单项评估可靠的问题，研究者提出 SCUR（Structured Cross-fitted Uncertainty Risk），一种基于评审团行为、无需标签的实例级可靠性估计方法。
来源：arXiv Artificial Intelligence · arxiv.org