arXiv Artificial Intelligence· HyunJoon Jung, William Na·2026-10-15 12:00· 18 小时前AI 评分31

基于LLM智能体评判的评估中，分数与覆盖度为何出现对数与幂律分化

Logarithmic Scores, Power-Law Discoveries: Disentangling Measurement from Coverage in Agent-Based Evaluation

AI 导读

通过两个模型对、15项任务共960次会话，基于人设的LLM智能体评判在图灵式验证中与人类评分者难以区分。研究进一步发现分数-覆盖度分离：质量分数随评审团规模呈对数增长，而独特问题发现呈次线性幂律增长，分数饱和速度约为发现速度的两倍。消融实验表明，这种缩放特性依赖结构化人设条件，而非简单提示词。