arXiv Artificial Intelligence· Hiroyasu Usami, Keisuke Hara, Ayato Tsuboi, Naohiko Matsuda·2026-10-15 12:00· 19 小时前AI 评分26

LLM 评审的暗电流：LLM 评审可靠性的分层零假设与效用检验

LLM Judges Have Dark Current: Stratified Null and Utility Tests for LLM Judge Reliability

AI 导读

研究提出"暗电流"概念，指 LLM 评审对完全相同的重复样本给出非平局偏好。在 102 条 RewardBench 2 样本上，四个配置-准则组合均报告 0/102 克隆偏好，但严格效用下界 .539 和 .745 未达 .75 工作阈值；另两个配置出现 2/102 克隆偏好却通过中性效用检验。