arXiv Artificial Intelligence· Michael Tian-Yue Liu, Anne Harrington, Trevor Darrell, Yutong Bai·· 3 小时前AI 评分22
评判评判者：Rubrics as Rewards 中的置信度与分歧
Judging the Judges: Confidence and Disagreement in Rubrics as Rewards
AI 导读
研究显示，在 RaR-Medicine 和 RaR-Science 上训练 Qwen3-4B-Base 时，仅更换 LLM 评判者就会造成评分显著差异。为此提出 RaRE 评判者集成策略，包含基于评判者 logprobs 的 soft-Likert 奖励和剔除高分歧 rollout 的 drop-on-disagreement 掩码。
来源：arXiv Artificial Intelligence · arxiv.org