arXiv Artificial Intelligence· Lovedeep Gondara, Jekaterina Novikova, Sagarika Suresh, Jack Ji, Jithin Pradeep·· 19 小时前AI 评分26
评分格式决定 LLM 评审能表达什么:0-100 分实际只有 7-12 个有效档位
The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express
AI 导读
研究固定候选池、评审提示词、解码与选择预算,用三种 LLM 评审以五种评分格式对 15,406 条 UltraFeedback 候选打分,微调 66 个模型并用四种评审评估。
来源:arXiv Artificial Intelligence · arxiv.org