评分格式如何影响LLM评判数据筛选

2026年10月14日，arXiv Artificial Intelligence 刊出 Lovedeep Gondara 等作者的研究，考察 LLM 评判打分格式对指令微调数据筛选的影响。研究在固定候选池、评审提示词、解码与选择预算的条件下，用三种 LLM 评审以五种评分格式对 15,406 条 UltraFeedback 候选打分，随后筛选数据、微调 66 个模型，并用四种评审进行评估。报道称，评分格式决定了 LLM 评审能表达什么：0-100 分实际只有 7-12 个有效档位。目前该研究已发布，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。