arXiv Artificial Intelligence· Shervin Shahidi, James Poon, Hang Xie, Kenneth O. Xu, Robin H{\aa}kanson, Vikram Nair, Jens Pillgram-Larsen, Nachiappan Nagappan·· 13 小时前AI 评分36
AutoRefine：从工作流结果自动校准代码评审 LLM 判官
AutoRefine: Auto-Calibrating Code Judges from Workflow Outcomes
AI 导读
AutoRefine 通过重写可部署判官的提示词来复现工作流产生的结果标签，并用能看到判官输入与结果的教师模型解释标签、在无法解释时弃权。在有执行 oracle 的留出数据集上，校准把 Scott's π 从 0.36 提升到 0.60；在随机翻转 25% 标签的部署智能体结果上，教师对翻转 fail 标签的弃权率是真实标签的两倍以上，把整体标签噪声从 25% 降到 20%。
推荐理由模型分析
AutoRefine 用开发流程中现成的测试通过/合并结果作为弱标签，让能看到结果的教师模型解释标签并在无法解释时弃权，从而自动改写可部署的评审提示词。在带执行 oracle 的留出集上，Scott's π 从 0.36 升到 0.60；在注入 25% 翻转噪声的部署 agent 标签上，噪声降至 20%。对用 LLM 评审做无测试代码质量门禁的团队，可参考其弃权机制判断何时该补输入而非改提示词；但证据限于单一 agent 与有限 diff 样本，跨工作流需重新校准。
来源：arXiv Artificial Intelligence · arxiv.org