验证器RL相对SFT的边际增益测量

2026年11月6日，arXiv Artificial Intelligence 刊出 Amit Sagtani、Saloni Garg 的研究，直接测量基于验证器的强化学习在监督微调（SFT）之外还能带来多少增益。研究团队构建 gpu-train-debug 基准，包含 1,877 个合成 GPU 与 LLM 训练故障诊断任务、30 类原型，由程序化验证器带部分给分。在预注册规模下（60 步 GRPO、学习率 1e-6），结论是：分布内没有可检测到的提升（+0.22 分，95% 置信区间 [-0.06, +0.51]）；分布偏移下则有温和但可测量的提升（留出 OOD 划分上 +0.33 分，置信区间 [+0.02, +0.68]）。研究称全部计算成本为 8.69 美元，并可由归档生成结果、冻结配置与带标签代码完全复现。目前尚无后续跟进报道。

AI 根据报道生成 · 2 天前更新