综述58项研究分析RLVR验证器噪声与鲁棒性

2026年10月15日，arXiv Artificial Intelligence 刊出一篇由 Savyasachi Gupta 与 Aniruddha Srinivas Joshi 发表的综述论文，梳理了 58 项测量、分析或缓解 RLVR（可验证奖励强化学习）验证器错误的研究。该综述指出，验证器错误的结构比错误率更关键：随机错误主要拖慢学习，但在固定预算或 KL 正则下也会降低最终准确率；而策略可学会触发的假阳性会导致训练停滞甚至崩溃，即便初始错误率很低。综述还发现，验证器是错误拒绝还是错误接受，取决于其检查内容和构建者，而非所属类别；且多数缓解方法只针对单一错误类型进行测试。目前该事件进展为综述论文发布并给出上述结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。