arXiv Artificial Intelligence· Yibo Wang, Yuanxin Liu, Zhaoran Wang·2026-10-15 12:00· 18 小时前AI 评分22

VSR：面向可验证奖励强化学习的方差最优状态重采样

Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards

AI 导读

针对可验证奖励强化学习中大量 rollout 预算被消耗在无学习信号状态的问题，研究者提出方差最优的状态采样分布，得到闭式 Neyman 分配 μ_var^π(s) ∝ d^π(s)σ_π(s)，并与 GRPO 的组相对优势自然衔接，随策略提升自发形成逆向课程。