离策略策略梯度理论条件研究

2026年10月20日，arXiv Artificial Intelligence 刊出 Haoqun Cao 等作者的论文，研究离策略策略梯度部署何时成立，以及重要性采样、KL 正则化与基线在应对分布偏移中的作用。报道称，研究揭示离策略策略梯度更新要保持最优策略为不动点，需轨迹级重要性加权或带最优软价值基线的 KL 正则化两条路径之一；作者将 KL 路径对应到 group-relative policy gradient（GRPG），证明其等价于轨迹级 Bellman 残差最小化，并在全策略覆盖下给出有限样本 regret 界，为 GRPO 目标变体提供理论解释。目前进展限于该论文给出的理论条件与解释，尚无后续跟进报道。

AI 根据报道生成 · 35 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。