离线策略梯度剖析：重要性采样、KL 正则化与基线在 LLM 后训练中的作用

研究揭示离线策略梯度更新要保持最优策略为不动点，需轨迹级重要性加权或带最优软价值基线的 KL 正则化两条路径之一。作者将 KL 路径对应到 group-relative policy gradient（GRPG），证明其等价于轨迹级 Bellman 残差最小化，并在全策略覆盖下给出有限样本 regret 界，为 GRPO 目标变体提供理论解释。