arXiv Artificial Intelligence· Vaibhav Singh, Eugene Belilovsky·· 19 小时前AI 评分27
PACT：沿自身生成路径对扩散语言模型做 RL 后训练
RL Post-Training Diffusion Language Models Along Their Own Generation Paths
AI 导读
针对扩散语言模型 RL 后训练中的"轨迹盲区"问题，研究者提出 PACT（Potential-Anchored Consistency of Transitions），联合学习策略与一个由终端奖励锚定的标量势函数，用一致性损失将已揭示 token 的策略与参考分布对数概率比匹配到势函数变化，无需序列似然估计或重要性比裁剪。
来源：arXiv Artificial Intelligence · arxiv.org