PGPG：面向生成式控制策略对齐的进度引导偏好生成框架

研究者提出 Progress-Guided Preference Generation（PGPG），一种无需人工标注的无监督偏好对齐框架，通过有序覆盖对齐衡量自主采集 rollout 相对少量专家演示的序列进度，自动生成伪偏好标签。该方法无需手工设计奖励函数即可微调预训练生成式策略，在多项长时程操作任务上优于标准监督微调基线，并可同时适配 diffusion 与 flow-matching 策略。