arXiv Artificial Intelligence· Yu Zhao, Fan Jiang, Tianle Liu, Bo Zeng, Xintong Wang, Jiaxuan Teng, Yu Liu, Yichao Du·· 19 小时前AI 评分32
DEPO:用难度估计优化推理模型训练的策略优化框架
Difficulty-Estimated Policy Optimization
AI 导读
针对 GRPO 在过易或过难问题上梯度信号衰减的问题,研究者提出 Difficulty-Estimated Policy Optimization(DEPO),在 rollout 前用在线 Difficulty Estimator 动态评估并过滤训练数据,把算力优先分配给高学习潜力样本。
来源:arXiv Artificial Intelligence · arxiv.org