跳到正文
arXiv Artificial Intelligence· Yu Zhao, Fan Jiang, Tianle Liu, Bo Zeng, Xintong Wang, Jiaxuan Teng, Yu Liu, Yichao Du·· 19 小时前AI 评分32

DEPO:用难度估计优化推理模型训练的策略优化框架

Difficulty-Estimated Policy Optimization

AI 导读

针对 GRPO 在过易或过难问题上梯度信号衰减的问题,研究者提出 Difficulty-Estimated Policy Optimization(DEPO),在 rollout 前用在线 Difficulty Estimator 动态评估并过滤训练数据,把算力优先分配给高学习潜力样本。

来源:arXiv Artificial Intelligence · arxiv.org