arXiv Artificial Intelligence· Yuante Li, Junwei Quan, Kai Qiu, Kate Zhang, Yicheng Tao·· 18 小时前AI 评分27
两时钟：为什么更大的 rollout batch 在可验证奖励强化学习中学习更慢却按时失败
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
AI 导读
研究提出"两时钟"框架，区分 RLVR 中取得进展所需样本与崩溃前消耗的样本：在局部二次模型下，平方根学习率缩放虽保持每样本一阶漂移，却无法保持进展，更大 batch 因更新更少更长而受曲率损失更多，存在依赖学习率的临界 batch。
来源：arXiv Artificial Intelligence · arxiv.org