提出RLVR双时钟框架并验证批次规模规律

2026年10月15日，arXiv Artificial Intelligence 刊出 Yuante Li 等作者的论文，提出面向可验证奖励强化学习（RLVR）的“两时钟”框架，将取得进展所需样本与崩溃前消耗的样本区分开来。论文称，在局部二次模型下，平方根学习率缩放虽保持每样本一阶漂移，却无法保持进展；更大 batch 因更新更少更长而受曲率损失更多，并存在依赖学习率的临界 batch。作者在 Qwen2.5-Math-1.5B 上跨 16 倍 batch 范围做受控 GRPO 实验，称两项预测均获支持；ratio clipping 会延迟失败、对更大 batch 尤其明显，但去掉后进展差距依然存在；该进展差距在另一数据集、通用 checkpoint 与 7B 模型上重现。论文称代码已公开。上述结论均为该论文自述，尚待独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。