跳到正文
arXiv Artificial Intelligence· Yeonbum Kim, Hyun Kyu Lee, Sung Whan Yoon·· 18 小时前AI 评分22

Flat-RLVR:面向 LLM 推理能力的锐度感知可验证奖励强化学习

Flat-RLVR: Sharpness-Aware Reinforcement Learning with Verifiable Rewards for Reasoning Capacity in LLMs

AI 导读

Flat-RLVR 通过锐度感知最小化在 LLM 后训练中寻找平坦奖励区域,以缓解 RLVR(尤其是 GRPO)带来的分布锐化问题。该方法在理论上将平坦奖励 RLVR 与分布锐化减弱相关联,实验显示采样多样性提升的同时保持单次尝试准确率。Flat-RLVR 可与 GRPO 变体结合,在采样效率与推理能力之间取得更好权衡。

来源:arXiv Artificial Intelligence · arxiv.org