arXiv Artificial Intelligence· Zhiyuan Wang, Jacob Steeves, Chang Liu·2026-10-30 12:00· 17 小时前AI 评分36

RLVR 采样器失配下的熵漂移符号定律

A Sign Law for Entropy Drift under Sampler Mismatch in RLVR

AI 导读

研究揭示 RLVR 中熵升或熵降取决于采样器失配：rollout 用 top-k/top-p 截断或学习器未采用温度采样时，恒定优势偏移会改变 softmax 策略熵，符号由采样器决定。