RLVR采样器失配下的熵漂移符号定律

2026年10月30日，arXiv Artificial Intelligence 刊出 Zhiyuan Wang 等人的研究，提出 RLVR 中采样器失配导致熵漂移的符号定律。报道称，研究揭示 RLVR 训练中策略熵上升还是下降取决于采样器失配：当 rollout 使用 top-k/top-p 截断，或学习器未采用温度采样时，恒定优势偏移会改变 softmax 策略的熵，其符号由采样器决定。论文证据表述为：作者证明恒定优势偏移会在一阶、期望意义下改变 softmax 策略的熵，且符号由采样器固定。目前该事件仅有这一篇主报道，尚无跟进报道或相互矛盾的数字与说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。