arXiv Artificial Intelligence· Jiahao Wu, Ning Lu, Shengcai Liu, Kun Wang, Yanting Yang, Baijiong Lin, Chen Jason Zhang, Li Qing, Ke Tang·· 17 小时前AI 评分34
HIVE：面向大型推理模型高效 RL 训练的在线验证提示词选择方法
Train at Moving Edge: Online-Verified Prompt Selection for Efficient RL Training of Large Reasoning Model
AI 导读
HIVE 是一个双阶段提示词选择框架，用于大型推理模型的强化学习训练，通过历史奖励轨迹做粗筛、再用提示词熵实时剔除效用过时的样本。该方法针对 GRPO 等算法中每个提示词多次 rollout 成本过高的问题，在多个数学推理基准和模型上实现了显著的 rollout 效率提升且不损失性能。研究还发现学习信号集中在中等难度与高不确定性交叠的“学习边缘”，并随训练推进而移动。
来源：arXiv Artificial Intelligence · arxiv.org