跳到正文
arXiv Artificial Intelligence· Haoyu Hu, Xuandong Zhao, Xuhai "Orson'' Xu, Nori Jacoby·· 17 小时前AI 评分30

DUET:为可验证奖励强化学习优化 token 预算分配

DUET: Optimize Token-Budget Allocation for Reinforcement Learning with Verifiable Rewards

AI 导读

DUET 是一种叠加在 GRPO 之上的 token 预算分配方法,同时控制每个 prompt 分配多少 rollout 以及每条 rollout 何时停止。在 MATH 上训练的 Qwen3-1.7B 上,DUET 优于全预算 GRPO 及另外三种预算感知基线,并实现 1.62 倍实际耗时加速;仅用 50% token 预算时仍超过所有基线全预算表现,加速达 2.51 倍。

来源:arXiv Artificial Intelligence · arxiv.org