arXiv Artificial Intelligence· Taehyeon Kim, Hyunsoo Lee, Youngsoo Jang, Moontae Lee·· 18 小时前AI 评分26
RPO:仅训练根 token 让大推理模型自适应思考,训练算力降至约 2%
Efficiently Learning To Reason or Not to Reason: Root-token Policy Optimization for Adaptive Thinking
AI 导读
RPO(Root-token Policy Optimization)通过组相对奖励和组内优势只训练初始根 token(如是否调用思考标签),让大推理模型自行判断何时推理。在多个模型族和规模上,RPO 以约 2% 的训练算力实现难度感知的自适应思考,并大幅降低训练开销与显存占用。该工作被 ACL 2026 接收为 Oral。
来源:arXiv Artificial Intelligence · arxiv.org