跳到正文
arXiv Artificial Intelligence· Changguo Jia, Zhiyou Xiao, Xinbei Ma, Geng Chen, Weiming Zhang, Yiming Xu, Tianqi Zhao, Minghui Zhou·· 20 小时前AI 评分27

PaceReasoner:无需标注、从长推理中学习简短作答

PaceReasoner: Label-Free Learning to Answer Briefly from Long Reasoning

AI 导读

PaceReasoner 是一个无需标注的测试时强化学习框架,用模型自身的长推理响应来提升其短模式准确率。两种模式共享同一可训练策略,通过渐进式置信度加权监督融合全响应与仅长响应的答案共识,并用行为奖励从鼓励短模式探索逐步转向与长答案一致,同时由比例控制器调节两模式平衡。在三个模型骨干和四个基准上,平均短模式准确率较基线提升 7.4–13.5 个百分点,平均每条响应少于 25 个推理 token。

来源:arXiv Artificial Intelligence · arxiv.org