arXiv Artificial Intelligence· Zhenyue Peng, Lin Yang, Jie Wang, Xiaoqi Ni, Hanzhu Chen, Xize Liang, Yanjun Wu, Rujing Wang, Kaiwen Zhou, Jianye Hao·· 2 小时前AI 评分34
SteadyThought：用思维级偏好优化缓解 LLM 思考不足
SteadyThought: Mitigating LLM Under-Thinking via Thought-Level Preference Optimization
AI 导读
SteadyThought（ST）提出思维级偏好优化框架，将 LLM 的“思考不足”形式化为切换点上的偏好问题，通过强制单路径延续生成高质量推理，并把新回复作为偏好项、原回复作为非偏好项进行优化。在多个模型和数据集上，ST 最多减少 63.8% 的 token 消耗，同时保持较强推理准确率。分析显示，ST 还能帮助模型获得跨领域、跨语言减少冗余切换的泛化能力。
来源：arXiv Artificial Intelligence · arxiv.org