研究者提出RLSF自反馈强化学习后训练方法

2026年11月6日，arXiv Artificial Intelligence 刊出 Carel van Niekerk 等作者的论文，提出名为 RLSF（Reinforcement Learning from Self-Feedback，自反馈强化学习）的 LLM 后训练方法。据该报道，RLSF 用冻结的 LLM 生成多条思维链（CoT）解码束，按最终答案的置信度排序，据此构造合成偏好数据，再通过标准偏好优化微调策略；整个过程无需人工标注、标准答案或外部奖励。报道称，该方法同时改善模型概率校准并增强逐步推理，在算术推理和多项选择题任务上取得提升。目前该事件仅有这一篇主报道，尚无跟进报道或独立复现结果，上述效果均为论文作者方面的说法。

AI 根据报道生成 · 2 天前更新