arXiv Artificial Intelligence· Carel van Niekerk, Renato Vukovic, Benjamin Ruppik, Hsien-chin Lin, Shutong Feng, Milica Ga\v{s}i\'c·· 2 天前AI 评分29
基于自反馈强化学习的LLM后训练方法RLSF
Post-Training Large Language Models via Reinforcement Learning from Self-Feedback
AI 导读
研究者提出RLSF（Reinforcement Learning from Self-Feedback）后训练方法，用冻结LLM生成多条CoT解码束，按最终答案置信度排序构造合成偏好，再通过标准偏好优化微调策略，无需人工标注、标准答案或外部奖励。该方法同时改善模型概率校准并增强逐步推理，在算术推理和多项选择题上取得提升。
来源：arXiv Artificial Intelligence · arxiv.org