arXiv Artificial Intelligence· Yutong Chen, Zhichao Xu, Rui Liu, Kunpeng Liu·· 18 小时前AI 评分26
LEAF：用上下文记忆与自蒸馏提升 LLM 推理的探索效率
Explore with Memory, Learn without It: In-Context Exploration and Self-Distillation for LLM Reasoning
AI 导读
LEAF 在每次 rollout 前向上下文注入动态的问题专属记忆，记忆包含最近一次回答、其奖励及其他环境反馈，并在每次验证器调用后更新。该方法将策略更新与 rollout 解耦，通过自蒸馏更新策略，在四个基准和两个开源模型上探索速度约为随机采样基线的 4 倍。在未见测试集上，两个模型的准确率分别比最强基线提升 1.59 和 1.83 个百分点，且计算量低于任何 RL 基线。
来源：arXiv Artificial Intelligence · arxiv.org