arXiv Artificial Intelligence· Rui Ge, Yichao Fu, Yu-Yang Qian, Junda Su, Yiming Zhao, Hao Zhang·· 13 小时前AI 评分34
反事实蒸馏：将反思经验内化为 LLM 智能体能力
Counterfactual Distillation: Internalizing Reflective Experience into LLM Agent
AI 导读
研究者提出反事实蒸馏框架，把探索经验转化为可训练的策略监督：将探索组织为树状搜索，智能体在历史决策点反思并生成新分支，再以反事实目标蒸馏，让模型在不提供经验的情况下从原始历史预测修正动作。
推荐理由模型分析
针对长程智能体训练中结果奖励稀疏、交互经验未被利用的问题，提出反事实蒸馏：把树状探索得到的纠错分支转成监督目标，让模型在原始历史下预测修正动作，从而引入分布外行为。在交互式编程与智能体任务上，Pass@128 较基座提升至多 14 个百分点，优于 GRPO 和 Early Experience；与强化学习交替训练还能抬高上限，Sokoban 的 Pass@1 比延长训练的 GRPO 高 8 个百分点。适合做智能体后训练的研究者参考其探索与蒸馏流程，但结论限于论文所列任务与基准。
来源：arXiv Artificial Intelligence · arxiv.org