arXiv Artificial Intelligence· Mengtao Zhou, Jianxiao Wang, Xiupeng Chen, Cailiang Liu, Jie Song·· 18 小时前AI 评分22
FAR:以学习者为中心的多智能体讨论蒸馏方法
Overtaught, Underlearned: Learner-Centered Distillation from Multi-Agent Discussion
AI 导读
针对多智能体讨论全图蒸馏中"过度教学"与"学习不足"的错配问题,研究者提出学习者中心的蒸馏方法 FAR(Fold–Attempt–Revisit):训练前将每个讨论状态内的解法折叠为代表性课程,训练后依据学生自身作答定位遗漏问题,并从保留的讨论上下文中生成针对性课程。在两个学生模型和四个推理任务上,FAR 以更少训练目标超过全图蒸馏,且学习不足率更低。
来源:arXiv Artificial Intelligence · arxiv.org