arXiv Artificial Intelligence· Haodong Chen, Shengtao Wen, Dong Liang, Lingbing Guo, Xiang Chen·· 18 小时前AI 评分27
MLLM 遗忘学习新方法 FASD:解耦知识遗忘与拒答学习
Decoupling Knowledge Forgetting and Refusal Learning in MLLM Unlearning
AI 导读
针对多模态大模型遗忘学习中知识抑制引发幻觉、拒答训练只改行为不删知识的问题,研究者提出 Forget-Aware Self-Distillation(FASD),将目标拆分为行为与知识两条通道:行为通道从自我提示的模型副本中蒸馏拒答,并遮蔽目标 token 防止重新教授被遗忘概念;知识通道直接抑制真实答案片段。实验显示 FASD 能完成目标知识遗忘、防止开放式任务信息泄露,并保持保留数据上的性能。
来源:arXiv Artificial Intelligence · arxiv.org