arXiv Artificial Intelligence· Chenlu Ding, Jiancan Wu, Yanchen Luo, Tianyu Zhang, Yancheng Yuan, Xiang Wang, Xiangnan He·· 18 小时前AI 评分22
CUSE：用反事实引导与在线自蒸馏实现多模态大模型细粒度遗忘
CUSE: Fine-Grained Multimodal Unlearning with Counterfactual Guidance and On-Policy Self-Distillation
AI 导读
CUSE 是一个面向多模态大语言模型的反事实引导在线自蒸馏遗忘框架，通过移除目标相关证据构造反事实输入，依据 token 概率变化定位需要更强遗忘的 token，再以冻结的原始模型为教师、结合遗忘与保留两类特权上下文，对当前策略采样响应做 token 级蒸馏。在 MLLMU-Bench 上，CUSE 将遗忘集 ROUGE-L 降低 33.6%，保留集 ROUGE-L 比最强基线高 1.2%。
来源：arXiv Artificial Intelligence · arxiv.org