arXiv Artificial Intelligence· Jialu Wang, Jianing Deng, Shuqing Luo, Yuanzhe Li, Dongwei Wang, Jingtong Hu, Huanrui Yang, Song Wang, Tianlong Chen·· 20 小时前AI 评分27
基于保留-遗忘损失景观交互的量化鲁棒性遗忘学习框架
Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction
AI 导读
研究提出一种量化鲁棒的 LLM 遗忘学习框架，通过损失景观分析发现曲率准则可定位导致遗忘不鲁棒和效用下降的敏感权重，据此提出敏感度引导的噪声正则化，将模型收敛导向遗忘损失与保留损失均匀较低的更平滑极小值。该方法还引入遗忘关键优化，仅更新遗忘关键层以保留其余网络知识。在 MUSE 和 TOFU 基准上跨多种 LLM 遗忘算法实验显示，该方法在维持模型效用的同时实现了更强的量化弹性遗忘。
来源：arXiv Artificial Intelligence · arxiv.org