arXiv Artificial Intelligence· Jianwei Li, Jung-Eun Kim·· 2 天前AI 评分30
通过零空间投影净化 LoRA 微调 LLM 的后门
Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection
AI 导读
研究者提出一种无需触发器先验、干净参考数据或事后重训练的 LoRA 微调 LLM 后门净化方法，通过提取高保真后门方向并在各层或注意力头的输入输出通道构造正交零空间，将 LoRA 更新投影其上。实验将攻击成功率从近 100% 降至 10% 以下，同时保留基座模型通用能力与适配器学到的下游技能。该方法已从文本分类的单层设置逐步扩展到生成任务的全参数 LLM。
来源：arXiv Artificial Intelligence · arxiv.org