跳到正文
arXiv Artificial Intelligence· Minseong Kim, Jongbok Won, Jeesup Park, Yonghee Choi, Dongjun Han·· 3 小时前AI 评分40

WSR-Tune:通过权重空间重参数化在 LLM 下游微调中保持安全

Rethinking LLM Fine-Tuning via Weight Space Reparameterization: Preserving Safety during Downstream Adaptation

AI 导读

WSR-Tune 通过权重空间重参数化框架,在 LLM 下游微调中兼顾任务适配与安全保持。该方法构建安全条件基,将安全相关信息集中到少量方向并冻结安全关键方向,仅更新其余互补方向。实验显示其在下游性能与安全保留之间取得更优权衡,论文已被 NeurIPS 2026 接收为 spotlight。

来源:arXiv Artificial Intelligence · arxiv.org