arXiv Artificial Intelligence· Shuoran Jiang, Wentao Zhu, Yang Xiang, Dongfeng Li, Yunan Zhang, Mengchen Zhao, Yuhui Guo, Kai Chen, Youcheng Pan, Xiangping Wu, Qingcai Chen·· 2 小时前AI 评分24
面向大语言模型高效持续学习的功能子网络定位方法 CiMEO
Functional Subnetwork Localization for Efficient Continual Learning in Large Language Models
AI 导读
研究者用梯度归因分析定位出 LLM 中互重叠极低的功能子网络，并提出持续学习框架 CiMEO，将每个训练样本路由到对应子网络，把参数更新和优化器状态限制在选定区域。在 140 万条顺序指令上，CiMEO 在编程、考试类任务和数学推理五个生成式基准上取得对比方法中最高的平均性能，同时缓解灾难性遗忘。子空间重叠与主角度分析显示，局部化更新有助于保留预训练表示。
来源：arXiv Artificial Intelligence · arxiv.org