跳到正文
arXiv Artificial Intelligence· Ling-Xiang Zhang, Tao Hu, Da-Wei Zhou·· 2 小时前AI 评分22

CART:面向多模态持续指令微调的兼容路由方法

CART: Compatible Routing for Multimodal Continual Instruction Tuning

AI 导读

针对多模态持续指令微调中投影器与语言模型非对称适配导致的表征漂移和灾难性遗忘问题,研究者提出兼容路由 CART,为投影器和语言模型分别维护任务专属专家,并依据专家相关性与跨模块兼容性加权混合,实现两模块协同适配。CART 还引入相关性引导的专家合并以控制模型增长,实验显示其达到 SOTA 性能。

来源:arXiv Artificial Intelligence · arxiv.org