arXiv Artificial Intelligence· Yingfeng Luo, Dingyang Lin, Junxin Wang, Kaiyan Chang, Ziqiang Xu, Weiqiao Shan, Yinqiao Li, Tong Zheng, Bei Li, Anxiang Ma, Tong Xiao, Zhengtao Yu, Jingbo Zhu·· 19 小时前AI 评分22
TADrop：面向模型合并的分布引导张量级自适应稀疏化
One Size Does Not Fit All: Distribution-Guided Tensor-Wise Adaptive Sparsification for Model Merging
AI 导读
TADrop 是一种即插即用的稀疏化器，用尺度不变的分位数比例从各参数张量的幅度分布中独立确定保留率，替代统一的全局稀疏比例。它在视觉、语言和多模态基准上提升多种宿主合并方法，在 RoBERTa GLUE 上比 EMR-Merging 高 4.99 分，合并 30 个任务的 ViT-B/16 时提升 2.26 分。该方法默认无需数据，有小型验证集时可选用轻量模块级校准。
来源：arXiv Artificial Intelligence · arxiv.org