TADrop：分布引导的张量级自适应稀疏化模型合并

2026年10月15日，arXiv Artificial Intelligence 刊出 Yingfeng Luo 等作者的论文预印本 v2，提出 TADrop 稀疏化方法，用于模型合并。据该报道，TADrop 是一种即插即用的稀疏化器，用尺度不变的分位数比例，从各参数张量的幅度分布中独立确定保留率，以替代统一的全局稀疏比例。报道称，该方法在视觉、语言和多模态基准上提升多种宿主合并方法，在 RoBERTa GLUE 上比 EMR-Merging 高 4.99 分，合并 30 个任务的 ViT-B/16 时提升 2.26 分。报道还称，TADrop 默认无需数据，在有小型验证集时可选用轻量模块级校准；论文标注为“Under review”。上述结果与条件均来自该预印本报道本身。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。