轻量微调路由器敏感度剪枝专家方法提出

2026年10月15日，arXiv Artificial Intelligence 刊出 Ali Janati 等作者的论文，提出一种基于轻量微调下路由器敏感度的 MoE 专家剪枝方法。该研究用轻量适配器微调 Mixtral-8×7B-Instruct，按路由器权重变化排序并一次性剪除变化最小的专家。据该报道，仅训练 0.002% 参数的 router-only LoRA 在移除一半专家后保留 27.54% 的 MMLU-Pro 准确率，而幅度剪枝和随机剪枝约为 16%。报道还称，该判据可迁移至为数学推理微调的 Qwen1.5-MoE，在移除一半专家后于十一项基准上保留 49.7% 的平均准确率；结构化剪枝可减少 49% 内存、降低 37% 的每 token 延迟。上述数据均来自该论文报道，尚未见后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。