arXiv Artificial Intelligence· Ali Janati, Kaoutar El Maghraoui, Chengke Zou, Xinyi Luo, Wenyuan Shen·2026-10-15 12:00· 21 小时前AI 评分27

轻量微调下的路由器敏感度可识别 MoE 模型中可剪枝专家

Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models

AI 导读

研究者用轻量适配器微调 Mixtral-8×7B-Instruct，按路由器权重变化排序并一次性剪除变化最小的专家，仅训练 0.002% 参数的 router-only LoRA 在移除一半专家后保留 27.54% MMLU-Pro 准确率，而幅度剪枝和随机剪枝约为 16%。