arXiv Artificial Intelligence· Zukang Xu, Xinpei Gao, Xing Hu, Zhe Jiang, Dawei Yang·· 2 小时前AI 评分31
UC-RAMP：面向 MoE 模型的分层微专家剪枝框架
Fine-Grained Units, Flat Decisions: Hierarchical Micro-Expert Pruning for Mixture-of-Experts Models
AI 导读
UC-RAMP 是一种两阶段训练后剪枝框架，将微专家掩码构建拆分为跨专家容量分配（CAPE）与固定宽度下的通道选择（RAMP）两步。在三个 MoE 模型、25% 和 50% 路由专家通道剪枝下，它在六种设置中的五种取得十任务平均准确率最高，50% 剪枝时分别领先最强基线 8.19、3.96 和 6.14 个百分点。
来源：arXiv Artificial Intelligence · arxiv.org