SLEM：频谱感知的潜空间专家合并框架

针对 MoE 模型专家合并中参数空间凸插值不可靠、依赖校准数据两大局限，研究者提出免校准框架 SLEM，在 VAE 构建的专家权重结构化潜表示中完成合并。SLEM 依据潜相似度在层内与跨层分组专家，从专家权重频谱推导合并系数，再进行几何感知的潜插值并解码回合并后的专家权重。在通用知识基准上性能与现有方法相当或更优，在数学推理与代码生成基准上平均性能更高。