用最优传输聚合分布式混合专家模型

针对各机器上独立拟合、专家未对齐的本地 MoE 模型，研究者提出通过最小化期望传输散度将其归约为 K 专家 MoE，并利用优化-最小化算法单调下降地求解专家、再拟合门控网络，聚合估计量在本地估计量一致时保持一致，且只需一轮单向通信。模拟与真实数据实验显示，其精度接近集中式估计，计算时间仅为后者的一小部分。