分布式MoE最优传输聚合论文更新

2026年10月15日，arXiv人工智能板块出现一篇论文新版本，题为《Optimal Transport Aggregation for Distributed Mixture-of-Experts》，作者为Fa"icel Chamroukhi与Nhat Thien Pham。该研究针对各机器上独立拟合、专家未对齐的本地混合专家（MoE）模型，提出通过最小化期望传输散度，将大量专家归约为K专家MoE；其中传输计划依赖于协变量。方法采用优化-最小化算法，单调下降地求解专家，再拟合门控网络。论文称，当本地估计量一致时，聚合估计量保持一致，且整个过程只需一轮单向通信。模拟与真实数据实验显示，其精度接近集中式估计，计算时间仅为后者的一小部分。论文还提供了源代码链接。目前该事件仅有这一篇报道，尚无后续跟进或矛盾信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。