MoE专家负载预测研究发布

2026年10月15日，arXiv Artificial Intelligence 刊出 Peizhuang Cong 等作者的论文，研究 MoE（混合专家）模型训练中的专家负载分布预测。研究追踪多个大语言模型训练中各专家的负载，将“负载波动明显”定义为瞬态、将“时间局部性”定义为稳定态，并部署三种经典预测算法实现专家负载预测。在 GPT3 350M 模型上，预测未来 1,000 步和 2,000 步专家负载比例的平均误差率约为 1.3% 和 1.8%。作者称该工作可为 MoE 模型训练的专家放置与资源分配提供指导。目前该事件仅有这一篇主报道，尚无后续跟进报道，也未出现与早先报道矛盾的数字或说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。