arXiv Artificial Intelligence· Peizhuang Cong, Aomufei Yuan, Shimao Chen, Yuxuan Tian, Bowen Ye, Yilun Yao, Tong Yang·· 19 小时前AI 评分24
预测即 MoE 所需：专家负载分布从波动走向稳定
Prediction Is All MoE Needs: Expert Load Distribution Goes from Fluctuating to Stabilizing
AI 导读
研究追踪多个大语言模型训练中各专家的负载，将"负载波动明显"定义为瞬态、将"时间局部性"定义为稳定态，并部署三种经典预测算法实现专家负载预测。在 GPT3 350M 模型上，预测未来 1,000 步和 2,000 步专家负载比例的平均误差率约为 1.3% 和 1.8%。该工作可为 MoE 模型训练的专家放置与资源分配提供指导。
来源：arXiv Artificial Intelligence · arxiv.org