LRMoE：显存受限节点上的MoE训练重校准系统

2026年10月30日，arXiv Artificial Intelligence 刊出 Jiaming Hu 等人的论文，提出 LRMoE——一个显存感知的 MoE 训练系统。据该报道，LRMoE 在前向执行时规划保留配额与专家放置，在反向传播时用负载重校准指标筛选 token-expert 对，以降低反向通信、计算与执行缓冲需求。报道称，在 Qwen3-30B-A3B 和 GLM4.5-106B-A12B 上，LRMoE 达到固定损失目标的 MoE 层累计训练时间较 SYMI 缩短 21.2%–44.8%。上述性能数字与机制描述均来自该篇论文报道，尚未见其他跟进报道予以独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。