LRMoE：面向显存受限节点的 MoE 高效训练需求侧重校准系统

LRMoE 是一个显存感知的 MoE 训练系统，通过在前向执行时规划保留配额与专家放置、在反向传播时用负载重校准指标筛选 token-expert 对，降低反向通信、计算与执行缓冲需求。在 Qwen3-30B-A3B 和 GLM4.5-106B-A12B 上，其达到固定损失目标的 MoE 层累计训练时间较 SYMI 缩短 21.2-44.8%。