MoE Transformer 的泛化与缩放定律理论

研究者为 Mixture-of-Experts（MoE）Transformer 建立了泛化与缩放理论，将每输入的激活容量与路由组合性分离，在 d 维流形数据模型和 C^β 目标下给出泛化界。该工作进一步证明 MoE 架构的构造性近似定理：误差可随激活容量扩大或专家数量增加而下降，取决于主导瓶颈。由此推导出模型规模、数据规模与计算最优权衡的神经缩放定律，成果发表于 ICML 2026。