MoE Transformer 泛化与缩放理论提出
热点事件持续更新
MoE Transformer 泛化与缩放理论提出
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
2026年10月22日，arXiv Artificial Intelligence 刊出研究者 Mansour Zoubeirou a Mayaki 的论文，为 Mixture-of-Experts（MoE）Transformer 建立泛化与缩放理论。该工作将每输入的激活容量与路由组合性分离，在 d 维流形数据模型和 C^β 目标下给出泛化界；并证明 MoE 架构的构造性近似定理，误差可随激活容量扩大或专家数量增加而下降，取决于主导瓶颈。由此推导出模型规模、数据规模与计算最优权衡的神经缩放定律。报道称成果发表于 ICML 2026。目前为单一主报道，尚无跟进报道，事件进展限于理论提出本身。
AI 根据报道生成 · 3 小时前更新
最新进展10月22日 12:00
MoE Transformer 的泛化与缩放定律理论报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- arXiv Artificial IntelligenceMoE Transformer 的泛化与缩放定律理论
研究者为 Mixture-of-Experts（MoE）Transformer 建立了泛化与缩放理论，将每输入的激活容量与路由组合性分离，在 d 维流形数据模型和 C^β 目标下给出泛化界。该工作进一步证明 MoE 架构的构造性近似定理：误差可随激活容量扩大或专家数量增加而下降，取决于主导瓶颈。由此推导出模型规模、数据规模与计算最优权衡的神经缩放定律，成果发表于 ICML 2026。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。