arXiv Artificial Intelligence· Yaoxiang Wang, Kai Zhang, Ruobing Xie, Lanrui Wang, Guoliang Zhao, Junhui Li, Jinsong Su·· 18 小时前AI 评分22
LatentMoE：专家几何形状与逐层容量分配如何塑造 MoE
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
AI 导读
LatentMoE 将专家计算移入低维空间，使专家输入维度与中间宽度成为显式设计选项，并证明专家局部 Jacobian 秩受这两维共同约束，在单专家参数量固定时二者均衡可最大化秩上限。
来源：arXiv Artificial Intelligence · arxiv.org