arXiv Artificial Intelligence· Alexander Kastius·· 13 小时前AI 评分29
AlterNet：带学习式停机机制的自适应深度 MoE 弹性推理架构
AlterNet: Adaptive-Depth Mixture-of-Experts with Learned Halting for Elastic Inference
AI 导读
AlterNet 将浅层专家组成的 MoE 架构与动态深度系统结合，使前向计算量可按任务动态调整，并在训练后无需重训即可按执行环境缩容。该架构引入迭代计算机制、由专家内停机机制引导的序列级深度路由、深度编码和激励高效使用算力的正则化机制。论文给出初步基准结果并讨论后续研究方向。
推荐理由模型分析
该论文把MoE的浅层专家与动态深度结合，让前向计算量可按任务自动调整，并能在训练后按执行环境降档而无需重训，针对的是LLM推理成本固定的瓶颈。对关注推理效率与部署弹性的开发者，可留意其序列级深度路由、停机机制和深度编码的设计，以及正则化如何约束算力使用。原文仅给出初步基准，效果与降档后的精度损失仍需更多任务和部署条件验证。
来源：arXiv Artificial Intelligence · arxiv.org