arXiv Artificial Intelligence· Can Jin, Yan Kang, Yifan Gong, Chongjian Ge, Mingze Xu, Yuanjun Xiong, Dimitris N. Metaxas, Hongwu Peng·· 17 小时前AI 评分30
ShellElastic：同时最大化更新与超参数迁移的可扩展弹性预训练
ShellElastic: Scalable Elastic Pretraining with Simultaneous Maximal Updates and Hyperparameter Transfer
AI 导读
ShellElastic 是一种弹性 Transformer，将隐藏维度组织为稠密核心与逐层外壳，使每个隐藏矩阵呈块下三角结构，一次全宽前向即包含所有子网络的精确隐藏状态，联合训练计算图固定、每步开销约等于单独训练最宽子网络。
来源：arXiv Artificial Intelligence · arxiv.org