ShellElastic弹性预训练方法发布

2026年10月15日，arXiv Artificial Intelligence 刊出 Can Jin 等作者的报道，介绍一种名为 ShellElastic 的弹性 Transformer 预训练方法。该报道称，ShellElastic 将隐藏维度组织为稠密核心与逐层外壳，使每个隐藏矩阵呈块下三角结构；一次全宽前向即包含所有子网络的精确隐藏状态，联合训练计算图固定，每步开销约等于单独训练最宽子网络。报道将其定位为同时最大化更新与超参数迁移的可扩展弹性预训练方法。目前该事件仅有这一篇报道，尚无后续跟进或相互矛盾的说法，方法的具体效果与适用范围有待进一步验证。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。