UpLoop循环层后训练方法提出
热点事件持续更新
UpLoop循环层后训练方法提出
1 篇报道1 个报道来源57 分钟前更新
先了解这件事
AI 综述
2026年10月20日，arXiv 人工智能板块报道，Tieyuan Chen 等作者提出 UpLoop 循环层后训练方法。该方案基于逐层循环，可把预训练的非循环大语言模型升级为循环深度模型，无需从头预训练；具体做法是在注意力和 MLP 残差分支上加入隐藏维门控，使后续循环成为渐进细化。作者以 Qwen3-4B Base 经 SFT 验证：循环次数 R=3 时，20 个 benchmark 平均准确率提升 6.17%，突破此前循环模型在 R=2 的饱和，R=4 还有进一步提升。目前进展限于该方法提出与上述基准验证结果。
AI 根据报道生成 · 34 分钟前更新
最新进展10月20日 12:00
UpLoop：用门控循环对预训练大语言模型做后训练升级报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv Artificial IntelligenceUpLoop：用门控循环对预训练大语言模型做后训练升级
UpLoop 是一种基于逐层循环的后训练方案，可把预训练的非循环 LLM 升级为循环深度模型，无需从头预训练。它在注意力和 MLP 残差分支上加入隐藏维门控，使后续循环成为渐进细化，并以 Qwen3-4B Base 经 SFT 验证：R=3 时 20 个 benchmark 平均准确率提升 6.17%，突破此前循环模型在 R=2 的饱和，R=4 还有进一步提升。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。