arXiv Artificial Intelligence· Tieyuan Chen, Huabin Liu, Yingtao Zhang, Shijie Li, Tengyu Pan, Weiyao Lin, Jianguo Li·· 2 小时前AI 评分34
UpLoop：用门控循环对预训练大语言模型做后训练升级
UpLoop: Upcycling Large Language Models with Gated Loop
AI 导读
UpLoop 是一种基于逐层循环的后训练方案，可把预训练的非循环 LLM 升级为循环深度模型，无需从头预训练。它在注意力和 MLP 残差分支上加入隐藏维门控，使后续循环成为渐进细化，并以 Qwen3-4B Base 经 SFT 验证：R=3 时 20 个 benchmark 平均准确率提升 6.17%，突破此前循环模型在 R=2 的饱和，R=4 还有进一步提升。
来源：arXiv Artificial Intelligence · arxiv.org