arXiv Artificial Intelligence· Yifan Zhang, Jichen Feng, Shihan Qin, Sun-Yuan Kung, Mengdi Wang·· 19 小时前AI 评分36
Recurrent Looped Transformer(RLT):用循环反馈让计算路径随序列长度增长
Recurrent Looped Transformer
AI 导读
Recurrent Looped Transformer(RLT)将层拆分为并行因果编码器与循环解码器,解码器在每个 token 上融合编码器输出与上一 token 的最终解码状态,使计算路径随序列长度增长而单 token 成本固定。
来源:arXiv Artificial Intelligence · arxiv.org