arXiv Artificial Intelligence· Zixuan Liu, Nan Xue, Rui Bao, Yuhang Xu, Xiaofeng Cao, Jiangchao Yao, Zhiyong Chen·· 2 小时前AI 评分25
LoopAhead：为循环语言模型解码提速的推测解码框架
LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models
AI 导读
LoopAhead 是面向循环 Transformer 的推测解码框架，通过轻量前瞻草稿器（LAD）利用早期循环状态预测多个未来 token，并由深层循环反馈决定草稿分支的继续或暂停，最终由全深度模型做 token 决策。该方法在保持目标模型输出分布的同时，实现最高 7.82 倍的解码加速。
来源：arXiv Artificial Intelligence · arxiv.org