arXiv Artificial Intelligence· Zongyue Qin, Haoran Deng, Jason Cong, Yizhou Sun·2026-10-15 12:00· 17 小时前AI 评分23

LLoPS：可学习低秩多项式草图实现高效线性注意力

Learnable Low-Rank Polynomial Sketch for Effective Linear Attention

AI 导读

针对线性注意力中多项式核近似误差不可忽略的问题，研究者提出可学习低秩多项式草图 LLoPS，从多项式核近似角度证明其近似误差严格小于现有方法。在多项基准测试中，LLoPS 性能优于各类线性注意力基线，该工作已被 NeurIPS 2026 收录。