arXiv Artificial Intelligence· Yu Zhao, Zekun Zhang, Fan Jiang, Bo Zeng, Xintong Wang, Chonghan Liu, Shimin Shan, Yichao Du, Yu Liu·· 19 小时前AI 评分38
LISA：面向高效长上下文推理的线性索引稀疏注意力
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
AI 导读
LISA 是一种无需完整预训练即可替换自注意力的线性索引稀疏注意力机制，通过线性注意力分支与 Lightning Indexer 动态选取相关 token 的稀疏分支经学习门控融合。
来源：arXiv Artificial Intelligence · arxiv.org