arXiv Artificial Intelligence· Wajih Hassan Raza, Ahsan Bilal, Yidan Shen, Renjie Hu, Xin Fu, Yu Wen·· 13 小时前AI 评分27
HASA：按预训练注意力头的查询-键交互结构自适应选择分辨率的免训练稀疏注意力
Attend at the Right Resolution: Head-Adaptive Sparse Attention via Query-Key Interaction Structure
AI 导读
研究者提出免训练稀疏注意力框架 HASA，依据每个预训练注意力头查询-键算子的奇异谱确定有效秩，并在序列维度按 token 响应的方向一致性渐进合并相邻区域。HASA 覆盖 88.1% 的稠密注意力质量，在 RULER 和 LongBench-Pro 上分别比 UNIQUE 提升至多 3.47 和 2.57 分，自注意力加速至多 1.32x，相对稠密注意力加速至多 14.07x。
推荐理由模型分析
HASA 针对长上下文下稀疏注意力“选哪些区域”这一环节，提出免训练方法：用每个预训练头 query-key 算子的奇异谱确定特征维有效秩，再按 token 响应方向一致性合并相邻区域，最后用原始全维 KV 计算精确注意力。作者报告在 RULER 和 LongBench-Pro 上较 UNIQUE 分别提升最多 3.47 和 2.57 分，自注意力加速最多 1.32 倍、相对稠密注意力最多 14.07 倍，并保留 88.1% 的注意力质量。开发者可据此比较免训练稀疏方案在长上下文任务上的精度与加速权衡，但结论限于论文实验设置。
来源：arXiv Artificial Intelligence · arxiv.org