免训练头自适应稀疏注意力HASA提出
热点事件持续更新
免训练头自适应稀疏注意力HASA提出
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
2026年11月9日arXiv人工智能板块报道，Wajih Hassan Raza等作者提出免训练稀疏注意力框架HASA。该框架依据每个预训练注意力头查询-键算子的奇异谱确定有效秩，并在序列维度按token响应的方向一致性渐进合并相邻区域，从而自适应选择分辨率。报道称，HASA覆盖88.1%的稠密注意力质量，在RULER和LongBench-Pro上分别比UNIQUE提升至多3.47和2.57分，自注意力加速至多1.32倍，相对稠密注意力加速至多14.07倍。上述性能与加速数据均来自该报道，尚无其他跟进报道予以独立验证。
AI 根据报道生成 · 12 小时前更新
最新进展11月9日 13:00
HASA：按预训练注意力头的查询-键交互结构自适应选择分辨率的免训练稀疏注意力报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- arXiv Artificial IntelligenceHASA：按预训练注意力头的查询-键交互结构自适应选择分辨率的免训练稀疏注意力
研究者提出免训练稀疏注意力框架 HASA，依据每个预训练注意力头查询-键算子的奇异谱确定有效秩，并在序列维度按 token 响应的方向一致性渐进合并相邻区域。HASA 覆盖 88.1% 的稠密注意力质量，在 RULER 和 LongBench-Pro 上分别比 UNIQUE 提升至多 3.47 和 2.57 分，自注意力加速至多 1.32x，相对稠密注意力加速至多 14.07x。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1011月9日 14:00
- 近 24 小时变化
- –
02.557.510
14:0016:0018:0020:0022:0011月10日
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。