跳到正文
arXiv Artificial Intelligence· Zekun Shi, Alastair James Arthur Price·· 18 小时前AI 评分24

FreeSolo:线性时间稀疏注意力,实现零样本长度外推

FreeSolo: Linear-time Sparse Attention with Zero-Shot Length Extrapolation

AI 导读

FreeSolo 是一种原生稀疏注意力机制,包含短程滑动窗口分支和长程分支,后者通过选取关键点单元直接进行 token 注意力。其线性时间变体 FS-L 通过短程 CPT 学习在查询相关选择前剪枝前缀,FS-B 则以 O(N log² N) 算法成本搜索平衡树(含基数排序构建)。无需长上下文微调,FreeSolo 的零样本长度外推表现优于基线。

来源:arXiv Artificial Intelligence · arxiv.org