arXiv Artificial Intelligence· Yangsheng Deng, Xinjing Huang, Yulong Wang, Yunzhuo Liu, Jun Hu, Shuyong Tang, Junchi Zeng, Mingji Han, Ray Ying, Key Zhang, Luo Mai·· 2 小时前AI 评分36
HyScale：为学习型稀疏注意力扩展长上下文训练
HyScale: Scaling Long-Context Training for Learned Sparse Attention
AI 导读
HyScale 是面向学习型稀疏注意力的长上下文训练系统，通过 HyTopK 与 selection replay 避免物化完整分数表并在重计算中复用前向选择结果。
来源：arXiv Artificial Intelligence · arxiv.org