arXiv Artificial Intelligence· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·· 2 天前AI 评分34
TriAttention：面向长上下文 LLM 推理的统一稀疏混合精度注意力
TriAttention: Unified Sparse Mixed-Precision Attention for Long-Context LLM Inference
AI 导读
TriAttention 将 query-key tile 分配为跳过、4-bit 或 8-bit 计算，用 4-bit 保留对量化不敏感的交互以降低成本。它用两条对角距离边界编码每个 head 的计算区域，使策略存储与上下文长度无关，并通过离线校准和模型级分配器在共享计算预算下最小化校准误差。
来源：arXiv Artificial Intelligence · arxiv.org