arXiv Artificial Intelligence· Xibo Ding, Guoxia Wang, Jinle Zeng, Jiabin Yang, Sirui Tao, Chao Yang, Dianhai Yu·· 18 小时前AI 评分28
Virtual Head Attention：兼顾 KV cache、FLOPs 与模型质量的长上下文注意力机制
Virtual Head Attention
AI 导读
研究者提出 Virtual Head Attention（VHA），通过 Q Premix 与 Linear Postmix 两个线性操作，同时改善 KV cache 大小、训练与 prefill FLOPs、模型质量这一"不可能三角"。
来源：arXiv Artificial Intelligence · arxiv.org