arXiv Computer Vision· Tiantian Liu, Meng Wan, Zhiqiang Liang, Jue Wang, Ningming Nie, Yangang Wang·· 20 小时前AI 评分22
EG-Sparse：面向视频扩散 Transformer 的免训练稀疏注意力选择性头全局化
Competition Domains Matter: Selective Head Globalization for Training-Free Sparse Attention in Video Diffusion Transformers
AI 导读
EG-Sparse 是一种免训练稀疏注意力框架，将低熵注意力头路由到分组跨头池，同时为高熵头保留逐行局部选择，仅使用稀疏流程已生成的分数。受控诊断显示，分组跨头选择使低熵头重建误差降低 9.8%，而将高熵头强制放入全头全局池则使其增加 7.9%。在四种配置下，EG-Sparse 相比强免训练稀疏注意力基线提升了视频质量，同时降低了注意力密度和 GPU 去噪延迟。
来源：arXiv Computer Vision · arxiv.org