arXiv Artificial Intelligence· Dengjia Zhang, Alexander Martin, Pengyu Yan, Xihan Sun, Jiaqi Li, Benjamin Van Durme, Andrew Yates, Reno Kriz, William Walden·· 18 小时前AI 评分24
VLM 中的视觉注意力汇是借来的，而非看到的
Attention Sinks in VLMs Are Borrowed, Not Seen
AI 导读
研究对比六种检测器与四个家族共十个 VLM 后发现，只有图像 token 的 key 与语言模型文本注意力汇 key 的中心化余弦相似度能识别视觉注意力汇，即视觉汇是 key 与文本汇对齐的图像 token。
来源：arXiv Artificial Intelligence · arxiv.org