VLM 视觉注意力汇检测与缓解研究

2026年10月14日，arXiv Artificial Intelligence 刊出 Dengjia Zhang 等作者的研究，主题为视觉语言模型（VLM）中视觉注意力汇的检测与缓解方法。该研究对比六种检测器与四个家族共十个 VLM，发现只有图像 token 的 key 与语言模型文本注意力汇 key 的中心化余弦相似度能够识别视觉注意力汇，据此提出视觉汇是 key 与文本汇对齐的图像 token，即“借来的，而非看到的”。目前进展限于检测机制这一发现，报道未给出缓解方法的具体效果或适用范围。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。