跳到正文
arXiv Computer Vision· Han Su, Meng Tian, Tianyu Huang, Mingyu Gao, Lennox Wei, Dongxu Li, Jianhua Han, Hang Xu, Xiaohe Wu, Wangmeng Zuo·· 2 小时前AI 评分24

DK-VLM:以几何为位置的双核注意力提升视觉语言模型空间推理

DK-VLM: Geometry as Position for Spatial Reasoning in Vision-Language Models

AI 导读

DK-VLM 提出 Dual-Kernel Attention,从视觉 token 的输入位置和场景中的几何位置分别计算注意力:语义核保留预训练模型的注意力与位置编码,几何核用估计的 3D 点和相机位姿通过点位移与相对视角变换直接调制注意力,再由学习门控融合输出。

来源:arXiv Computer Vision · arxiv.org