arXiv Artificial Intelligence· Zhengtao Zou, Pekka Marttinen·· 20 小时前AI 评分27
视觉语言模型为何能感知深度却选错线索
Seeing Depth but Choosing Cues in Vision-Language Models
AI 导读
研究通过深度与线索冲突实验发现,视觉语言模型在判断物体远近时会系统性偏向误导性的图像平面线索,如视觉大小和垂直位置,且这一现象跨模型家族和规模存在。但即使模型答错,正确的深度顺序仍可从被查询物体的视觉表征中解码出来。通过物体级写回强化模型自身的深度读出,可在不更新参数、不使用真实深度标注的情况下纠正冲突决策,其效果取决于写入信号的方向和目标 token,强度因架构和领域而异。
来源:arXiv Artificial Intelligence · arxiv.org