arXiv Artificial Intelligence· Tina Khezresmaeilzadeh, Seyedarmin Azizi, Mehdi Kamal, Massoud Pedram·· 13 小时前AI 评分34
视觉语言模型能否区分"看到的"与"想到的"？概念注入实验揭示现实监测缺陷
Did I See It or Think It? Probing Reality Monitoring in Vision-Language Models with Concept Injection
AI 导读
研究用概念注入范式测试视觉语言模型能否区分注入概念与图像内容，六个模型中仅 Gemma-3-27B 能可靠识别注入概念（35% 对比单独引导的 3%），且几乎无误报。但其报告的来源仍不可靠：强注入或视觉通路注入会被报告为"看到"，可见物体的存在几乎消除正确的思考报告。在普通图像描述任务中，注入物体出现在多达 87% 的真实照片描述里。
推荐理由模型分析
该研究把语言模型的内省实验扩展到视觉语言模型，提出可独立变化图像与注入概念的试验范式，同时考察模型能否识别概念以及把来源归为“看到”还是“想到”。六个模型中仅Gemma-3-27B较可靠识别注入概念（35%对3%），但来源判断脆弱，强注入或视觉通路注入会被报告为看到，普通图像描述中注入对象出现率最高达87%。这提示多模态自报评测需同时核查内容与来源，适合做VLM可解释性与安全评测的研究者参考，结论限于该实验设置。
来源：arXiv Artificial Intelligence · arxiv.org