arXiv Computer Vision· Josh Barua, Kyle Mahowald, William Rudman·· 6 小时前AI 评分22
视觉语言模型如何像有偏的贝叶斯观察者一样整合冲突证据
Vision-Language Models Integrate Conflicting Evidence Like Biased Bayesian Observers
AI 导读
研究从贝叶斯视角提出，视觉语言模型（VLM）会将来自文本和图像两种模态的条件独立证据与先验信念结合，并受模态特定偏差影响。由此构建的两参数线索组合模型能准确预测 VLM 在未见过的输入退化组合下的偏好，且无需重新拟合即可迁移到新的不可靠形式。将证据强度与整合偏差分离，可解释 VLM 为何在更重视视觉证据的同时仍跟随文本，从而在单一组合规则下调和文本主导与视觉主导的矛盾报告。
来源：arXiv Computer Vision · arxiv.org