反事实语义显著性框架评估VLM与人类差距

2026年10月15日，arXiv Artificial Intelligence 刊出研究，提出反事实语义显著性（Counterfactual Semantic Saliency，CSS）框架，用于评估视觉语言模型（VLM）与人类的语义对齐。该框架为黑盒、模型无关方法，通过因果消融场景中的物体、测量由此引发的语义偏移来量化物体重要性。研究在307个复杂自然场景、1,306个高保真反事实变体上收集了16,603份人类心理物理学基线响应，并据此对比测试主流VLM，揭示人类与VLM在场景描述之间存在语义显著性差距。作者为Ziqi Wen、Parsa Madinei、Miguel P. Eckstein，论文注明代码与数据可在所给链接获取。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。