跳到正文
arXiv Computer Vision· Hsin-Ling Hsu, Neeraja Kirtane, Kuan-Hao Huang·· 4 小时前AI 评分31

并非每个提及都是断言:重新审视视觉语言模型中的物体幻觉检测

Not Every Mention Is a Claim: Rethinking Object Hallucination Detection in Vision-Language Models

AI 导读

研究提出 NAME-Bench,包含五个 VLM 为 COCO 图像生成的 25,497 条物体提及,每条标注为具体、幻觉或非断言三类,非断言再分描绘、目的、否定和模糊四种。现有幻觉检测器将非断言提及误判为幻觉的比例达 14% 至 80%。在 LLaVA-1.5 上以非断言提及作负样本训练可基本纠正该问题,但四个较新 VLM 需五到十倍数据,且检测真实幻觉的能力随之下降。

来源:arXiv Computer Vision · arxiv.org