跳到正文
arXiv Computer Vision· DoYoung Kim, Changkyu Choi, Ad\'in Ram\'irez Rivera, YunSeok Choi, Jee-Hyong Lee·· 1 天前AI 评分22

Know-Thy-Not:双编码器视觉语言模型的无训练定向否定

Know-Thy-Not: Training-Free Targeted Negation in Dual-Encoder Vision-Language Models

AI 导读

双编码器视觉语言模型在否定任务上系统性失败,对"有狗的猫"和"没有狗的猫"打分几乎相同,该问题源于单嵌入框架的固有缺陷。为此提出的 Know-Thy-Not(KTN)是一种无训练方法,在图像侧引入拒绝维度以直接惩罚被否定概念,并配套推出首个要求真正拒绝的基准 COCO-Confusion。

来源:arXiv Computer Vision · arxiv.org