arXiv Computer Vision· Shunyuan Bai, Yuchen Ren, Le Yang, Chenhao Lin, Chao Shen, Zhengyu Zhao·· 20 小时前AI 评分22
ProAda：面向视觉语言模型的提示词自适应对抗图像
Answer It or Not? Towards Prompt-Adapted Adversarial Images on Vision Language Models
AI 导读
针对现有视觉语言模型对抗图像忽略文本提示词差异、对合法提问也一律拒答的问题，研究者提出提示词自适应对抗图像 ProAda，通过迭代更新文本提示词并配合分类器判断其危害性是否残留，以更准确地确定对抗方向。在视觉隐私相关数据集上，ProAda 能拒绝超过 90% 的有害提示词，同时放行超过 90% 的合法提示词，整体表现优于现有提示词无关的对抗方法，并具备有竞争力的跨模型迁移性和更强的抗反制鲁棒性。
来源：arXiv Computer Vision · arxiv.org