arXiv Computer Vision· Hao Yang, Zhuo Ma, Yang Liu, Yilong Yang, Guancheng Wang, JianFeng Ma·· 8 小时前AI 评分34
CrossMPI：仅用图像扰动实现跨模态提示注入攻击大型视觉语言模型
A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation
AI 导读
研究者提出跨模态提示注入攻击 CrossMPI，仅通过图像扰动即可同时操控大型视觉语言模型对文本和视觉输入的理解。该方法把注入扰动优化从约 10^5 参数的视觉嵌入空间转移到约 10^7 参数的模型隐藏状态空间，并配合层选择策略与距离递减扰动预算分配策略。分析发现最优扰动层位于模型中部而非最后层，多模型多数据集实验显示其显著优于基线方法。
来源：arXiv Computer Vision · arxiv.org