DPOison-VL：视觉语言模型 DPO 的干净偏好投毒攻击

DPOison-VL 是首个针对 VLM-DPO 的干净偏好投毒攻击，仅通过对少量训练图像施加不可感知扰动，即可在不改动提示词、回答和偏好标注的情况下操纵模型对齐。该方法将投毒构造建模为双层优化，并提出偏好位移分数用于投毒样本选择，在仅 2% 投毒数据下实现最高 98% 攻击成功率，且具备跨模型迁移性，同时基本保持干净准确率与通用能力。