arXiv Computer Vision· Sophia Sirko-Galouchenko, Monika Wysoczanska, Andrei Bursuc, Nicolas Thome, Spyros Gidaris·· 3 小时前AI 评分22
V-GIFT：用自监督任务引导视觉指令微调，提升 MLLM 视觉感知
V-GIFT: Boosting Visual Instruction Tuning with Self-Supervised Guidance
AI 导读
V-GIFT 通过将旋转预测、颜色匹配、跨视角对应等经典自监督任务改写为图像-指令-回复三元组，为多模态大语言模型（MLLM）的视觉指令微调注入必须依赖视觉证据才能完成的监督信号。该方法无需人工标注、不改架构、不加训练阶段，仅混入 3-10% 此类视觉接地指令，即可在多个模型、训练方案和基准上持续提升视觉中心评测表现。论文已被 NeurIPS 2026 接收，代码已开源。
来源：arXiv Computer Vision · arxiv.org