arXiv Computer Vision· Robert Moseley, Md Kaykobad Reza, Ameya Patil, Edward Ayrapetian, Salman Asif·· 6 小时前AI 评分27
MSP：无需配对跨模态数据训练多模态 LLM 的模态自博弈框架
MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data
AI 导读
研究者提出 Modality Self-Play（MSP）训练框架，用锚定模态的代理文本描述作为语义桥梁，让模型在训练中从未见过真实配对非文本数据的情况下实现零样本模态组合。MSP 在多个多模态基准上达到 SOTA 或具竞争力表现，消融实验显示学习到的桥梁改善对齐、代理描述支撑有效跨模态组合。该框架仍需模态-文本对、预训练对比编码器和模态分布桥梁校准，论文已被 NeurIPS 2026 接收。
来源：arXiv Computer Vision · arxiv.org