MSP：无需配对跨模态数据的多模态LLM训练框架

2026年10月16日，arXiv Computer Vision 报道研究者 Robert Moseley 等作者发表论文，提出 Modality Self-Play（MSP）多模态训练框架。该框架以锚定模态的代理文本描述作为语义桥梁，让模型在训练中从未见过真实配对非文本数据的情况下实现零样本模态组合。报道称 MSP 在多个多模态基准上达到 SOTA 或具竞争力表现，消融实验显示学习到的桥梁改善对齐、代理描述支撑有效跨模态组合。论文已被 NeurIPS 2026 接收。报道同时指出，MSP 免除的是真实配对非文本（如音频-视觉）监督，但仍需依赖模态-文本对、预训练对比编码器和模态分布桥梁校准。目前该事件仅有这一篇报道，尚无后续跟进或与之矛盾的说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。