arXiv Computer Vision· Duo Li, Haojun Pan, Zuhao Yang, Xintong Wang, Chengfu Huo, Shijian Lu, Liang Ding·· 20 小时前AI 评分22
多模态嵌入的对比学习策略真的有效吗？一项受控研究
What Really Works for Universal Multimodal Embeddings? A Controlled Study of Contrastive Training Strategies
AI 导读
研究在统一基准 MMEB 上系统评估了负样本选择、批次构建与梯度调制等代表性对比学习策略，发现多数策略相比标准对齐基线仅有边际收益，部分甚至拖累整体性能。团队提出 MLLM-as-a-Judge 诊断框架，将 top-1 检索行为拆解为标注正例、假阴性（未标注的有效匹配）与难/易负例错误，并总结出梯度失真、分布幻觉与协同训练三点结论。
来源：arXiv Computer Vision · arxiv.org