arXiv Artificial Intelligence· Tillmann Rheude, Roland Eils, Benjamin Wild·2026-10-15 12:00· 18 小时前AI 评分24

用预拟合与冻结的 Transformer 评分器替代多模态对比学习中的手工相似度函数

Prior-Fitted and Frozen Scorers for Multimodal Contrastive Learning

AI 导读

多模态对比学习通常依赖余弦相似度等手工评分函数，研究者改用 Transformer 作为评分器，发现随机初始化并保持冻结的模型即可超越强手工基线，而与编码器联合优化反而效果更差。