arXiv Artificial Intelligence· Jianpeng Cheng, Guangyu Sun, Aashu Singh, Benyu Zhang, Haixing Dai, Hossein Mansour, Jiangfan Zhang, Shlok Kumar Mishra, Wei Sun, Xuanming Cui, Yanli Liu, Qi Guo, Max Xiangjun Fan, Jun Xiao·· 13 小时前AI 评分41
MetaEncoder：用双向编码器突破多模态 System One 决策的极限
MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface
AI 导读
MetaEncoder 是从 Muse-Glimmer 解码器经单向对比学习微调而来的多模态编码器，通过打包对比训练将 30B 解码器全量微调为编码器。在 12 个基准套件上，它在决策任务和 MMEB-v3 图像/视频检索上超过现有多模态嵌入基线，并可扩展到远超当前决策模型能力的开放候选空间。
推荐理由模型分析
该文系统比较了双编码器、交叉编码器和受限解码器三种候选打分架构在准确率与推理效率上的取舍：交叉编码器准确率最高，双编码器因候选嵌入可离线缓存，在候选池扩大时延迟近乎恒定，而另两类成本随候选数呈二次增长。作者据此提出 MetaEncoder，用打包对比训练把 30B 解码器微调为编码器，并在 12 个基准上报告了决策任务与 MMEB-v3 检索的提升。做检索、重排或候选打分选型的开发者可参考其架构对比与闭集任务需把全部候选放入提示的条件。
来源：arXiv Artificial Intelligence · arxiv.org