跳到正文
arXiv Artificial Intelligence· Yingcheng Liu, Tianyi Jiang, Yujuan Ding, jiangbo Ai, Xun Jiang, Guoqing Wang, Wei Ye, Yi Bin·· 19 小时前AI 评分24

MoLE:用潜在专家混合实现互补视觉推理

MoLE: Mixture of Latent Experts for Complementary Visual Reasoning

AI 导读

MoLE 是一种潜在专家混合(Mixture of Latent Experts)框架,让不同潜在 token 在证据提取阶段各自隔离、观察并转换互补的视觉信息,再由专门的潜在摘要专家聚合这些表示。在五个视觉推理基准上,MoLE 平均得分 78.6,比数据量匹配的监督微调高 4.9,比同潜在预算下最强基线高 3.6;遮蔽潜在通路后平均性能下降 9.2。

来源:arXiv Artificial Intelligence · arxiv.org