跳到正文
arXiv Artificial Intelligence· Jeonghwan Kim, Sofia Stoica, Jiwan Chung, Ansel Blume, Hyeonjeong Ha, Zhenhailong Wang, Xin Luna Dong, Heng Ji·· 19 小时前AI 评分27

Mixture of Layers:面向视觉推理的动态层路由

Mixture of Layers: Dynamic Layer Routing for Visual Reasoning

AI 导读

研究者提出 Mixture of Layers(MoL),一种在视觉 patch 级别、由指令条件驱动的层路由方法,可从视觉编码器中间层动态聚合与查询相关的隐状态,支持图像级、patch 级或混合路由的 top-k 稀疏聚合。

来源:arXiv Artificial Intelligence · arxiv.org