跳到正文
arXiv Artificial Intelligence· Fabian Gr\"oger, Na\"el Ouerghemi, Shuo Wen, Maria Brbi\'c·· 18 小时前AI 评分27

多模态 LLM 的 projector 训练再审视:PORTAL 免训练初始化

Rethinking Projector Training in Multimodal LLMs

AI 导读

研究发现多模态 LLM 的 projector 训练只需 10% 到 20% 的数据即可恢复大部分下游性能,且不同数据集训练的 projector 可线性插值而性能基本保持,说明该阶段主要完成粗对齐。

来源:arXiv Artificial Intelligence · arxiv.org