arXiv Artificial Intelligence· Fabian Gr\"oger, Na\"el Ouerghemi, Shuo Wen, Maria Brbi\'c·· 18 小时前AI 评分27
多模态 LLM 的 projector 训练再审视:PORTAL 免训练初始化
Rethinking Projector Training in Multimodal LLMs
AI 导读
研究发现多模态 LLM 的 projector 训练只需 10% 到 20% 的数据即可恢复大部分下游性能,且不同数据集训练的 projector 可线性插值而性能基本保持,说明该阶段主要完成粗对齐。
来源:arXiv Artificial Intelligence · arxiv.org