arXiv Computer Vision· Madhav Iyengar, Andreas Geiger, Hilde K\"uhne·· 2 小时前AI 评分22
从预训练骨干网络改造循环视觉语言模型
Retrofitting Recurrent Vision-Language Models from Pretrained Backbones
AI 导读
研究者将深度循环改造范式用于视觉理解，通过剪枝 VLM 语言骨干层并循环剩余层子集，配合线性适配器融合跨层 token 表示，以降低参数量。在 TinyLLaVA-1.4B 上，改造后模型语言参数减少 23.3%，性能仍超过用相同恢复数据训练的未剪枝基线，并在推理类基准上有所提升，基础视觉理解与基线持平。
来源：arXiv Computer Vision · arxiv.org