递归CLIP视觉语言蒸馏研究

2026年10月27日，arXiv Computer Vision 刊出 Szymon Mazurek 等作者的论文，研究将 CLIP 的 Transformer 块循环复用：固定 N·M 等于标准 ViT-B 深度，用少量 N 个块在前向中重复 M 次，以在保持 CLIP 可迁移能力的同时实现递归复用。论文提出两种变体：仅视觉编码器递归的 rCLIP，以及文本编码器也递归的 r²CLIP。作者称其考察的是这些块能否被递归复用而仍保留 CLIP 的可迁移能力。目前报道仅涉及论文提交与模型设计，未给出实验结果、性能数字或与其他方法的对比，后续进展尚待跟进。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。