研究：VLM文本表征未对齐视觉并提出自蒸馏

2026年10月20日，Shashwat Singh、He He、Tal Linzen 在 arXiv 发表研究，考察视觉语言模型的多模态对齐是否改变语言模型对文本的表征，尤其是在几何题等以文字表述、可视化本应有助的任务上。研究对比指令微调的 Qwen-2.5 与 Mistral 及其视觉对齐版本，发现多模态模型在纯文本形状计数任务上并无优势，尽管其图像版本表现良好；探测实验显示，视觉对齐的解码器嵌入并未携带更多视觉结构。作者据此提出将上下文视觉嵌入蒸馏进文本嵌入的优化目标，无需显式任务监督即可提升文本任务表现，包括比对齐时更复杂的样本。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。