视觉语言模型无法将视觉表征用于文本任务，自蒸馏可改善

研究对比指令微调的 Qwen-2.5 与 Mistral 及其视觉对齐版本，发现多模态模型在纯文本形状计数任务上并无优势，尽管图像版本表现良好。探测实验显示视觉对齐的解码器嵌入并未携带更多视觉结构。作者提出将上下文视觉嵌入蒸馏进文本嵌入的优化目标，无需显式任务监督即可提升文本任务表现，包括比对齐时更复杂的样本。