跨提示推理缓解VLM微调稀有类抑制

2026年10月16日，arXiv Computer Vision 刊出 Emanuel Ben Baruch 等作者的论文，针对视觉语言模型在类别不平衡数据上微调后出现的稀有类抑制问题提出跨提示推理（cross-prompt inference）方法。论文指出，模型在类别不平衡数据上微调后，稀有类召回率可能低于其零样本表现；且推理时沿用微调时的描述性提示词，反而比换用另一描述性提示词更差，作者将这一现象称为 matched-prompt penalty。作者提出的跨提示推理即在推理阶段换用另一描述性提示词。论文称，在六个数据集上对多种视觉语言模型进行评估后发现，跨提示推理能持续恢复稀有类召回率，但在常见类召回率上存在不同程度的权衡。目前该工作处于论文发布阶段，尚未见后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。