RoSA：缓解显著性坍缩的鲁棒显著性感知长文本图文对齐框架

研究者提出显著性感知微调框架 RoSA，通过将图文对分解为显著视图与上下文视图并联合学习，缓解模型过度依赖视觉显著文本、忽视非显著上下文的“显著性坍缩”问题。该方法用与模态无关的分解策略结合物体级视觉显著性估计和基于 LLM 的文本分解，并借助辅助目标显式对齐两种视图。RoSA 显著提升长文本检索表现，对显著性坍缩展现强鲁棒性，其辅助目标可即插即用，代码与 checkpoint 已公开。