通过纠正模态误路由缓解全模态 LLM 的跨模态幻觉

针对全模态大语言模型在音视频干扰下的跨模态幻觉，研究者提出免训练推理时方法 CaRe（Conflict-aware Residual Intervention），用纯文本模态探针识别候选模态反事实分支，当其预测与原始联合预测冲突时判定为模态误路由，并从反事实与融合表示的差异中计算残差方向，引导多模态状态转向相关模态证据，干预强度随反事实分支置信度自适应调整。