arXiv Artificial Intelligence· Songyuan Sui, Zhen Tan, Mohan Zhang, Rana Muhammad Shahroz Khan, Xia Hu, Tianlong Chen·· 19 小时前AI 评分27
多模态越多越好吗？缺失模态鲁棒性的几何视角
Do More Modalities Always Help? A Geometric Perspective on Missing-Modality Robustness
AI 导读
多模态训练会让模型在推理时缺失某一模态的情况下反而不如单模态模型，这一现象出现在融合模型、CLIP 式双塔模型和视觉语言模型中。作者将其归因于主参数子空间中习得的跨模态依赖，并提出轻量参数编辑方法 Geodesic Unlearning（GU），利用 Grassmannian 子空间几何沿测地线将主输入子空间旋转至单模态参考方向。
来源：arXiv Artificial Intelligence · arxiv.org