arXiv Artificial Intelligence· Xinyu Chen, Liangjian Wen, Jiang Duan, Dongkai Wang, Yong Dai, Jiayu Bai, Jianzhuang Liu, Zhen Tian, Guoping Qiu, Zhao Kan·· 2 小时前AI 评分26
MSCR：在多模态间平衡利用率并发现协同信息
MSCR: Jointly Balancing Utilization Across Modalities and Discovering Synergistic Information
AI 导读
针对多模态学习中模态失衡导致模型无法充分利用跨模态交互的问题，研究者提出融合方法 MSCR，同时促进模态利用率平衡与协同信息发现。MSCR 包含抑制单模态过度影响的反主导目标，以及鼓励融合预测器优于非协同单模态参考的协同目标，并用自适应门控将正则化集中在更需要协同建模的样本上。
来源：arXiv Artificial Intelligence · arxiv.org