跳到正文
arXiv Artificial Intelligence· Laura Yao, Shixing Yu, Jie Peng, Promit Ghosal, Kyra Gan, Tianlong Chen·· 18 小时前AI 评分22

MOSAIC:面向视觉语言模型的 patch 级训练样本归因

Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models

AI 导读

MOSAIC(Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization)为视觉语言模型提供 patch 级训练样本归因,学习共享稀疏图像—文本隐空间,并用 EK-FAC 将训练样本影响分解到具体文本短语和图像区域。

来源:arXiv Artificial Intelligence · arxiv.org