跳到正文
arXiv Computer Vision· Pengfeng Song, Shaozhong Zhang, Pengfei Shao·· 3 小时前AI 评分20

HFCMA:用动态粒度发现与最优传输实现层次化细粒度跨模态对齐

Hierarchical Fine-Grained Cross-Modal Alignment via Dynamic Granularity Discovery and Optimal Transport

AI 导读

HFCMA 将原始图像块与文本 token 逐步聚合为自适应视觉区域和文本短语,并把区域-短语匹配建模为熵正则化最优传输问题,在全局边缘约束下估计结构化对齐矩阵。

来源:arXiv Computer Vision · arxiv.org