KARAMEL多模态实体链接框架与WikiMuSA数据集发布

KARAMEL 是一个面向文化遗产领域的多模态实体链接框架，将视觉-语言编码器与异构图神经网络融合，通过社会历史与上下文知识实现复杂关系结构上的上下文推理。团队同时发布 WikiMuSA 数据集，通过图像、文本描述和结构化上下文知识将艺术品链接到 Wikidata 实体。实验显示 KARAMEL 在隐式或抽象提及上超越强基线，消融研究凸显领域特定结构化上下文的关键作用，数据集与源码已公开。

摘自 arXiv Computer Vision

还没有足够的连续观测数据，暂不绘制趋势。