跳到正文
arXiv Computer Vision· Jiapeng Shi, Qiuxia Hou, Jiaqi Leng, Junke Wang, Yanhao Zhang, Haonan Lu, Ziyi Ye, Zuxuan Wu·· 2 小时前AI 评分24

EVA-Cap:通过事件中心对齐优化音视频视频描述

EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment

AI 导读

EVA-Cap 将音视频视频描述拆解为原子级音视频事件,把非结构化文本监督转为事件中心对齐,并在自建数据集 EVA-Data 上通过 SFT 与 GRPO 训练,GRPO 阶段针对全局事件完整性、事件内归因和事件间同步三个目标优化。实验显示其在 ChronusAV 事件中心评测上平均提升 9.0%,在 WorldSense 上提升 3.3%。该工作已被 NeurIPS 2026 接收,代码将开源。

来源:arXiv Computer Vision · arxiv.org