arXiv Computer Vision· Xinlong Chen, Weihong Lin, Yuanxing Zhang, Xinyu Liu, Yue Ding, Bozhou Li, Bohan Zeng, Yang Shi, Qiang Liu, Pengfei Wan, Liang Wang, Tieniu Tan·· 20 小时前AI 评分24
PIGEONS：用持久身份库与演进式总体叙事摘要实现增量式长视频描述
PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary
AI 导读
PIGEONS 是一种增量式长视频描述模型，通过持久身份库和演进式总体叙事摘要解决分段描述拼接带来的主体指代不一致与长程叙事碎片化问题。模型先扫描整段视频构建身份库以锚定关键主体，再逐片段生成描述，并在每步后更新总体叙事摘要以保留长程上下文。该模型采用融合监督微调与强化学习的三阶段训练策略，在长视频描述上取得更高的准确性、完整性和主体指代一致性，短视频描述性能也保持竞争力。
来源：arXiv Computer Vision · arxiv.org