跳到正文
arXiv Computer Vision· Jaeyeon Heo, Geuntaek Lim, Yukyung Choi·· 4 小时前AI 评分22

RTAformer:面向视频场景图生成的关系转换感知 Transformer

RTAformer: Relation-Transition-Aware Transformer for Video Scene Graph Generation

AI 导读

RTAformer 是一个单阶段框架,通过分别建模实体持续性与关系变化来解决视频场景图生成中的"关系语义惯性"问题,即模型在底层关系已改变后仍保留旧预测。该方法将相邻帧关系查询间的校准差异注入谓词更新,并在训练时用跨帧实例对齐减少表征漂移。在 Action Genome 上,其召回率与平均召回率均优于现有方法,且在关系转换帧上的提升大于非转换帧。

来源:arXiv Computer Vision · arxiv.org