arXiv Computer Vision· Jay N. Paranjape, Jurijs Nazarovs, Rohan Sarkar, Yue Guo, Lipeng Ke, Sankar Venkataraman, Vishal M. Patel, Nataraj Jammalamadaka·· 6 小时前AI 评分22
视频中基于定位的人物属性描述与活动识别(GHADAR)框架发布
Grounded Human-Attributed Description and Activity Recognition in Videos
AI 导读
研究者提出 GHADAR 任务,要求根据视频中每个人的位置,描述其属性与活动,并基于 AVA-Actions 构建了带开放集描述的新数据集。其方法通过在训练中约束 VLM 的交叉注意力掩码利用定位信息,性能超过 SOTA VLM。团队还指出依赖人工标注与文本精确匹配的现有评测指标存在局限,并提出基于 VLM 的整体评测方案。
来源:arXiv Computer Vision · arxiv.org