跳到正文
arXiv Computer Vision· Senbin Xu, Zijun Zhang, Xinhua Wu, Li He, Jubo Feng, Li Qiao, Zhen Gao, Yan Zhang, Jixiang Luo, Rongrong Ji·· 20 小时前AI 评分30

SPARE:面向流式视频理解的共享感知与自适应证据检索框架

SPARE: Shared Perception and Adaptive Retrieval of Evidence for Streaming Video Understanding

AI 导读

SPARE 框架将自适应历史检索与视觉编码器共享结合,用轻量门控判断近期观测是否足以回答问题,不足时由多模态嵌入模型检索相关历史片段补充上下文,并通过 LoRA 指令微调让理解模型联合使用近期观测与检索历史、在证据不足时弃答。

来源:arXiv Computer Vision · arxiv.org