跳到正文
arXiv Artificial Intelligence· Haopeng Jin, Wenlong Zhao, Tao Yu, Tiankun Yang, Zhenyu Guan, ShiQuan Dong, Yujia Yang, Shani Ye, Chubin Chen, Hongzhu Yi, Jinwen Luo·· 19 小时前AI 评分31

HIMMEL:面向长视频理解的分层交错多流运动编码框架

HIMMEL: Hierarchical Interleaved Multi-stream Motion Encoding for Long Video Understanding

AI 导读

HIMMEL 是一种分层视频-语言框架,将稀疏语义锚帧送入 ViT,密集帧间区间则由压缩域三流适配器从运动矢量图、残差图和 I-frame 上下文分支提取运动 token 注入 LLM。

来源:arXiv Artificial Intelligence · arxiv.org