跳到正文
arXiv Computer Vision· Chen Zhao, Lehan Shen, Qilong Huang, Hongyu Li, Zhuoliang Kang, Xiaoming Wei, Jian Yang, Ying Tai·· 20 小时前AI 评分22

结构化有状态关系脚本 SSRS 与 MSAV-Script-100K 数据集:面向多镜头音视频生成

Structured Stateful Relational Scripts with a High-Quality Dataset for Multi-Shot Audio-Visual Video Generation

AI 导读

研究者提出结构化有状态关系脚本(SSRS),将持久实体与声音身份同镜头特定的视觉、听觉状态分离,并显式编码声源绑定与时间关系,用全局音视频事件序列连接跨镜头延续的事件。同时发布 MSAV-Script-100K 大规模多镜头音视频数据集,配详细 SSRS 标注。实验显示跨镜头一致性、指定状态变化遵循度和音视频对齐均有提升。

来源:arXiv Computer Vision · arxiv.org