arXiv Computer Vision· Kaisi Guan, Ying Ba, Wenjing Wang, Xihua Wang, Chen Li, Jing Lyu, Ruihau Song·· 20 小时前AI 评分29
SyncReward:面向音视频生成的人类对齐同步奖励模型
SyncReward: Human-Aligned Synchronization Reward for Audio-Visual Generation
AI 导读
针对音视频生成中语音与声音常与画面事件时间错位的问题,研究者构建了含 8 万个专业同步评分的 SyncReward-Data-80K 数据集(覆盖 Speech、Onset、Instrument、Ambient 四类声音事件)和 1K 片段的 SyncReward-Bench 基准,发现现有专用同步指标与全模态模型与人类判断存在明显偏差。
来源:arXiv Computer Vision · arxiv.org