扩散模型自表征对齐 U-SRA 用于视频背景音乐生成

研究者提出扩散 U-Net 自表征对齐架构 U-SRA，在训练中将高噪声条件下早期层的较弱表征与低噪声条件下后期层的较优表征显式对齐，并引入对齐损失引导模型学习更好的内部表征，用于视频背景音乐生成。该方法通过交叉注意力机制同步音乐与视频片段，在基准视频-音乐数据集上的视频-音乐对齐度和整体音乐质量等关键指标上超过当前最优水平。