跳到正文
arXiv Artificial Intelligence· Yixuan Li, Xuenan Xu, Zeyu Xie, Mengyue Wu·· 17 小时前AI 评分24

AlignAudio:面向噪声鲁棒语音条件生成的统一双对齐框架

AlignAudio: A Unified Dual-Alignment Framework for Noise-Robust Speech-Conditioned Generation

AI 导读

AlignAudio 是一个基于双对齐的噪声鲁棒语音条件生成框架,通过对齐干净与含噪语音的表示保留语义线索,并在 flow matching 范式内强化生成级一致性。在语音转音频(STA)和声音转换(VC)任务上,它在干净语音下性能与基线相当,在多种噪声条件下显著优于基线。该双对齐策略适用于单流和多流语音条件,并可集成到不同的 flow matching 生成框架与后训练设置中。

来源:arXiv Artificial Intelligence · arxiv.org