arXiv Artificial Intelligence· Giovana Morais, Hugo Flores Garc\'ia, Prem Seetharaman, Johannes Imort, Justin Salamon, Magdalena Fuentes, Oriol Nieto·· 13 小时前AI 评分29
FoleyForge：自由形式、可控的整流流音效编辑模型
FoleyForge: Free-form, Controllable, Rectified-flow Editing of Sound Effects
AI 导读
FoleyForge 是面向音效的指令编辑生成模型，可在保留输入音色身份的前提下，按自由形式指令完成语义、风格和类 DSP 修改。研究团队用音频语言模型构建编辑数据管线，并微调整流流音频生成模型，新增响度变化、编辑强度和输入派生轮廓包络三项属性控制，均可通过无分类器引导调节。模型在指令遵循度上达到 SOTA，音频质量与源保真度保持竞争力。
推荐理由模型分析
FoleyForge 针对音效指令编辑缺少公开数据的问题，用音频语言模型生成 DSP 类声学编辑与保持相似度的语义编辑数据，再微调整流流音频生成模型，并加入响度、编辑强度、输入轮廓包络等可调属性。作者报告其在指令遵循上达到当前最优，音质与源保真度具竞争力。适合音频生成研究者比较编辑基线、复现数据管线，但结论限于论文实验条件。
来源：arXiv Artificial Intelligence · arxiv.org