arXiv Artificial Intelligence· Yu Pan, Tianjiao Zhang, Yang Hou, Xiongfei Wu, Liang Zhang, Yves Le Traon, Lei Ma, Jianjun Zhao·· 19 小时前AI 评分24
TypoCast：用类型学特征替代语言标签的多语言语音翻译前端
Conditioned in Training, Dispensable at Inference: Typological Conditioning for Multilingual Speech Translation
AI 导读
TypoCast 是一个基于语言类型学特征而非语言标签进行条件化的多语言语音翻译前端，用形态类型、语序和语系构成分层语言编码，使相关语言间共享监督信号。在 CVSS-C 上，它以仅 228M 可训练参数在法语、德语、西班牙语到英语三个方向上平均超越当前最优语音到语音翻译系统，并在七语言测试集中每个语言上优于身份条件化的 S2ST-Omni。
来源：arXiv Artificial Intelligence · arxiv.org