Uni-Stream：统一流式语音语言模型，同时支持语音合成与识别

Uni-Stream 是一个基于紧凑预训练语音模型的统一流式语音语言模型，以流式方式处理交错的文本与语音，通过两阶段训练达到与任务专用模型相当的性能。团队还构建了流式训练数据标注流程，将公开生成的转写文本和词级时间戳。分析发现，即便在同一模型架构中训练，语音与文本仍处于不同的潜在特征空间，且各模态内部表征在更靠后的层中更依赖具体任务。