FLARE视觉语音表征学习框架提出

2026年10月15日，arXiv Computer Vision 报道，Jing-Xuan Zhang 等作者提出 FLARE 视觉语音表征学习框架，通过跨模态蒸馏与联合人脸-唇部建模学习视觉语音表征。该框架以 Whisper 表征为声学教师信号，经随机投影量化器转为离散蒸馏目标，并采用掩码预测目标预训练；其双流架构分别处理唇部 ROI 与全脸输入，预训练时引入辅助音频与模态 dropout。报道称，在 LRS2、LRS3 和 WildVSR 上词错误率分别为 11.7%、13.2% 和 34.3%，代码与预训练模型已开源。目前该事件仅有这一篇报道，尚无后续跟进或结论更新。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。