arXiv Computer Vision· Jing-Xuan Zhang, Genshun Wan, Jianqing Gao, Jia Pan, Yumei Zhang, Lichen Zhang·· 4 小时前AI 评分24
FLARE：通过跨模态蒸馏与联合人脸-唇部建模学习视觉语音表征
Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling
AI 导读
FLARE 框架通过跨模态蒸馏与联合人脸-唇部建模学习视觉语音表征，以 Whisper 表征为声学教师信号，经随机投影量化器转为离散蒸馏目标，并采用掩码预测目标预训练。其双流架构分别处理唇部 ROI 与全脸输入，预训练时引入辅助音频与模态 dropout。在 LRS2、LRS3 和 WildVSR 上词错误率分别为 11.7%、13.2% 和 34.3%，代码与预训练模型已开源。
来源：arXiv Computer Vision · arxiv.org