音频蒸馏提升视觉阻尼推断能力

2026年10月16日，arXiv Computer Vision 刊出 Zainab Afolabi 等人的研究，探讨视觉模型能从音频中学到多少物理信息，并提出从音频蒸馏阻尼结构到视觉模型的方法。研究用品质因子 Q 探测冻结编码器的阻尼感知能力：音频嵌入的 Spearman 秩相关达 ρ=0.73，且在训练未见材料上保持大部分优势；而 CLIP 编码的撞击单帧仅 ρ=0.28。研究通过训练投影头，将冻结的音频教师蒸馏进冻结的 CLIP 主干，发现可恢复音频优势中的有用部分。采用四帧输入进行蒸馏后，该处相关性从 0.234 提升至 0.338（较匹配的四帧基线提升 0.053，覆盖 17 种材料中的 14 种），这一增益是任何类别级策略都无法产生的。将视觉输入扩展为覆盖撞击过程的四帧，可在不增加声学成本的情况下提供上述改进的一半，表明单帧所遗漏的部分是可见的动态信息。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。