从视觉事件生成自然语言：现状与关键开放问题

该研究提出，任何从图像或视频帧序列生成自然语言的任务，本质上都是建模随时间展开的视觉事件与语言特征之间复杂关系的更广义多模态问题。作者考察了五个看似不同但同属这一问题的任务，综述了近年代表性建模与评估方法，并梳理其共同挑战，进而提出关键开放问题与未来研究方向。