跳到正文
arXiv Robotics· Mattia Scardecchia, Sherry Yang·· 4 小时前AI 评分37

视频世界模型需要可预测的潜空间:兼顾预测精度与推理效率

Video World Models Need Predictable Latents

AI 导读

研究发现,为表征学习加入时序目标并配合过去条件化解码器架构,可在同等训练预算下让生成式视频世界模型同时获得更可预测的潜空间与准确的像素预测。改进包括推理成本最多降低 5 倍、训练速度提升 7 倍以上,分布外与长时程场景下像素误差和感知误差降低 15-24%。用视觉语言模型从像素预测判断任务成功率时,该世界模型与真实策略评估结果更一致。

来源:arXiv Robotics · arxiv.org