arXiv Robotics· Haitang Feng, Zhuoman Liu, Zhennan Wang, Sheng Wang, Juelin Li, Chengzhi Zhao, Hexiang Wei, Lin Shao·· 7 小时前AI 评分34
GenSight：统一视频生成与4D感知的具身世界模型
Seeing and Imagining as One: Unified Video Generation and 4D Perception for Embodied World Modeling
AI 导读
GenSight 将未来视频生成与稠密感知统一到单个预训练视频扩散 Transformer 中，用统一时空表示覆盖视频、深度、具身分割和首帧相对 2D 流。模型基于共享 DiT 骨干，通过轻量任务调制在同一架构内预测所有模态，并在统一速度预测空间联合优化。推理时支持多步未来视频生成加对齐稠密预测，以及从观测视频单步完成稠密感知。
来源：arXiv Robotics · arxiv.org