arXiv Robotics· Wei Lu, Jiaxi Zhang, Yunheng Wang, Taowen Wang, Yuetong Fang, Zhenhui Zhang, Shuning Zhang, Zizhao Yuan, Yixiao Feng, Zecui Zeng, Renjing Xu·· 5 小时前AI 评分36
ForeAct:从世界表征中进行几何引导的动作学习
ForeAct: Geometry-Guided Action Learning from World Representations
AI 导读
ForeAct 将预训练视频世界模型复用为单次前向传播的表征骨干,直接处理当前观测的干净 latent,省去未来帧合成与迭代去噪,实现低延迟控制。它用受下一帧相对深度监督的可学习 token 塑造共享视频表征,几何读出仅在训练时使用、部署时移除,无需深度输入或外部几何骨干。
推荐理由模型分析
ForeAct 把预训练视频世界模型当作单次前向的表征骨干,省去未来帧合成与迭代去噪,并用受下一帧相对深度监督的可学习 token 注入几何信息,训练后移除几何读出模块。对做机器人操作策略的研究者,它提供了低延迟、无需深度输入或额外几何骨干的替代路线,可与扩散式世界动作模型对比 LIBERO、SimplerEnv 及真机成功率;但真机仅 90 次 rollout,结论仍限于该实验设置。
来源:arXiv Robotics · arxiv.org