arXiv Computer Vision· Yitong Xia, Zeren Jiang, Chuanxia Zheng·· 2 小时前AI 评分30
Gen4P:视频生成器如何成为 4D 感知器
Gen4P: Video Generators are 4D Perceivers
AI 导读
Gen4P 是一个从单目视频恢复 4D 几何与运动的统一框架,可将预训练视频生成器改造成无需迭代去噪的前馈 4D 感知器。它通过单次编码器处理干净视频 latent,并用轻量级交叉注意力解码器预测所需 4D 属性,连续时间查询带来时间灵活性,还以冻结的预训练 video-depth LoRA 作为几何先验。Gen4P 在 3D 点跟踪、视频深度和相机位姿估计任务上达到 SOTA 或具竞争力表现。
来源:arXiv Computer Vision · arxiv.org