跳到正文
arXiv Artificial Intelligence· Jiayi Wu, Haoming Cai, Cornelia Fermuller, Christopher Metzler, Yiannis Aloimonos·· 19 小时前AI 评分28

Real2SAM2Real:用生成式 3D 缓存为视频扩散模型补充上下文

Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion

AI 导读

Real2SAM2Real 用单张参考图生成拓扑完整的前景 3D 网格缓存,为视频扩散模型补充几何上下文,实现相机与多实例运动的解耦控制。该方法在约 2,000 段单目视频片段上训练,无需显式 3D 资产或多轨迹配对录制,通过法线图引导与软空间对齐注入,在保持预训练生成先验的同时提升时空一致性与控制精度。

来源:arXiv Artificial Intelligence · arxiv.org