arXiv Computer Vision· Jahyeok Koo, Hyeonseo Yu, Seungho Jang, Jaewoo Jung, Jiwon Kang, Seokju Cho, Seungryong Kim·· 4 小时前AI 评分22
学习回答空间问题能否提升新视角生成？Ask4NV 用 3D 语言理解做监督
Can Learning to Answer Spatial Questions Improve Novel-View Generation?
AI 导读
Ask4NV 基于预训练统一多模态模型与 Mixture-of-Transformers（MoT）架构，把相机几何引入 VAE 和 ViT 表示，并通过联合自注意力与模态感知注意力掩码在生成中利用理解特征。实验显示其新视角生成具备良好图像质量与几何一致性，同时保持有竞争力的 3D 语言理解；联合训练还提升了 VAE 表示的跨视角对应性和 3D 感知特征空间中的相似度。
来源：arXiv Computer Vision · arxiv.org