跳到正文
arXiv Computer Vision· Zhiliang Wu, Xinye Zheng, Kun Li, Fei Wang, Hao Guo, Yanyan Wei, Guanghui Yue, Beier Zhu, Wei Zhou, Xun Yang·· 7 小时前AI 评分31

MLLM-GS:用多模态大模型先验引导极端环境下的快速新视角合成

MLLM-GS: Multimodal Large Language Model Prior-Guided Fast Novel View Synthesis in Extreme Environments

AI 导读

MLLM-GS 用冻结的多模态大模型视觉先验增强退化视角,并配轻量校正网络减少像素偏移与色彩失真,仅需少量配对清晰视角监督即可为所有退化观测生成增强视图。其 3DGS 分支通过优化光栅化、高斯内存布局与参数更新降低冗余计算和显存开销。在多个退化场景实验中,该方法能处理多种严重退化,并以显著更低的 reconstruction 时间和内存消耗实现高质量新视角合成。

来源:arXiv Computer Vision · arxiv.org