arXiv Artificial Intelligence· Junqing Du, Fernando Ropero, Erkin Turkoz, Yanfeng Zhang, Lu Liu·· 3 小时前AI 评分38
GraFT：无需训练、通过 3D 场景图为多模态大模型补空间推理能力
GraFT: A Training-Free Framework for Spatial Reasoning in Multimodal Large Language Models via 3D Scene Graphs
AI 导读
GraFT 是一个无需训练的框架，用紧凑的 3D 场景图（3DSG）为冻结的多模态大模型补上缺失的三维结构，以符号工具计算值、鸟瞰图（BEV）图像和几何选取的自我中心帧三种形式输入模型。在 ScanQA 上，它相对同骨干基线提升所有指标，CIDEr 提高 27%；在 VSI-Bench 上对冻结 MLLM 提升最高达 65%，超过所有专有与通用开源基线及多个知名微调空间模型。
来源：arXiv Artificial Intelligence · arxiv.org