arXiv Computer Vision· Yiyang Li, Tianyi Ma, Zehong Wang, Yanfang Ye·· 20 小时前AI 评分24
EgoAlign:无需情境描述的第一人称视角 3D 理解
EgoAlign: Situated 3D Understanding without Situation Descriptions
AI 导读
EgoAlign 是一个以智能体为中心坐标系表示场景的 3D 语言模型,通过包含物体类别识别、自我中心方向预测、度量距离估计和空间关系预测四项任务的第一人称对齐阶段,让模型在微调前学会相对智能体姿态解读场景几何。它在 SQA3D、Real-3DQA 和 MSQA 上取得对比方法中最强性能,且移除文本情境描述后下游表现相当或更好,而打乱其数值姿态则导致显著下降。
来源:arXiv Computer Vision · arxiv.org