arXiv Robotics· Boyang Sun, Jiajie Li, Yung-Hsu Yang, Chenyangguang Zhang, Tim Engelbracht, Sunghwan Hong, Cesar Cadena, Marc Pollefeys, Hermann Blum·· 4 小时前AI 评分27
LIME:从第一视角视频学习意图感知的相机运动
LIME: Learning Intent-aware Camera Motion from Egocentric Video
AI 导读
研究者提出 LIME,一个视觉语言相机运动生成器,可根据当前 RGB 观测和自然语言意图预测下一观测的相对目标相机位姿。该方法通过 hindsight labeling 从第一视角视频中挖掘多意图相机运动监督,将每个相对 SE(3) 目标位姿与可能的意图和观测增益描述配对,并结合自回归观测增益输出与连续 flow-matching 位姿头。
来源:arXiv Robotics · arxiv.org