arXiv Robotics· Jingxuan Chen, Junshi Luo, Chencheng Dong, Xiaojian Nie, Tongge Huang, Qiang Huang·· 5 小时前AI 评分38
Thermo-VLA:面向机器人操作的热感知视觉-语言-动作模型,采用门控残差调制
Thermo-VLA: A Thermal-Aware Vision-Language-Action Model with Gated Residual Modulation for Robotic Manipulation
AI 导读
Thermo-VLA 通过 ThermoRes Encoder 将热图像分解为冷、热属性表示,并以语言条件残差调制注入 RGB token,实现温度驱动的目标选择与连续操作。
推荐理由模型分析
该研究指出,现有VLA模型把热成像当作普通视觉输入,对温度关系推理支持有限;作者用冷热属性分解和语言条件残差调制,把热信息注入RGB token。在双臂Unitree G1的六项真实任务中,四个热依赖任务平均成功率0.86,比直接融合RGB-热图的pi_0.5基线高18个百分点,未见物体与场景变化下为0.78。做具身操作与多模态感知的研究者可据此比较热感知融合方式,但结论限于该平台与任务设置。
来源:arXiv Robotics · arxiv.org