跳到正文
arXiv Robotics· Jingxuan Chen, Junshi Luo, Chencheng Dong, Xiaojian Nie, Tongge Huang, Qiang Huang·· 5 小时前AI 评分38

Thermo-VLA:面向机器人操作的热感知视觉-语言-动作模型,采用门控残差调制

Thermo-VLA: A Thermal-Aware Vision-Language-Action Model with Gated Residual Modulation for Robotic Manipulation

AI 导读

Thermo-VLA 通过 ThermoRes Encoder 将热图像分解为冷、热属性表示,并以语言条件残差调制注入 RGB token,实现温度驱动的目标选择与连续操作。

推荐理由模型分析

该研究指出,现有VLA模型把热成像当作普通视觉输入,对温度关系推理支持有限;作者用冷热属性分解和语言条件残差调制,把热信息注入RGB token。在双臂Unitree G1的六项真实任务中,四个热依赖任务平均成功率0.86,比直接融合RGB-热图的pi_0.5基线高18个百分点,未见物体与场景变化下为0.78。做具身操作与多模态感知的研究者可据此比较热感知融合方式,但结论限于该平台与任务设置。

来源:arXiv Robotics · arxiv.org