arXiv Robotics· Soham Patil, Avirup Das, Sourabh Bhosale, Spandan Roy·· 13 小时前AI 评分31
NoContactNoWorries：用视觉与本体感知估计接触，实现灵巧手内操作
NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation
AI 导读
NoContactNoWorries 是一个基于 Transformer 的多模态框架，融合 RGB-D 视觉与机器人本体感知，推断二值接触状态作为手物交互的伪触觉信号。研究在多个物体上训练单一接触预测模型，其推断信号可支撑下游强化学习智能体完成手内物体重定向，并泛化到新物体。仿真与真实机器人实验均验证了从视觉和本体感知推断接触的可行性。
推荐理由模型分析
该工作用RGB-D视觉与机器人本体感知融合，以Transformer推断二值接触状态，作为触觉硬件的可扩展替代，针对的是触觉传感器成本高、易损、集成难的问题。作者在多个物体上训练单一模型，并验证推断信号可支撑强化学习完成手内物体重定向且泛化到新物体，仿真与真机均有实验。适合机器人操作研究者参考其多模态融合与伪触觉信号的下游用法；但仅限二值接触估计，不能替代完整力觉测量，真机效果仍受视觉遮挡与标定条件约束。
来源：arXiv Robotics · arxiv.org