arXiv Robotics· Zinan Li, Yiyang Ling, Yuming Gu, Binghao Huang, Chenhao Liang, Sharfin Islam, Hisham Bedri, John Chirikjian, Yunzhu Li, Stefanos Nikolaidis, Daniel Seita·· 4 小时前AI 评分34
FELT：从视觉生成触觉信号，用于视触觉机器人操作
FELT: Generating Tactile Signals from Vision for Visuo-Tactile Manipulation
AI 导读
FELT 框架利用已有配对视触觉数据，从 RGB 观测中学习接触感知表征，并通过生成触觉图像和接触感知特征两种接口提供给下游策略。该框架将冻结视觉编码器与左右手指各自的查询解码器结合，两分支经门控连接交换信息，再由卷积读出生成空间接触表征。在四个接触密集的真实机器人任务上，两种接口成功率均高于纯视觉策略，直接将学习到的接触感知特征引入策略可使成功率提升 15-22.5 个百分点。
来源：arXiv Robotics · arxiv.org