arXiv Robotics· Dong Fang, Feixuan Huang, Yuanxin Zhong, Yuxiang Gao, Qi Song, Yunlong Wang, Xiaosong Jia, Yu-Gang Jiang·· 5 小时前AI 评分34
BAT-WAM：为灵巧手世界动作模型打通动作与触觉
BAT-WAM: Bridging Action and Touch in World-Action Models for Dexterous Hands
AI 导读
BAT-WAM 是一个为灵巧手世界动作模型（WAM）连接视觉、关节状态与触觉表征的框架，为触觉和动作流分别学习码本与解码器，并用 RGB 条件化的连续潜在桥接实现双向学习。
推荐理由模型分析
针对灵巧手操作中关节状态与全手触觉可能缺失的问题，提出用RGB条件连续潜变量桥接触觉与动作两路码本，实现双向学习。在HTBench上，全掩码与部分掩码触觉重建RMSE分别较图像条件基线降低34.73%和38.84%，未来触觉预测较OpenWAM降低85.56%，并附真机实验。关注多模态表征与触觉补全的研究者可据此比较掩码条件与基线设置。
来源：arXiv Robotics · arxiv.org