arXiv Robotics· Zixuan Huang, Jinhao Yu, Zachary Charlick, Dmitry Berenson·· 13 小时前AI 评分34
MDF++：端到端表征学习的视触觉世界动作模型
MDF++: Visuo-Tactile World Action Model with End-to-end Representation Learning
AI 导读
MDF++ 是面向机器人操作的视触觉世界动作模型，用扩散骨干网络端到端学习多感官观测的隐表征，避免依赖冻结的预训练编码器。针对朴素联合训练易出现的特征坍缩，它引入多任务学习策略，利用跨模态相关性学习任务相关表征。在螺栓拧入、螺母装配等富接触操作任务上，MDF++ 比基于冻结预训练表征的 WAM 最高提升 50%。
推荐理由模型分析
MDF++针对世界-动作模型依赖冻结预训练编码器、表征未必适合机器人控制的问题，改为用扩散骨干端到端学习视触觉多模态潜表征，并以多任务学习利用跨模态相关性避免朴素联合训练的特征坍缩。在螺栓拧紧、螺母对位等接触密集任务上，其报告相对冻结预训练表征的WAM提升最高50%。做机器人操作表征学习与视触觉策略的研究者可据此比较基线，但证据限于作者自报的实验室任务，真实产线效果尚未验证。
来源：arXiv Robotics · arxiv.org