跳到正文
arXiv Robotics· Shengbang Liu, Zhengye Du, Zhilong Wan, Honghao Su, Chenxiang Xia, Chang Ge, Jinyang Xiao, Nan Wang, Zhipeng Hu, Huining Yuan, Shu'ang Yu, Yue Chen, Tianxing Chen, Chuankang Li, Maoqing Yao, Wenbo Ding, Yu Wang, Guanghui Ren, Chao Yu·· 2 小时前AI 评分31

RoboValue:面向机器人价值模型统一评估的细粒度仿真与真实基准

RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models

AI 导读

RoboValue 是一个细粒度仿真与真实基准,通过共享接口从任务状态理解、时序进度监控、失败与恢复推理、价值一致性四个维度统一评估机器人价值模型。其数据集覆盖 15 个仿真和 20 个真实世界操作任务,在零样本和单样本设置下测试代表性模型,并考察机器人本体与环境变化。结果显示,即使结果与前进进度得分较强的模型,也在细粒度指令 grounding、依赖历史的进度跟踪和恢复评估上出错。

来源:arXiv Robotics · arxiv.org