arXiv Robotics· Mohamed Elmoghany, Kehan Li, Ruoqu Chen, Tarun Chiruvolu, Shutong Zhang, Ryan Wang, Stephen Tian, Yaru Niu, Michelle Guo, Ding Zhao, Weiyu Liu, Mengdi Xu, Li Fei-Fei, Jiajun Wu·· 13 小时前AI 评分34
ToolDex：面向创造性物理工具使用的自我中心-外中心人类演示数据集
ToolDex: An Ego-Exo Human Demonstration Dataset for Creative Physical Tool Use
AI 导读
ToolDex 是一个大规模自我中心-外中心（ego-exo）人类演示数据集，记录人类选择、改造和重新利用身边物体作为工具的场景。数据集用同步的自我中心相机与 8 台外中心相机提供多视角观测，并对手、工具、目标物体及其可变形交互给出丰富标注。基于该数据，作者建立了覆盖物理工具使用推理、稀疏视角 3D/4D 重建和机器人策略学习三项核心能力的 benchmark 套件。
推荐理由模型分析
ToolDex 针对创意工具使用缺少真实数据的问题，构建了第一视角与八路第三视角同步采集的大规模人类演示数据集，并标注手、工具、目标物及可变形交互。其价值在于把工具选择与改造行为变成可评测对象，配套基准覆盖工具使用推理、稀疏视角 3D/4D 重建和机器人策略学习，可供具身智能研究者比较方法基线。适用性受限于演示场景与实验室采集条件，基准结果尚不代表真实环境部署效果。
来源：arXiv Robotics · arxiv.org