arXiv Computer Vision· Andrew Perrault (Relantic, Inc., Columbus, OH, USA), Anmol Takiar (Relantic, Inc., Columbus, OH, USA), Dominik Wienecki (Relantic, Inc., Columbus, OH, USA), Arnab Nandi (Relantic, Inc., Columbus, OH, USA)·· 20 小时前AI 评分34
RealityBench：用 Blender 模拟环境评测视觉语言模型记录人类体力工作的能力
RealityBench: Simulated Environments to Evaluate a Vision Language Model's Ability to Document Human Physical Work
AI 导读
RealityBench 在 Blender 中构建了覆盖十一个环境的模拟基准，用可接受性与文档记录两类任务评测视觉语言模型理解体力工作的能力。在 26 个视觉语言模型上，顶尖模型基本能处理画面内文字作答的文档任务，但在读取测量值、判断小零件与空间关系（如卷尺是否倾斜）上表现薄弱。可接受性任务因人类评分者本身分歧较大而更难界定，最佳模型与单个人类评分者难以区分，成本与人类单次通过相当。
来源：arXiv Computer Vision · arxiv.org