BedBench基准评估视觉语言模型3D推理

研究团队提出BedBench受控基准，用于评测视觉语言模型的3D推理能力。该基准包含13项程序化生成任务，覆盖单项判断与组合作答。报道称，在按颜色精确计数任务上，人类准确率为93.3%，最佳模型仅7.2%。定向微调可将某模型准确率从3.0%提升至68.6%，但该模型对最常见颜色的回答仍与自身分色计数不一致。报道还称，代码与数据集已公开。目前进展停留在基准发布与首轮评测结果披露阶段。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。