arXiv Artificial Intelligence· Kiant\'e Fernandez, Caitlin Chen, Jialu Zhou, Bartek Sadowski, Anthony C. Miceli, Ian Krajbich·· 19 小时前AI 评分38
CogArena:在交互式行为实验中评测多模态智能体
CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments
AI 导读
CogArena 是一个包含十项社会与行为科学实验范式的基准,智能体通过标准网页浏览器完成实验,使用与在线参与者相同的视觉刺激和响应界面。三级评分分别考察任务是否完成、完成准确度以及数据是否呈现各范式在人类身上稳定出现的行为特征。四个多模态模型每项任务各运行十次,结果显示完成实验与复现行为特征并不等同:许多会话未能完成,完成的会话中部分特征可靠复现、部分完全未能复现。
来源:arXiv Artificial Intelligence · arxiv.org