arXiv Artificial Intelligence· Binze Li, Zihuan Zhang, Seokhyun Baek, Gillian K. Hadfield, Tianmin Shu·· 13 小时前AI 评分38
NormGym：通过社交互动评估规范能力
NormGym: Evaluating Normative Competence through Social Interaction
AI 导读
NormGym 是一个交互式基准，让新加入多智能体社区的智能体在完成自身任务的同时推断隐藏的任意规范，并区分“可行”与“被允许”。最强 LLM 智能体的任务与合规联合成功率为 55.3%。分析显示模型能在自身受罚后修正行为，却难以利用其他智能体的行为和所受惩罚推断规范，微调也可能不足以提升规范能力。
推荐理由模型分析
NormGym 把评测从“识别已知规范”改为“在多智能体社区中从互动与制裁推断隐藏规范”，要求同时完成任务并合规，并区分可能行为与许可行为。最强 LLM 联合成功率仅 55.3%，且模型能据自身受罚调整，却难利用他人行为与受罚推断规范，微调也未必改善。做 Agent 社会规范学习与评测的研究者可据此设基线，并注意结论限于该基准环境。
来源：arXiv Artificial Intelligence · arxiv.org