SocialArena：评估大语言模型的社会智能

SocialArena 是一个系统定义并评估大语言模型社会智能的基准，围绕角色扮演能力、心理状态推理和行为推理三个维度构建统一三层框架，并采用带显式角色思考的角色扮演对话范式进行评估。为覆盖多样社会场景，研究提出 U-TRIMF 框架合成社会语境，并投入 $132.4K 招募和训练人工标注者，采用人工标注的竞技场式协议收集偏好标签与自然语言评语。