跳到正文
arXiv Artificial Intelligence· Yao Liu, Yu He, Jihao Huang, Xinyang Liu, Feng Zhou·· 19 小时前AI 评分22

面向陪伴型智能体评测的披露门控用户模拟

Disclosure-Gated User Simulation for Companion-Agent Evaluation

AI 导读

针对大语言模型模拟用户过度配合、被测系统靠提问数量刷分的问题,研究者提出披露门控机制,将信息释放条件绑定到陪伴型智能体的行为上,其状态为五级有序门、合并为三个可观测深度层。在已发布的陪伴型智能体基准英文语料上,移除逐样本门控语句会使 12 个系统的排名偏移超出种子重跑的噪声带,而各系统分数无明显变化。所发布的模拟器同时满足排名保序与分数尺度稳定两项标准,与已发布排行榜相关性达 0.993。

来源:arXiv Artificial Intelligence · arxiv.org