arXiv Artificial Intelligence· Harshita Chopra, Kshitish Ghate, Aylin Caliskan, Tadayoshi Kohno, Chirag Shah, Natasha Jaques·· 3 小时前AI 评分40
Persona Policies(PPol):为 LLM 智能体评测生成更真实用户画像
Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents
AI 导读
研究者提出 Persona Policies(PPol),一种即插即用的控制层,用进化编码智能体自动搜索用户画像生成程序,为用户模拟器注入真实行为差异。在 τ²-bench Retail、Airline、ColBench 和 WildChat 4 个基准上,PPol 的适应度分数较基线提升 28-72%,盲评中 80.4% 被判定为“人类”。
来源:arXiv Artificial Intelligence · arxiv.org