arXiv Artificial Intelligence· Zhan-Yu Wu, Ji Luo, Alyssa Wu, Junjielong Xu, Richeng Xuan, Zhichao Hu, Chongming Gao, Xinting Hu·· 18 小时前AI 评分52
UserSWE：在多轮对话中评测编码智能体
UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users
AI 导读
UserSWE 是一个评测编码智能体在多轮对话中修复仓库级 bug 能力的基准，每轮都基于测试执行给出判定。其构建流程把仓库历史和现有单轮基准转成多轮任务，模拟用户受信息池约束，说话方式由基于 20,859 条开发会话校准的 persona chain 控制。
来源：arXiv Artificial Intelligence · arxiv.org