arXiv Artificial Intelligence· Lorenz Brehme, Benjamin Steenhoek, Ruth Breu·· 18 小时前AI 评分38
SWE-DIVE:用动态用户模拟评估多轮编码智能体
SWE-DIVE: Multi-Turn Coding Agent Evaluation with Dynamic User Simulation
AI 导读
SWE-DIVE 是一个面向编码智能体的动态交互式评测框架,用于在多轮环境中检验智能体能力。它引入可模拟不同行为模式的用户模拟器,以及与编码智能体对话的对话验证器,判断模拟输出是否满足初始需求并引导智能体完成任务。整个框架嵌入 Harbor 环境,由该环境编排编码智能体、用户模拟器和对话验证器并执行测试环境,代码与结果已公开在 GitHub。
来源:arXiv Artificial Intelligence · arxiv.org