跳到正文
arXiv Artificial Intelligence· Tianqi Liu, Yandong Guan, Songze Li, Wenkai Wang, Gang Yu, Chengfei Lv·· 3 小时前AI 评分50

PACE 基准:评估编码智能体在成熟企业仓库中的 PRD 驱动开发

When Coding Agents Outpace Review: Evaluating PRD-Driven Development in Mature Enterprise Repositories

AI 导读

研究团队推出 PACE 基准,包含 43 个企业任务和 750 个经专家审核的 Code Points,用于衡量编码智能体对完整 PRD 的交付情况。在 11 种模型与脚手架配置中,多数得分落在 52.1 至 78.1 之间,GPT-5.6-Sol 的完整交付率最高,为 14.0%。

来源:arXiv Artificial Intelligence · arxiv.org