arXiv Artificial Intelligence· Xiaobo Chen, Genliang Zhu, Ziyuan Wang, Chu Wang·· 2 天前AI 评分58
研究:API 迁移后 LLM 代码修复通过测试却结果错误
Accepted but Wrong: Silent Failures of LLM Code Repairs after API Migrations
AI 导读
一项预注册研究用 73 个任务覆盖 CPython、SQLite 等 60 项有文档记录的变更,在真实运行时上执行 LLM 修复后的代码并对照保留的契约检查。仅用典型输入的全断言门禁放行了 0.410 的错误修复,加入一条依据发布说明编写的边界输入后降至 0.065,在 15 个未见集群上为 0.061。
来源:arXiv Artificial Intelligence · arxiv.org