arXiv Artificial Intelligence· Jenny T. Liang, Mihika Bairathi, Wayne Chi, Ameet Talwalkar, Nishant Subramani, Valerie Chen·· 17 小时前AI 评分40
开发者如何编辑 AI 生成代码,LLM 又能多好地推断这些编辑?来自 53.6K 次开发者编辑的洞察
How Do Developers Edit AI-Generated Code, and How Well Do LLMs Infer Their Edits? Insights from 53.6K Developer Edits
AI 导读
研究团队构建 DECODE 数据集,收录来自 1K+ 开发者的 53.6K 次 IDE 内真实 AI 生成代码编辑,分析开发者何时、为何、如何修改生成代码。开发者投入编辑的精力很少、会很快放弃 AI 生成代码,这凸显 LLM 通过编辑理解开发者意图的必要性。前沿模型生成的编辑最能反映开发者意图,但容易过度编辑并回退开发者手写改动;微调可提升编辑预测相似度与意图贴合度,但仍未完全追上前沿模型。
来源:arXiv Artificial Intelligence · arxiv.org