跳到正文
arXiv Artificial Intelligence· Jenny T. Liang, Mihika Bairathi, Wayne Chi, Ameet Talwalkar, Nishant Subramani, Valerie Chen·· 17 小时前AI 评分40

开发者如何编辑 AI 生成代码,LLM 又能多好地推断这些编辑?来自 53.6K 次开发者编辑的洞察

How Do Developers Edit AI-Generated Code, and How Well Do LLMs Infer Their Edits? Insights from 53.6K Developer Edits

AI 导读

研究团队构建 DECODE 数据集,收录来自 1K+ 开发者的 53.6K 次 IDE 内真实 AI 生成代码编辑,分析开发者何时、为何、如何修改生成代码。开发者投入编辑的精力很少、会很快放弃 AI 生成代码,这凸显 LLM 通过编辑理解开发者意图的必要性。前沿模型生成的编辑最能反映开发者意图,但容易过度编辑并回退开发者手写改动;微调可提升编辑预测相似度与意图贴合度,但仍未完全追上前沿模型。

来源:arXiv Artificial Intelligence · arxiv.org