arXiv Artificial Intelligence· Huy Nguyen, Christoph Treude, Patanamon Thongtanunam·· 13 小时前AI 评分31
用额外上下文增强神经代码表示：CodeBERT、CodeLlama 等模型在四项任务上的实证研究
Enhancing Neural Code Representation with Additional Context
AI 导读
一项实证研究用版本历史、结构关系等上下文信号增强代码表示，在代码克隆检测、代码分类、代码摘要和漏洞检测四项任务上评测了 CodeBERT、GraphCodeBERT、CodeT5、PLBART、ASTNN 五个基础代码模型与 CodeLlama、Qwen2.5-Coder、DeepSeek-Coder 等七个代码专用 LLM。
推荐理由模型分析
该实证研究系统比较了版本历史、结构关系等上下文信号对代码理解任务的影响，覆盖5个基础模型与7个代码专用LLM，并区分微调注入与提示注入。结果显示上下文对分类任务普遍有益，组合上下文在代码分类上最高提升21.48% macro-F1，但摘要任务中提示级上下文对多数LLM反而有害。开发者可据此判断何时值得引入上下文、以何种方式注入，并注意结论基于三个数据集与特定模型。
来源：arXiv Artificial Intelligence · arxiv.org