PROBE 基准：前沿编码智能体发现的缺陷与维护者修复的不同

研究者提出 PROBE 基准，汇集 20 个 GitHub 仓库 18 个月内修复的全部 2,457 个缺陷，并提供将候选发现与这一部分参照集匹配的方法。评测显示各前沿模型的召回率均低于 21%、精度低于 9%，更强模型把召回从 8% 提升到 17% 但精度未改善。尽管精度低，LLM 与人工评估者仍判定 85% 的发现有效，且各智能体发现的缺陷分布相近，却与维护者修复的缺陷分布差异明显。