PROBE基准发布：编码Agent查Bug能力评测

2026年10月28日，Marco Paina等作者在arXiv发布PROBE基准，用于评测编码智能体发现软件缺陷的能力。该基准汇集20个GitHub仓库在18个月内修复的全部2,457个缺陷，并提供将候选发现与这一部分参照集匹配的方法。评测显示，各前沿模型的召回率均低于21%、精度低于9%；更强模型把召回率从8%提升到17%，但精度未改善。尽管精度低，LLM与人工评估者仍判定85%的发现有效，且各智能体发现的缺陷分布相近，却与维护者修复的缺陷分布差异明显。研究据此指出，前沿编码智能体发现的缺陷与维护者实际修复的缺陷并不相同。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。