审计LLM Agent基准的oracle可靠性缺陷

2026年10月15日，arXiv Artificial Intelligence 刊出研究《LLM Agent 基准评测的 Oracle 失效：一项实证审计研究》。该研究提出一套 oracle 完整性审计方法，包含五项状态完整性不变量和三项已知答案控制；在注入七类 oracle 缺陷后全部检出，修复后无误报。研究将该方法应用于某 agent 基准，发现奖励函数缺陷会在评分前改变环境状态；对 4,320 个 episode 进行 replay 校正后，database-pass 标签从 4,194 降至 2,883，成功率从 94.3% 降至 65.5%。论文同时发布复现包，含审计套件、故障注入目录、冻结记录、偏差日志和离线分析入口，无需网络访问、API 密钥或模型调用。研究指出，在第二个任务域中语言效应的符号发生反转，因此结果仅限于所测试的配置；此外，由于无法从其记录的 API 调用日志重建所需的参考终态，该审计方法无法验证另一个独立实现的基准。

AI 根据报道生成 · 22 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。