arXiv Artificial Intelligence· Junjie Chen·· 18 小时前AI 评分41
LLM Agent 基准评测的 Oracle 失效：一项实证审计研究
When Agent Evaluation Becomes Unreliable: An Empirical Study of Oracle Failures and Configuration-Dependent Measurement in an LLM Agent Benchmark
AI 导读
研究提出含五项状态完整性不变量和三项已知答案控制的 oracle 完整性审计方法，在注入七类 oracle 缺陷后全部检出且修复后无误报。应用于某 agent 基准时发现奖励函数缺陷会在评分前改变环境状态，4,320 个 episode 的 replay 校正使 database-pass 标签从 4,194 降至 2,883，成功率从 94.3% 降至 65.5%。
来源：arXiv Artificial Intelligence · arxiv.org