VerifierBench：评测 LLM 智能体生成可执行验证器的基准

VerifierBench 基准包含来自六个智能体基准的 222 个任务和 4,993 个隐藏测试用例，用于评测智能体根据任务指令与环境编写可执行验证器的能力。在统一智能体框架下测试 19 个模型，归一化平衡准确率介于 10.6 至 62.1，生成的验证器拒绝无效解比接受有效解更可靠。多数误拒来自不接受任何已测有效解的验证器，其错误假设在自测中难以暴露。