arXiv Artificial Intelligence· Ayesha Gull, Muhammad Usman Safder, Rania Elbadry, Fan Zhang, Veselin Stoyanov, Preslav Nakov, Zhuohan Xie·· 3 小时前AI 评分38
EngTrace:面向工程推理可验证过程评估的符号化基准
EngTrace: A Symbolic Benchmark for Verifiable Process Evaluation of Engineering Reasoning
AI 导读
EngTrace 是一个用于工程推理过程评估的符号化基准,包含 150 个专家认证模板,覆盖 5 个分支、15 个领域和 42 个方向,每题附带标准推理轨迹。其评估器检查最终答案、标准轨迹中间量(里程碑)覆盖率和展示的算术过程,基本不依赖 LLM 评判。在 11 个 LLM 上,最终答案几乎无法区分最强模型,但推导过程差异明显;错误答案仍能给出约一半标准里程碑,专家将多数错误归因于计算失误。
来源:arXiv Artificial Intelligence · arxiv.org