EngTrace工程推理过程评测基准发布

2026年10月20日，arXiv Artificial Intelligence 刊出 Ayesha Gull 等作者的 EngTrace 符号化基准，用于工程推理的可验证过程评估。该基准包含 150 个专家认证模板，覆盖 5 个分支、15 个领域和 42 个方向，每题附带标准推理轨迹。其评估器检查最终答案、标准轨迹中间量（里程碑）覆盖率以及展示的算术过程，基本不依赖 LLM 评判。作者在 11 个 LLM 上测试后发现：仅看最终答案，几乎无法区分最强模型，但推导过程差异明显；错误答案仍能覆盖约一半标准里程碑，专家将多数错误归因于计算失误。目前进展为基准发布及上述评测结果公布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。