DCBench-440反事实推理基准发布

2026年10月16日，arXiv Artificial Intelligence 刊出由 Pankaj Chouhan 等作者提出的 DCBench-440 基准，用于测试大语言模型对 AI 数据中心建设承诺的反事实推理能力。该基准分两部分：200 道基于 STRIPS 世界的生成式题目，覆盖五类美国交易原型，配有经搜索验证的参考答案，且据称任何题型上均无超过 12% 的测试捷径；240 道多选题，基于引用的场址记录、排放方程和给定情景。开放权重模型在生成式题目上的准确率为 12.5%–71.5%，多选题为 58.3%–92.5%；但在“列出决策节点全部可选动作”这一技能上，没有任何模型超过 4.0% 精确匹配。作者表示代码、数据及其他材料可应请求提供。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。