arXiv Artificial Intelligence· Pankaj Chouhan, Rajarshi Das, Aditya Dubey, Manminder Tomar, Sreekar Reddy, Samta Sharma, Satyapragnya Kar, PR Panigrahi·· 2 小时前AI 评分29
DCBench-440：AI 数据中心建设反事实推理基准
Watts If? A Benchmark for Counterfactual Reasoning About the AI Data Center Buildout
AI 导读
研究者提出 DCBench-440 基准，用于测试 LLM 对 AI 数据中心建设承诺的反事实推理能力，分生成式与多选题两部分：200 道基于 STRIPS 世界的生成题覆盖五类美国交易原型，240 道多选题基于引用的场址记录、排放方程和给定情景。开放权重模型准确率为生成式 12.5-71.5%、多选题 58.3-92.5%，但在列出决策节点全部可选动作这一技能上无一模型超过 4.0% 精确匹配。
来源：arXiv Artificial Intelligence · arxiv.org