跳到正文
arXiv Artificial Intelligence· Peisong Wang, Feixue Liu, Yize Meng, Bowen Liu, Ruoyu Chen, Gaoyang Dai, Xing He, Aiqian Li, Fengchi Yuan, Aochuan Chen, Chenyi Zi, Yuhan Li, Hongchuan Zeng, Yimo Yan, Nuo Chen, Jie Fu, Zuo-Jun Max Shen, Yong-Hong KUO, Jia Li·· 2 小时前AI 评分42

OR-License:评估 LLM 智能体能否胜任真实运筹学实践

OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners

AI 导读

研究团队推出 OR-License 基准,用 10 个工业场景的 31 个实例检验 LLM 智能体能否直接从原始客户材料产出运筹学方案,这些实例来自总额 368 万美元的付费运筹项目。在 11 个前沿 LLM 中,最强的 Claude Code 配置实现 88.39% 严格可行性和 0.87 的部署调整质量(DAQ),均未达到专家参考的 1。可评估任务上各模型的研究链完成率为 24% 至 45%。

来源:arXiv Artificial Intelligence · arxiv.org