arXiv Artificial Intelligence· Sikai Cheng, Tinghan Ye, Arnaud Deza, Xiaonan Qi, Miao Li, Litong Liu, Changkun Guan·· 17 小时前AI 评分38
DecompGym:评测 LLM 智能体设计分解算法的基准
DecompGym: Benchmarking LLM Agents on Designing Decomposition Algorithms
AI 导读
DecompGym 用 9 个问题族的 81 个实例评测 GPT、Claude、Gemini 共 12 个模型在编码智能体工具中设计 Benders 分解与列生成求解器的能力。首次尝试时两个模型解出全部实例、七个超过 90%,Benders 失败多为解缺失或次优,列生成最常见失败是方法审计被拒。反思式重试成功率 66%,高于独立重生成的 39%。
来源:arXiv Artificial Intelligence · arxiv.org