arXiv Artificial Intelligence· Jiaxin Fang, Runyuan He, Arnav Gupta, Sahil Kumawat, Huanzhi Mao, Alvin Cheung·· 17 小时前AI 评分34
CodeWalk：通过遍历问题图生成编程基准测试
CodeWalk: Generating Coding Benchmarks by Walking a Problem Graph
AI 导读
CodeWalk 提出将已验证的原子编程问题组合成 level-N 任务来生成新编程题，全程程序化构建，无需语言模型生成或验证。该方法在 multi-bug repair、proof completion、complexity analysis 和 clone equivalence 四种场景下生成的任务对前沿模型构成挑战，且随组合深度增加性能均下降。
来源：arXiv Artificial Intelligence · arxiv.org