arXiv Artificial Intelligence· Jens Lehmann, Sahar Vahdati·2026-10-23 12:00· 3 小时前AI 评分38

LLM 能否改进自身的 harness？一项针对 ARC-AGI-3 的受控研究

Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3

AI 导读

研究让前沿模型通过固定编码引导自行构建完整任务 harness，在 5 个开发游戏上运行并两次改写全部代码，再在 20 个未参与适配的游戏上评估。27 条谱系中 harness 表现从零到接近满分，两次修订仅将留出集平均 RHAE 提升 2.80 点（95% 区间 [-1.44,7.35]）。