Spec-Harness：评估LLM合成规约的行为充分性

2026年10月15日，arXiv Artificial Intelligence 刊出 Md Rakib Hossain Misu 等作者的研究，提出 Spec-Harness 框架，用于评估和引导 LLM 合成的形式化规范超越可验证性。该研究对比经典与基于提示词的 JML 规范合成后发现，22.7% 通过验证的规范完全没有后置条件，且提示优化无法超越最佳手写规范。为此，作者提出 Spec-Harness，基于 Hoare 三元组符号验证和输入/输出变异，在系统构建的测试套件上，从前后置条件的正确性与完整性四个维度衡量规范的行为充分性。目前进展为框架发布，尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。