研究揭示DataFrame代码生成解释锁定现象

2026年10月14日，arXiv Artificial Intelligence 发布一项研究，在30个源自 TPC Benchmark DS 的 DataFrame 任务上发现“解释锁定”现象：测试通过数从 22/30 升至 29/30 和 30/30，但没有一个生成方案匹配存储的参考输出。研究将这一现象描述为一种错误解释可能贯穿计划、实现与测试而持续存在。该研究使用单一模型，且每个符合条件任务仅做一次主要生成；由于未保留裁决前的人工标注，评分者间一致性无法重建，机制分析仍属探索性。以上为当前报道所载事实。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。