Text-to-SQL置信度评分审计与预注册验证
热点事件持续更新
Text-to-SQL置信度评分审计与预注册验证
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
2026年10月14日，Raghu Venkat与Tricha Anjali发表论文，审计生产级Text-to-SQL系统的设计置信度分数。在BIRD dev的1534道题上（GPT-5.1作答、每题5个样本），该分数区分对错能力较弱：AUROC仅0.624，并会扣留35.7%的正确答案。论文随后在Spider上进行预注册验证，主要假设成立：AUROC从0.566升至0.725（配对差异+0.159，95% CI +0.097至+0.221），被扣留的正确答案从49.0%降至8.8%，PASS准确率95.7%。但一项预注册的空结果检查未达到其效应量标准。论文说明，此处的正确性指核心答案，标签由模型判定，尚未完成的双人盲审将在修订版中报告。
AI 根据报道生成 · 4 分钟前更新
最新进展10月14日 12:00
受控置信度分数能否判断 Text-to-SQL 答案对错？基于 BIRD 的探索性研究与 Spider 上的预注册验证报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- arXiv Artificial Intelligence受控置信度分数能否判断 Text-to-SQL 答案对错？基于 BIRD 的探索性研究与 Spider 上的预注册验证
一项审计发现，生产级 Text-to-SQL 系统的设计置信度分数区分对错能力较弱：在 BIRD dev 的 1534 道题上（GPT-5.1 作答、每题 5 个样本），AUROC 仅 0.624，并会扣留 35.7% 的正确答案。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。