arXiv Artificial Intelligence· Raghu Venkat, Tricha Anjali·2026-10-14 12:00· 18 小时前AI 评分29

受控置信度分数能否判断 Text-to-SQL 答案对错？基于 BIRD 的探索性研究与 Spider 上的预注册验证

Does a Governed Confidence Score Know When a Text-to-SQL Answer Is Right? An Exploratory Study on BIRD and a Pre-registered Confirmation on Spider

AI 导读

一项审计发现，生产级 Text-to-SQL 系统的设计置信度分数区分对错能力较弱：在 BIRD dev 的 1534 道题上（GPT-5.1 作答、每题 5 个样本），AUROC 仅 0.624，并会扣留 35.7% 的正确答案。