arXiv Artificial Intelligence· Shrestha Ghosh, Luca Giordano, Yujia Hu, Tuan-Phong Nguyen, Simon Razniewski·· 19 小时前AI 评分36
GPTKB v1.5 审计：GPT-4.1 一亿条事实知识的多维分析
Auditing a KB Elicitation of Frontier LLM Knowledge: A Multi-dimensional Analysis of GPTKB v1.5
AI 导读
研究团队对递归抽取 GPT-4.1 知识构建的 GPTKB v1.5（含 1 亿条事实）进行多维分析，发现其事实知识与既有知识库差异显著，准确率明显低于此前 benchmark 所显示的水平，不一致、歧义与幻觉是主要问题。该工作提出区别于主流事实补全 benchmark 的定性与定量分析方法，以规避可用性偏差，并指出神经符号 AI 在事实知识抽取、整合与验证方面的研究机会。
来源：arXiv Artificial Intelligence · arxiv.org