跳到正文
arXiv Artificial Intelligence· Luca Giordano, Simon Razniewski·· 19 小时前AI 评分24

超越提问:评估 LLM 的陈述性知识

Beyond Questions: Evaluating the Stated Knowledge of LLMs

AI 导读

研究提出“开放知识评估”新范式,不再依赖预设问题,而是让 LLM 在开放式提示下自行陈述知识,以规避基准设计者的可用性偏差。团队据此构建 BeQu 基准,包含 10,000 个实体及用于陈述验证的参考语料,并评估了多种语言模型,分析推理投入、模型规模、提示格式与知识领域的影响。数据与排行榜已发布于该工作的 GitHub 仓库。

来源:arXiv Artificial Intelligence · arxiv.org