跳到正文
arXiv Artificial Intelligence· Kayoon Kim, Wieland Brendel, Patrik Reizinger·· 19 小时前AI 评分36

HALLMARK:如何诊断 LLM 引用验证器并判断何时部署

HALLMARK: How to Diagnose LLM Citation Verifiers and When to Deploy Them

AI 导读

研究团队发布 HALLMARK 基准,含 2,526 条 BibTeX 条目、覆盖 14 种幻觉类型,并带分类型与诊断子测试标签。测试显示各验证器假阳性率相差一个数量级,智能体式查找提升召回却推高 FPR,两阶段级联配合 bibtex-updater 可避免膨胀。由于"何为幻觉"定义未统一,重打分后排名会变化,作者呼吁社区统一定义并发布重打分协议。

来源:arXiv Artificial Intelligence · arxiv.org