HALLMARK幻觉基准发布

2026年10月15日，研究团队（Kayoon Kim等）在arXiv发布HALLMARK幻觉基准，用于诊断LLM引用验证器并判断何时部署。该基准含2,526条BibTeX条目，覆盖14种幻觉类型，并带分类型与诊断子测试标签，另设时间、跨域和真实世界评估划分。测试显示，各验证器假阳性率（FPR）相差一个数量级；智能体式查找可提升召回，但会推高FPR；两阶段级联配合bibtex-updater可避免膨胀。由于“何为幻觉”定义尚未统一，重打分后排名会发生变化，作者呼吁社区统一定义并发布重打分协议。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。