arXiv Artificial Intelligence· Kayoon Kim, Wieland Brendel, Patrik Reizinger·· 19 小时前AI 评分36
HALLMARK:如何诊断 LLM 引用验证器并判断何时部署
HALLMARK: How to Diagnose LLM Citation Verifiers and When to Deploy Them
AI 导读
研究团队发布 HALLMARK 基准,含 2,526 条 BibTeX 条目、覆盖 14 种幻觉类型,并带分类型与诊断子测试标签。测试显示各验证器假阳性率相差一个数量级,智能体式查找提升召回却推高 FPR,两阶段级联配合 bibtex-updater 可避免膨胀。由于"何为幻觉"定义未统一,重打分后排名会变化,作者呼吁社区统一定义并发布重打分协议。
来源:arXiv Artificial Intelligence · arxiv.org