arXiv Artificial Intelligence· Guoqiang Zhang, Kexin Tan, Ming Zhang, Li Ju, Wenqing Jing, Zhonghan Yue, Jiayi Chen, Shiqiang Wu, Shaofan Liu, Yue Zhang, Yuankai Ying, Yang Shi, Tao Gui, Qi Zhang, Xuanjing Huang·· 17 小时前AI 评分34
NovGauge：诊断 LLM 论文新颖性评估能力的细粒度基准
NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment
AI 导读
研究者提出 NovGauge，一个面向 LLM 新颖性评估诊断的细粒度基准，包含 619 组论文对和 50 个多论文集合，按任务、问题、方法三个维度独立标注。对 18 个 LLM 的评测显示，各维度幻觉率为 0% 至 39%，在非幻觉的正确正例判断中超过 70% 的引用证据无法在逻辑上支撑所给理由。
来源：arXiv Artificial Intelligence · arxiv.org