跳到正文
arXiv Artificial Intelligence· Xinshun Feng, Ziqi Miao, Lijun Li, Jing Shao·· 19 小时前AI 评分38

SCHEMA:面向科学智能体幻觉的拓扑感知评估框架

Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations

AI 导读

研究者提出 SCHEMA,首个基于证据、拓扑感知的科学智能体幻觉评估框架,可从基准种子与文献证据自动构建科学概念图,并合成覆盖声明验证、多跳推理、开放式解释与实验代码生成的任务。SCHEMA 发现幻觉集中在少数高连接知识枢纽,且最终答案准确率与推理轨迹诚实度脱钩,模型常以结构有缺陷的推理得出正确结论。

来源:arXiv Artificial Intelligence · arxiv.org