arXiv Artificial Intelligence· Sarina Xi, Vishisht Rao, Justin Payan, Nihar B. Shah·· 4 小时前AI 评分38
FLAWS：评估 LLM 识别与定位科学论文错误的新基准
FLAWS: A Benchmark for Error Identification and Localization in Scientific Papers
AI 导读
研究团队构建了 FLAWS 基准，包含 713 个论文-错误对，用于评估 LLM 能否识别并定位论文中会动摇核心论断的错误。在 Claude Sonnet 4.5、DeepSeek Reasoner v3.1、Gemini 2.5 Pro、GPT 5 和 Grok 4 五个前沿模型中，GPT 5 表现最佳，在 k=10 时识别准确率为 39.1%。
来源：arXiv Artificial Intelligence · arxiv.org