arXiv Artificial Intelligence· Shradha Agarwal, Deepak Rajbhar, Tariq J·· 2 天前AI 评分52
LinAlg-Bench：揭示LLM数学推理结构性失效模式的取证基准
LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning
AI 导读
作者提出LinAlg-Bench，用3x3、4x4、5x5矩阵维度梯度上的9类任务、660道SymPy认证题评测10个前沿大模型，共检查6600条输出。三阶段自动取证流程把1156次失败归入十个主错误标签及细分类型，发现4x4是关键行为阈值：低于它模型出现符号跟踪、算术漂移和奇偶错误，高于它则转向工具角色扮演、约束一致的虚构和结构化幻觉等放弃计算的行为。
来源：arXiv Artificial Intelligence · arxiv.org