arXiv Artificial Intelligence· Evangelos Apostolakis, Erfan Hamdi, Sara Jahedazad, Emma Lejeune·· 17 小时前AI 评分40
TrussTutor-Bench：评测大语言模型在静力学解题准确率、谄媚与错误检测上的表现
TrussTutor-Bench: Benchmarking large language models on solution accuracy, sycophancy, and error detection in statics
AI 导读
TrussTutor-Bench 用 200 道经核验的二维桁架题配自动生成的学生解答，评测 13 个大语言模型的解题准确率、谄媚与错误检测。基线准确率为 64.5% 至 97.0%，各模型对合成错误解答的注入错误检出率达 90.4% 至 100%，未能区分模型；而当学生坚持正确解答有误时，模型推翻自己已解对的答案的比例为 1.6% 至 50.0%。
来源：arXiv Artificial Intelligence · arxiv.org