arXiv Artificial Intelligence· Izhar Ali·· 2 小时前AI 评分31
LLM 错误中的跨问题结构从何而来：共享随机种子、共享提示词与答案字母偏好
Where Cross-Question Structure in LLM Errors Comes From: Shared Seeds, Shared Prompts, and Answer-Letter Preference
AI 导读
研究用问题相关矩阵特征值检验 LLM 错误结构，发现单模型内独立作答无可检测结构，而同一轮基准测试共享随机种子或 few-shot 提示词时结构出现。跨 24 个模型，超出整体能力的最强结构是对答案字母的偏好，选项轮换后偏好跟随字母而非题目，且主要来自 Llama-3.2-1B。仅在每次轮换都答对才算正确时，剩余效应仅在 5% 显著性线附近，事后关联到两对近重复模型和 Llama-3.2-1B。
来源：arXiv Artificial Intelligence · arxiv.org