交互式 LLM 评测中，整体准确率为何会误导提示词对比

一项针对交互式 LLM 评测的研究指出，仅用整体准确率或 F1 验证自动评分器会掩盖提示词特定错误，进而扭曲提示词对比结果。在 288 条回答的平衡审计中整体 F1 为 .916，但不同提示词下评分器将 2.6%-33.3% 被主 LLM 评分者判为无无依据事实主张的回答标记出来。第二项审计中，断言确定性相对中性请求重新考虑的表面 9.3 点提升在两名评分者下均降至 2.3 点，主评分者区间含零。