arXiv Artificial Intelligence· Haiquan Hu, Yuzhu Liang, Weicheng Tang, Yanzeng Li, Yao Shi, Li Xu, Tian Wang·· 18 小时前AI 评分22
BSDProbe：通过题目级能力边界对 LLM 基准做结构性诊断
Are Benchmarks Reliable? Toward Structural Diagnosis via Item-Level Capability Boundaries
AI 导读
BSDProbe 提出题目级基准结构诊断框架，沿经验排序的模型轴重复采样，构建边界位置、边界宽度、边界信号有效性与顺序一致性四维画像。在六个基准上识别出不同比例的可疑题目；以 Qwen3 同时作为选择轴与参考轴时，归一化区分度比各基准最佳基线平均相对提升 17.9%，排序一致性不逊于全部基线。
来源：arXiv Artificial Intelligence · arxiv.org