arXiv Artificial Intelligence· Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi·· 2 小时前AI 评分38
研究提出 accessibility profiles，揭示 LLM 基准分数掩盖的能力广度与可靠性差异
Revealing what benchmark scores hide: Jointly measuring the breadth and reliability of LLM capabilities using accessibility profiles
AI 导读
研究提出用“可及性”（同一问题在多种等价表述下成功的概率）替代单一措辞的正确率，以同时衡量 LLM 能力的广度与可靠性。在六个基准、二十多个模型上，约半数平均可及性接近的模型对，按 Access@5（五次表述成功一次）与 Reliable@5（五次全成功）排序结果相反，部分差距达 10 个百分点。扩展、推理与提示词优化会重新分配能力，有时扩大可成功的问询集却降低其可重复性。
来源：arXiv Artificial Intelligence · arxiv.org