可及性剖面衡量LLM能力广度与可靠性

2026年10月20日，arXiv Artificial Intelligence 刊出 Kazem Faghih 等作者的研究，提出以“可及性”（accessibility）替代单一措辞下的正确率来评测大语言模型。作者将可及性定义为：同一问题在多种保持语义等价的表述下，模型成功的概率，并据此构建“可及性剖面”，以同时衡量模型能力的广度与可靠性。研究在六个基准、二十多个模型上验证该方法，发现约半数平均可及性接近的模型对，按 Access@5（五次表述中成功一次）与 Reliable@5（五次全部成功）排序结果相反，部分差距达 10 个百分点。研究还报告，扩展、推理与提示词优化会重新分配能力，有时扩大可成功的问询集，却降低其可重复性。目前该工作以预印本形式发布，尚无后续跟进报道。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。