arXiv Artificial Intelligence· Eunsu Kim, Haneul Yoo, Guijin Son, Hitesh Patel, Amit Agarwal, Alice Oh·· 19 小时前AI 评分29
BenchHub：用组成感知评估揭示 LLM 基准测试并非原子单元
Benchmarks Are Not Atomic: Composition-Aware LLM Evaluation using BenchHub
AI 导读
BenchHub 是一个组成感知的 LLM 评估框架，将基准测试表示为实例级属性的分布，整合了 54 个基准、839K 样本和 10 种语言。它揭示动机相似的基准内部组成差异显著，现有基准常含超出其声明用途的可复用覆盖，模型的细粒度类别性能差异会被聚合分数掩盖，不同重加权和重采样配置下模型排名可能变化。
来源：arXiv Artificial Intelligence · arxiv.org