跳到正文
arXiv Artificial Intelligence· Benedict Cummins-Mburu, Mariana Garcia Mejia, Oscar Heath, Sabrina Kreyzerman, Ellie Murray, Arusan Surendiran, Rohan Alexander·· 2 小时前AI 评分38

GardenBench:面向 LLM 能力的轻量级日常评测基准

GardenBench: A lightweight, daily evaluation of LLM capabilities

AI 导读

GardenBench 是一个包含 11 个测试套件的 LLM 评测基准,通过轻量查询逐日记录模型性能变化,并同时追踪运行成本与耗时。该基准可对比不同模型提供商与版本的回答准确率和特性,捕捉模型上线后变更或新模型发布带来的性能提升与退化。评测基于通用任务,结果通过实时仪表盘公开,定位为面向消费者的低成本日常评测。

来源:arXiv Artificial Intelligence · arxiv.org