arXiv Artificial Intelligence· Tobias Deu{\ss}er, Rajkumar Ramamurthy, Lorenz Sparrenberg, Rafet Sifa·· 17 小时前AI 评分40
TypeSafe AI 的 System One 模型 Jev 评测：37 个数据集上优于 Qwen 与 Gemma
Evaluating and Benchmarking the System One Model Jev
AI 导读
TypeSafe AI 的商业化 "System One" 模型 Jev（jev-1.13.0）在 37 个数据集上零样本评测，346,009 次请求成本低于 10 美元，在 IMDB、SST-2、HellaSwag 和 ARC 上达到 95-99% 准确率，并在 27 个数据集上胜过 Qwen3.8-27B、全部 37 个上胜过 Gemma-4-E4B。
来源：arXiv Artificial Intelligence · arxiv.org