TypeSafe AI 的 Jev 模型零样本评测

2026年10月30日，arXiv Artificial Intelligence 刊出 Tobias Deußer 等作者的评测报告，对 TypeSafe AI 的商业化“System One”模型 Jev（jev-1.13.0）进行零样本评测。报道称，评测覆盖 37 个数据集，涉及分类、路由、审核与评分等任务，每个数据集使用一个冻结模板并采用完整评测划分，共 346,009 次请求，成本低于 10 美元。结果显示，Jev 在 IMDB、SST-2、HellaSwag 和 ARC 上达到 95–99% 准确率，在 27 个数据集上胜过 Qwen3.8-27B，并在全部 37 个数据集上胜过 Gemma-4-E4B。作者表示已公开代码、评测框架及全部原始响应。目前事件进展即为该评测结果的发布，尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。