开放权重模型在CTI-REALM基准上的评测研究

2026年10月14日，arXiv上发布了一项针对CTI-REALM基准的模型评测研究。该研究在统一的测试框架、评分器和LLM评审小组下，评估了26个模型，其中19个为开放权重模型、7个为闭源模型。研究指出，CTI-REALM基准原有的消息轮次上限会截断任务，导致已通过的检查点也被判零分，使结果部分反映的是模型能否按时完成。在已公布的上限下，领先的开放权重模型与闭源模型无法区分；而放宽该限制后，此前被截断的模型得以恢复，最高奖励归属于开放权重模型。研究的主要结论是：只要给予足够的轮次，开放权重模型能够追平最强闭源模型，且成本不到其十分之一。研究还提出按阶段评分的指标，发现不同模型在各阶段表现不同，建议按阶段路由模型而非只看总分。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。