arXiv Artificial Intelligence· Sahil Garg, Ruhi Gottumukkala, Vishal Agarwal, Shubham Vishwakarma·· 18 小时前AI 评分42
开放权重模型在 CTI-REALM 上追平闭源前沿模型
Unconstrained CTI-REALM with Open-Weights
AI 导读
在 CTI-REALM 基准上,开放权重模型在放宽 agent 消息轮次限制后能追平最强闭源模型,成本不到其十分之一。该基准原有的消息上限会截断任务,导致已通过的检查点也被判零分,使结果部分反映的是模型能否按时完成。研究还提出按阶段评分的指标,发现不同模型各阶段表现不同,建议按阶段路由模型而非只看总分。
来源:arXiv Artificial Intelligence · arxiv.org