arXiv Artificial Intelligence· Tingxu Han, Yi Zhang, Wei Song, Chunrong Fang, Zhenyu Chen, Youcheng Sun, Lijie Hu·· 19 小时前AI 评分58
SWE-Skills-Bench 提出技能级基准，98 个 Agent 技能中 92 个无显著效果
SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
AI 导读
研究者发布 swe-skills-bench，一个以技能为中心、需求驱动的基准，用于衡量单个 Agent 技能在真实软件工程任务上的提升幅度。基准从 98 个公开 SWE 技能出发，每个技能配对一个固定 commit 的 GitHub 仓库，生成可执行验证器并在四种 Agent-模型配置下做有技能与无技能的配对评测，共 3,920 次配对评估。
来源：arXiv Artificial Intelligence · arxiv.org