arXiv Artificial Intelligence· Ryan Magnuson, Ellie Kitanidis, Ariel Lee·· 13 小时前AI 评分40
Pdb or Not to Be：调试器接口与 bash 接口在 pass_X@k 下的对比
Pdb or Not to Be: Comparing Debugging Interfaces With Pass$_{X}$@$k$
AI 导读
研究在 SWE-bench Verified 全部 500 个实例上固定其余脚手架，对比仅用调试器的智能体与仅用 bash 的智能体，测试模型为 GPT-OSS-120B 和 Nemotron-3-Ultra-550B，每种架构×模型配置独立运行三次。
推荐理由模型分析
该研究在 SWE-bench Verified 全部 500 个实例上，固定其余脚手架，仅比较纯调试器 Agent 与纯 bash Agent，并在两个模型上各独立运行三次，从而把调试器接口本身的贡献与脚手架变化分开。作者提出跨 Agent 的 pass_X@k 估计量，发现单次运行中两类 Agent 解出的子集看似互补，但主要来自运行间随机方差；两次 bash 运行优于一次 bash 加一次调试器。做 Agent 工具选型与评测的人可据此重视重复采样和方差控制，不宜把工具多样性当作已证实的增益。
来源：arXiv Artificial Intelligence · arxiv.org