arXiv Artificial Intelligence· You Liu, Yue Liu, Quanchao Lu·· 18 小时前AI 评分27
RetryBench:在 GPT 工具调用中区分重试许可与恢复结果
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
AI 导读
RetryBench 将"虚假重试许可"(FRP)与真实恢复结果分开评估:智能体在无可见契约支持时重试超时工具调用即构成 FRP。720 条响应实验中,Sol、Terra、Luna 面对被替换的密钥分别出现 1/80、55/80、60/80 次无支持重试;后续 240 条响应实验中 Luna 仍有 8/80 次无支持调用,Sol 与 Terra 各 80 条均为零。
来源:arXiv Artificial Intelligence · arxiv.org