提出Interaction-as-a-Judge交互式评估范式

2026年10月15日，arXiv Artificial Intelligence 刊出 Wayne Chi 等作者的论文，提出 Interaction-as-a-Judge 评估范式：让 computer-use agents（CUAs）直接与应用交互，以评估和改进交互式应用。论文称，作者收集并发布两个互补数据集，分别为 6,858 对带人类偏好及对应智能体轨迹的应用，以及 222 个带人工核验需求标签的应用。论文还称，在推理阶段，Interaction-as-a-Judge 在五次尝试内修复 75.5% 的破损需求，而仅代码自反馈为 55.4%。上述数据集规模与修复比例均为该论文自述，尚无其他来源独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。