Kolab：在长周期工作流中评测人机协作

研究者发布 Kolab 数据集，包含 50 位来自 40 种职业的专业人士与 AI 智能体协作的 115+ 小时屏幕录制及协作与产出质量评判。该基准测试智能体能否预测专家对其贡献的采纳、修改或拒绝，并判断协作满意度与产出质量。结果显示前沿模型普遍高估与专家的协作水平，且难以区分高质量与低质量协作，更长的流程上下文也未稳定改善预测。