跳到正文
arXiv Artificial Intelligence· Kaiming Liu, Yuxuan Liu, Jinrui Ju, Minyuan Ruan, Xuanyu Lei, Peng Li, Yang Liu·· 20 小时前AI 评分44

指令是证据而非目标:衡量 AI 智能体的结果对齐能力

Instructions Are Evidence, Not Objectives: Measuring Outcome Alignment of Agents

AI 导读

研究者提出"结果对齐"(outcome alignment)概念并构建 TiGanEval 基准,要求 AI 智能体从指令和环境推断用户未明说的真实需求。对 SWE-chat 中 100 条用户-智能体轨迹的分析显示,56% 的初始指令遗漏了后续才显现的必要需求,52% 的有用后续需求本可从项目中推断。

来源:arXiv Artificial Intelligence · arxiv.org