跳到正文
arXiv Artificial Intelligence· Rong Pan, Jianqiang Wang·· 13 小时前AI 评分34

DRAFT-Bench:评估前沿智能体在专业设计全生命周期中的表现

DRAFT-Bench: Evaluating Frontier Agents Across the Professional Design Lifecycle

AI 导读

DRAFT-Bench 是面向设计全生命周期的评测基准,覆盖需求获取、创意探索、受限编辑、迭代修改与生产交付,用 Requirement-to-Artifact 框架关联演进需求、受保护属性、产物版本与交付义务。

推荐理由模型分析

DRAFT-Bench 把通用智能体的评测从单次生成扩展到需求澄清、创意探索、受约束编辑、迭代修改和交付交接的完整生命周期,用 Requirement-to-Artifact 框架关联需求、受保护属性、版本与交付义务。在 35 份设计简报、43 种条件下,Astra 完成 43/43、Claude 完成 35/43,但语义检查在 28 个共同核心条件中分别标记 11 和 5 处违规,且这些是模型判断而非专家确认。做 Agent 评测或设计类工具选型的人可据此区分执行完成、需求合规与专业验收,并注意未配对赛道和工具差异限制了排名与交付成功率的推断。

来源:arXiv Artificial Intelligence · arxiv.org