跳到正文
arXiv Artificial Intelligence· Garvin Kruthof·· 13 小时前AI 评分60

DriftBench 评测多轮 LLM 构思中的约束遵守情况

Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation

AI 导读

作者提出 DriftBench,用 24 个科学领域的 38 份研究简报、硬约束与禁止动作,在四种交互条件下评测 5 家提供商的 7 个模型共 2116 次运行。

推荐理由模型分析

多轮迭代会推高方案复杂度并削弱硬约束遵守,而模型仍能复述约束,这为设计多轮构思流程提供了可对照的评测基线。

来源:arXiv Artificial Intelligence · arxiv.org