arXiv Artificial Intelligence· Boxi Yu, Yuzhong Zhang, Zhenfeng Su, Linfu Xi, Yinghan Yao, Shitao Chen, Yang Cao, Liting Lin, Lionel Briand, Emir Mu\~noz·· 2 小时前AI 评分38
CXBench：面向受监管客户体验流程的合规 LLM 智能体基准
CXBench: A Benchmark for Process-Compliant LLM Agents in Regulated Customer-Experience Workflows
AI 导读
CXBench 是评估受监管客户服务流程中 LLM 智能体过程合规性的基准，覆盖六个受监管领域，将结果合规与流程合规分开打分。在七个模型、120 个任务的 840 次有效执行中，55.5% 为假通过，占结果通过运行的 80.1%，仅 13.8% 同时通过两项检查。纳入流程评估后，模型排名发生变化，暴露出仅看结果时被掩盖的差异。
来源：arXiv Artificial Intelligence · arxiv.org