arXiv Artificial Intelligence· Sachin Gupta·· 3 小时前AI 评分31
基于 LLM 的 IT 工单分类中的成本感知弃权评估
Cost-Aware Abstention for LLM-Based IT Ticket Classification
AI 导读
研究在 47,837 条、八类工单的公开语料上评估成本感知弃权:在标定数据上按显式成本选定路由策略,再在留出测试集上冻结评估。在 (c_ok, c_triage, c_wrong) = (0, 1, 5) 成本下,TF-IDF 加逻辑回归、阈值 0.60 使测试成本从 0.763 降至 0.472(相对降幅 38.1%),错误路由从 15.3% 降至 3.5%。
来源:arXiv Artificial Intelligence · arxiv.org