arXiv Artificial Intelligence· Yuehong Cassandra Tai, Qunhua Li·· 13 小时前AI 评分36
当 F1 不够用：审计 LLM 辅助标注的编码手册
When F1 Is Not Enough: Auditing Codebooks for LLM-Assisted Annotation
AI 导读
研究提出一种部署前的编码手册审计方法，用分类别指标和混淆矩阵定位问题类别与边界，再通过结构化文档级复核归因错误来源并定向修订编码手册。在两个不同领域的已发表多类别编码手册上，审计均识别出规则不明确或相互冲突之处，定向修订降低了留出数据上的已诊断错误。使用两个 LLM 标注者的分析显示，部分问题边界和修订效果可跨模型迁移，另一些修订效果则因标注者而异。
推荐理由模型分析
该研究把LLM辅助标注的低F1问题从模型侧转向测量工具侧，提出部署前的编码手册审计流程：用类别指标与混淆矩阵定位问题类别和边界，结合文档级复核归因错误来源，再定向修订手册并在留出数据上评估。对两个不同领域的多类编码手册应用后，审计均发现规则欠明确或冲突，修订降低了已诊断错误；双模型对比还显示部分边界与修订效果可跨模型迁移，另一些则因标注器而异。这为使用LLM做文本标注的研究者提供了可操作的排查路径，帮助判断持续错误应归因于模型、手册还是参考标签，但结论限于所测手册与模型，尚非通用保证。
来源：arXiv Artificial Intelligence · arxiv.org