arXiv Artificial Intelligence· Carole Lunny, Ian Goodman, Stefano Berrone, Connor TA Brenna, Emma K Reid, Ivan Perez-Neri, Shailesh Kolekar, Nityanand Jain, Ashwin Kamath, Lucas HCC Santos, Yulia Otmakhova, Heba Hussein, Diana M Cespedes, Gioia Dahdal, Salmaan Kanji·· 17 小时前AI 评分42
TRAILS：LLM 辅助证据合成读评任务的失效机制分类、测试与缓解策略
When the Same Prompt Gives Different Answers (and the Same Answer Isn't Always Right): A Taxonomy of Failure Mechanisms, Testing, and Mitigation Strategies for LLM-Assisted Evidence Synthesis Read-and-Evaluate Tasks
AI 导读
研究者提出 TRAILS 分类法，用于识别 LLM 辅助证据合成读评任务中判断失效的机制，共列出 38 种机制，并给出各自可生效的部署设置、测试方法与缓解策略。该分类法回答两个问题：同一任务在重复运行中为何产生不同判断，以及哪些机制会系统性影响判断或输出而不体现在判断本身。作者指出，可重复性或准确性并不能排除隐藏的判断失效，人工评估应检验判断是否有证据支撑、是否不受不当外部影响且过程可核查。
来源：arXiv Artificial Intelligence · arxiv.org