arXiv Artificial Intelligence· Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Volker Tresp·· 4 小时前AI 评分31
开卷评分究竟测什么:文档级 LoRA 适配器的“阅读”行为研究
Mostly Reading: What Open-Book Scores Measure in Document-Level LoRA Adapters
AI 导读
在 Llama-3.1-8B-Instruct 上为 150 篇 Wikipedia 文章各训练一个 LoRA 适配器后发现,开卷评分主要衡量的是所有适配器共有的阅读行为:用另一篇文档训练的随机适配器可复现专家适配器相对基座模型 82% 的开卷优势,但在不提供原文的 cloze 探针上仅复现 2%,与零无法区分。
来源:arXiv Artificial Intelligence · arxiv.org