arXiv Artificial Intelligence· Karina Romanova, Igor Kiselev, Vladimir Platonov, Viliana Devbunova, Gregory Leleytner, Adeliya Leleytner, Lina Veltman, Aleksandr Nikolich·· 13 小时前AI 评分31
个性化评测的错位：LaMP-2 上换用户历史测出的准确率下降多来自话题不匹配
Not Your Diary, Just Your Topic: Grading the Wrong-User Control
AI 导读
研究在 LaMP-2 新闻分类上用冻结语言模型检验"换用他人历史"的个性化测试，发现用户自身历史仅比无历史模型提升 2.3 个百分点，而仅在评测时移除历史会让增益虚高到 4.8 点。
推荐理由模型分析
该研究指出，常见的个性化评测用他人历史替换用户历史，会混入主题差异，导致准确率下降被高估。在LaMP-2新闻分类上，作者用冻结语言模型和合成历史做对照，发现仅类别标签就能解释86%的差距，匹配标签与文本相似度后优势降至0.9个百分点；训练中见过的用户优势为3.2个百分点，未见用户仅0.65个百分点且证据不足。这提示做个性化记忆或推荐评测的开发者，应以未见用户、相似内容历史和去掉历史的模型为基线，并注意结论目前限于单一数据集与小规模实验。
来源：arXiv Artificial Intelligence · arxiv.org