提出基于LLM的用户-产品相关性离线评估指标

2026年10月15日，arXiv Artificial Intelligence 刊出由 Wen Zhang 等作者完成的研究，提出一种面向动态商品广告（DPA）检索系统的离线评估指标。据该报道，该方法先将用户互动历史压缩为意图代表，再逐条评估推荐商品与各意图的相关性，并聚合为用户级相关性分数；其以 LLM 作为语义相关性评判器，通过智能体式、与人类对齐的提示框架生成多类别相关性准则，并将教师模型判断蒸馏到高效学生模型以实现规模化评估。报道称，该指标与离线及线上业务指标强相关，可在 A/B 测试前更快、更可靠地迭代 DPA 检索。目前该事件仅有这一篇主报道，尚无后续跟进报道，也未出现数字、时间或说法上的前后矛盾。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。