跳到正文
arXiv Artificial Intelligence· Carlos Pel\'aez-Gonz\'alez, Francisco Herrera, Andr\'es Herrera-Poyatos·· 17 小时前AI 评分38

LLM 推荐系统中的位置偏差可被统计检测:POB-ICM 与 POB-UNBP 方法及实证

Statistical Detection of Positional Bias in LLM-Based Recommender Systems: Methodologies and Empirical Evidence

AI 导读

研究提出 POB-ICM(列联表分析与卡方独立性检验)和 POB-UNBP(基于置换评估的均匀零模型)两种方法,检测 LLM 推荐系统对候选呈现顺序的依赖。在基于真实商品目录、固定提示词模板和 2000 条模板生成查询(每条 20 种排列,共 40,000 个实例)的 RAG 测试台上,所有受测 SOTA 模型均拒绝位置独立与均匀的零假设。

来源:arXiv Artificial Intelligence · arxiv.org