arXiv Artificial Intelligence· Kai Zhao, Guilin Zhang, Xiang Cheng, Xiquan Cui, Henry Heng, Xu Chu, Alet Blanken·· 13 小时前AI 评分42
CascadeRec：面向多租户内容推荐的自适应 LLM 算力分配方案
CascadeRec: Deployed Adaptive LLM Compute Allocation for Multi-Tenant Content Recommendation
AI 导读
CascadeRec 采用两级 LLM 重排序级联，已在一家大型 FP&A SaaS 提供商的生产环境部署，相比统一使用昂贵层级将推理成本降低约 10%，延迟影响极小且未观察到质量回退。
推荐理由模型分析
CascadeRec 在真实 FP&A SaaS 生产环境部署两级 LLM 重排：轻量模型处理全部请求，路由器只把可能受益的请求升级到自一致性采样、多路径推理或更大模型。相比统一使用昂贵层，推理成本约降 10%，延迟影响小且暂未观察到质量回退。公开基准的分段分析显示，统一 LLM 重排会让稀疏历史用户 NDCG@10 最多降 30%，升级冷用户反而可能扩大损失，这为按用户分段决定是否升级提供了可参考的边界。
来源：arXiv Artificial Intelligence · arxiv.org