arXiv Artificial Intelligence· Yunqin Zhu, Yao Xie·· 17 小时前AI 评分31
Merge and Branch:面向推荐的高效树结构 LLM 监督微调方法
Merge and Branch: Efficient Tree-Structured Supervised Fine-Tuning of LLMs for Recommendation
AI 导读
Merge and Branch(M&B)通过将每条历史物品的 SID 与文本压缩为少量学习 token,并用压缩后的历史同时预测多个目标 SID,以浅而宽的树结构共享历史计算。配套的 tree FlashAttention 只处理一次共享历史并回传各分支梯度,树结构 key/value cache 将历史共享扩展到受限解码。公开基准实验显示,M&B 在优于强推荐基线的同时显著提升训练与解码效率。
来源:arXiv Artificial Intelligence · arxiv.org