跳到正文
arXiv Artificial Intelligence· Yunqin Zhu, Yao Xie·· 17 小时前AI 评分31

Merge and Branch:面向推荐的高效树结构 LLM 监督微调方法

Merge and Branch: Efficient Tree-Structured Supervised Fine-Tuning of LLMs for Recommendation

AI 导读

Merge and Branch(M&B)通过将每条历史物品的 SID 与文本压缩为少量学习 token,并用压缩后的历史同时预测多个目标 SID,以浅而宽的树结构共享历史计算。配套的 tree FlashAttention 只处理一次共享历史并回传各分支梯度,树结构 key/value cache 将历史共享扩展到受限解码。公开基准实验显示,M&B 在优于强推荐基线的同时显著提升训练与解码效率。

来源:arXiv Artificial Intelligence · arxiv.org