Google Research·· 1 天前AI 评分58
Google 提出 sleep 框架：让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google 研究者提出 sleep 框架，让 LLM 在主动交互与离线记忆巩固之间交替，把短期上下文写入长期参数。该框架通过 MoE 参数扩展、基于 GKD 与 RL 模仿学习进行知识播种，并在 dreaming 阶段用随机专家激活和梯度筛选生成训练样本。
来源：Google Research · research.google