跳到正文
arXiv Artificial Intelligence· Haolin Tian, Yikang Li, Tonghan Wang·· 19 小时前AI 评分30

GrowRL:面向 LLM 强化学习的可生长与可迁移路径

Growing and Transferring Pathways for LLM Reinforcement Learning

AI 导读

GrowRL 是一种 LLM 强化学习方法,通过结构生长把学习到的更新组织成紧凑计算路径:冻结预训练主干,在每层 Transformer 加入独立的因果注意力分支和前馈网络分支,零初始化输出投影保持初始策略不变,RL 只更新新增路径。

来源:arXiv Artificial Intelligence · arxiv.org