arXiv Artificial Intelligence· Yi Jing, Zao Dai, Jinwu Hu, Zijun Yao, Lei Hou, Juanzi Li, Xiaozhi Wang·· 2 天前AI 评分26
用稀疏自编码器指导 LLM 后训练数据工程：SAERL 方法
Teach the Way It Thinks: Guiding LLM Post-training Data Engineering with Sparse Autoencoders
AI 导读
SAERL 利用稀疏自编码器（SAE）将模型内部拆解为可解释特征，按梯度信号筛选样本、由易到难逐功能区域训练并控制批次混合，从而组织 LLM 强化学习训练数据。在 Qwen2.5-Math-1.5B 上，SAERL 使 GRPO 平均准确率提升 3.1%，并以少 42% 的训练步数达到目标准确率，且课程用小模型构建后可迁移到更大模型。
来源：arXiv Artificial Intelligence · arxiv.org