LARE损失重加权预训练方法提出

2026年10月26日，arXiv Artificial Intelligence 刊出 Jiazheng Li 等作者的论文，提出 LARE（Loss-Adaptive Reweighting under fixed Exposure，固定数据暴露下的损失自适应重加权）方法。据该报道，LARE 通过按运行损失统计自动调整各领域权重，在固定数据暴露下改善大语言模型预训练的多领域能力权衡；其归一化反平方根规则不改变采样混合比例，也无需额外搜索权重。报道称，在 1.5B 模型、240B tokens 训练下，知识、数学、代码五个评测基准全部提升，平均较匹配的直接混合高 +7.84 pp，其中 GSM8K 提升 +17.06 pp、MATH 提升 +9.00 pp。目前该事件仅有这一篇主报道，尚无跟进报道，上述效果数据均来自论文自述，尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。