arXiv Artificial Intelligence· Jiazheng Li, Huaqing Zhang, Jing Xu, Tianle Cai, Jingzhao Zhang·· 2 小时前AI 评分36
LARE：通过损失重加权在固定数据暴露下实现快速 LLM 预训练
Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting
AI 导读
LARE 通过按运行损失统计自动调整各领域权重，在固定数据暴露下改善 LLM 预训练的多领域能力权衡。其归一化反平方根规则不改变采样混合比例、无需额外搜索权重；在 1.5B 模型、240B tokens 训练下，知识、数学、代码五个评测基准全部提升，平均较匹配的直接混合高 +7.84 pp，GSM8K 提升 +17.06 pp、MATH 提升 +9.00 pp。
来源：arXiv Artificial Intelligence · arxiv.org