arXiv Artificial Intelligence· Michael Y. Hu, Apurva Gandhi, Kyunghyun Cho, Tal Linzen, Pratyusha Sharma·· 17 小时前AI 评分31
OP-Mix：贯穿预训练、中训练与指令微调的统一数据混合算法
Always Learning, Always Mixing: Efficient and Simple Data Mixing All the Time
AI 导读
OP-Mix 是一种覆盖预训练、中训练和指令微调全流程的数据混合算法，通过在当前模型上训练的低秩适配器之间插值来低成本模拟候选数据配比，无需单独的代理模型。预训练阶段，OP-Mix 相比不做混合的训练平均困惑度改善 6.3%；持续学习场景下，它以分别减少 66% 和 95% 的总计算量达到重训练与 on-policy 蒸馏的效果。
来源：arXiv Artificial Intelligence · arxiv.org