Apple 研究：双语预训练在数据受限场景下优于超参数搜索

Apple 研究团队在 150M 至 1.43B 四种模型规模、约 1000 次预训练实验中对比发现，混入高资源语言数据比超参数调优带来更大提升，且差距随模型规模扩大。混合数据在验证损失上的收益相当于 2–3 倍目标语言独有数据，在下游任务准确率上相当于 2–13 倍。团队建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。