Apple研究：双语预训练优于超参搜索

2026年10月13日，Apple Machine Learning Research 发布一项研究，比较数据受限场景下双语预训练与超参数搜索的效果。研究团队在 150M 至 1.43B 四种模型规模、约 1000 次预训练实验中，以阿拉伯语为低资源目标语言、英语为辅助语言进行对比，发现混入高资源语言数据比超参数调优带来更大提升，且差距随模型规模扩大。据该研究，混合数据在验证损失上的收益相当于 2–3 倍目标语言独有数据，在下游任务准确率上相当于 2–13 倍。团队建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。目前该研究为 Apple 方面发布的一手结果，尚无其他独立来源跟进或提出不同数据。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。