重新审视预预训练：合成数据课程在算力匹配下未胜过纯自然语言训练

算力匹配实验显示，将算力分配给合成预预训练（PPT）在四种课程和三种训练机制下均未超过纯自然语言训练，数据受限时重复训练100M token语料在验证损失上优于所有合成课程。在NCA复现中，原初始化方案下PPT带来5.4%困惑度改善，但改进初始化后无PPT基线提升更多、差距缩小；PPT获得的收益在自然语言预算达1B token后消失，且模型会在后续训练中遗忘PPT所学内容。