PRECOCIAL：迭代搜索优化预训练代码课程

2026年10月20日，arXiv Artificial Intelligence 刊出 Edward Gu 等作者的报道，介绍 PRECOCIAL 方法：它自动优化生成合成预训练数据的程序。按该报道，PRECOCIAL 让大语言模型迭代改写这些程序，每次改写都用“预训练加下游微调”的分数来评估；整个搜索过程只维护一个网络，对每个被接受的程序继续预训练，而不是重新训练。报道称其目标是通过迭代搜索优化代码课程，从而加速预训练。目前该事件仅有这一篇主报道，尚无跟进报道，也没有关于适用模型、数据规模、算力条件或效果数字的进一步信息，后续进展有待观察。

AI 根据报道生成 · 37 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。