arXiv Artificial Intelligence· Edward Gu, Ali Payani, Kevin Ellis·2026-10-20 12:00· 2 小时前AI 评分31

PRECOCIAL：通过迭代搜索优化代码课程实现加速预训练

PRECOCIAL: Pretraining with Code Curriculums via Iterative Search for Accelerated Learning

AI 导读

PRECOCIAL 让 LLM 迭代改写生成合成预训练数据的程序，每次改写都用预训练加下游微调的分数评估，整个搜索只维护一个网络、对每个被接受的程序继续预训练而非重新训练。