arXiv Artificial Intelligence· Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thadd\"aus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, Wieland Brendel·· 13 小时前AI 评分34
LittleLearner：在教学法控制的知识暴露下训练语言模型
LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
AI 导读
研究者构建了 88B token 的 LittleCurriculum 预训练语料，只覆盖美国小学五年级及以下内容，并从头训练出 5B 参数的 LittleLearner 模型。该模型具备开放式评测所需的语言能力，但知识与能力边界对应可解释的课程大纲。通过后训练和上下文学习注入新知识，只能让模型更好利用已有知识，并未提升范围外能力。
推荐理由模型分析
该工作构建了88B token、限定在五年级以下课程范围的预训练语料，并从头训练5B参数模型，使知识边界可对照课程大纲解释，为研究模型如何习得与使用知识提供了可控沙盒。初步实验显示，后训练和上下文学习能让模型更好利用已有知识，却未提升范围外能力，这一边界对评估注入方法的适用条件有参考价值。
来源：arXiv Artificial Intelligence · arxiv.org