儿童规模语言模型中的专门化、多样性与扩展性研究

研究用 BabyView 家庭录音和 TinyDialogues 合成对话训练小型 GPT-2 模型，发现模型对训练所用儿童语言环境的预测显著优于其他儿童环境，且该专门化多属词汇与分布层面，简单 5-gram 模型即可复现跨儿童模式（r=.91）。用多个儿童的数据训练能明显改善对汇总留出语言的预测，但在语法基准上无同等明显提升。自然与合成输入在不同数据规模下产生不同的语法和词汇语义模式。