arXiv Artificial Intelligence· Scott Biggs, Bedionita Soro, Saumya Gupta, Bruno Andreis, Sung Ju Hwang·· 2 天前AI 评分31
面向预训练 LLM 权重生成的、以数据配比为条件的 Flow Matching 模型
A Night at the LLM Zoo: Data Conditioned Flow Matching for Generating Pretrained LLM Weights
AI 导读
研究者构建了一个 GPT-2 模型动物园，在 51M、124M、355M 三档参数规模上各训练 N=100 个模型，系统改变网页文本、书籍、数学、代码与法语的混合配比。
来源：arXiv Artificial Intelligence · arxiv.org