arXiv Artificial Intelligence· Aaron Maiwald, Roderick McNeill, Jaeyoung Lee, Matthew A. Clarke, Lennart Justen, Alejandro Acelas, Ivo Andrews, Giles Harper-Donnelly, Adam Moore, Sophie Rose, Oliver M. Crook, Felix Jackson·· 3 小时前AI 评分48
蛋白质语言模型预训练数据过滤的有效性与持久性研究
The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models
AI 导读
研究用 ESM-2 系列蛋白质语言模型发现，从预训练数据中过滤病毒蛋白会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测能力，非病毒蛋白性能基本保留。该效应集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。但用被移除病毒家族的序列微调即可恢复性能，即便最大模型也仅需约 80 美元的 H100 算力。
来源：arXiv Artificial Intelligence · arxiv.org