蛋白质语言模型预训练数据过滤研究

2026年10月20日，arXiv Artificial Intelligence 刊出 Aaron Maiwald 等作者的研究，用 ESM-2 系列蛋白质语言模型考察预训练数据过滤的有效性、持久性与可扩展性。研究发现，从预训练数据中过滤病毒蛋白，会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测能力，而非病毒蛋白上的性能基本保留。该效应集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大，严格过滤越有效。研究同时指出过滤效果并不持久：用被移除病毒家族的序列微调即可恢复性能，即便最大模型也仅需约 80 美元的 H100 算力。目前该研究以预印本形式发布，尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。