UltraBERT编码器预训练方法研究

2026年10月15日，arXiv Artificial Intelligence 刊出 Jungwoo Park 等人的研究，提出 UltraBERT 编码器预训练方法。报道称，UltraBERT 是首个在分类与检索任务上同时达到 SOTA 的编码器，在 GLUE 上取得 91.0、BEIR 上取得 47.7。研究还揭示，编码器在数万亿 token 后下游任务性能饱和，且低掩码率利于分类、高掩码率利于检索，这与以往认为大模型应用高掩码率的结论相矛盾。据该报道，UltraBERT 通过在批次内为低/高掩码率分配独立 LM head，并将蒸馏目标限制在低掩码率来实现这一结果。目前该事件仅有这一篇报道，尚无后续跟进报道，研究结论与指标均来自该来源。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。