UltraBERT：突破 BERT 预训练极限

UltraBERT 是首个在分类与检索任务上同时达到 SOTA 的编码器，在 GLUE 上取得 91.0、BEIR 上取得 47.7。研究揭示编码器在数万亿 token 后下游任务性能饱和，且低掩码率利于分类、高掩码率利于检索，与以往认为大模型应用高掩码率的结论相矛盾。UltraBERT 通过在批次内为低/高掩码率分配独立 LM head 并将蒸馏目标限制在低掩码率来实现这一结果。