MixLID：混合语言文本中的 token 级语言识别模型

MixLID 是一个支持 111 种语言-文字组合的 token 级语言识别模型，采用两阶段训练：先用单语样本的语言标签学习区分各语言，再在混合语言数据上继续训练，第二阶段结合现有语码转换数据与基于英文源词和借词对应关系做词替换生成的增强样本。