MixLID：混合语言文本Token级语言识别模型

2026年10月15日，arXiv Artificial Intelligence 刊出 Seongtae Hong 等作者的报道，介绍 Token 级语言识别模型 MixLID，称其支持 111 种语言-文字组合。该模型采用两阶段训练：第一阶段用单语样本的语言标签学习区分各语言，第二阶段在混合语言数据上继续训练，并结合现有语码转换数据与基于英文源词和借词对应关系做词替换生成的增强样本。报道称该模型已公开，并给出公开获取链接。截至本综述，尚无后续跟进报道，也未出现与上述数字或说法相矛盾的信息。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。