MoVoC-Tok 分词器修正版发布

2026年10月23日，arXiv 人工智能板块刊出 Hailay Kidu Teklehaymanot 等作者的修正版论文，提出面向吉兹文字语言的子词构建方法 MoVoC，并训练出混合分词器 MoVoC-Tok。该方法将监督式形态分析融入子词词表，结合语素与 BPE token 以保留形态边界。团队同时发布四种吉兹文字语言的语素标注数据共 169,806 条，并为其中两种提供语素感知词表。评测显示，MoVoC-Tok 在四种语言中的三种取得最高 MorphScore，在两种取得最高语素边界精度；跨语言应用于未训练的 Tigre 时增益最明显。修正版明确撤回已发表版本中的机器翻译结果。论文称数据、分词器与评测代码均已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。