arXiv Artificial Intelligence· Hailay Kidu Teklehaymanot, Dren Fazlija, Wolfgang Nejdl·· 3 小时前AI 评分18
MoVoC：面向吉兹文字语言形态学的子词构建方法（修正版）
MoVoC: Morphology-Aware Subword Construction for Geez Script Languages Corrected version
AI 导读
MoVoC 将监督式形态分析融入子词词表，训练出混合分词器 MoVoC-Tok，结合语素与 BPE token 以保留形态边界。团队发布四种吉兹文字语言的语素标注数据共 169,806 条，并为其中两种提供语素感知词表。在四种语言中 MoVoC-Tok 于三种取得最高 MorphScore、两种取得最高语素边界精度，跨语言应用于未训练的 Tigre 时增益最明显；已发表版本中的机器翻译结果被撤回。
来源：arXiv Artificial Intelligence · arxiv.org