研究称 AI 模型不同语种 Token 消耗最高相差 17 倍，形成隐性「分词器税」

人工智能语言公平研究联盟上月发布的研究发现，AI 模型处理不同语言时 Token 消耗量差异悬殊，在其中一个模型中最多相差 17 倍。即使互联网上最常用的 20 种语言，Token 消耗量也相差 1.5 至 5 倍，研究者将由此产生的额外成本称为隐性的「分词器税」。