AI语言公平联盟研究：多语言Token消耗差异

2026年10月30日，IT之家报道，人工智能语言公平研究联盟上月发布的一项研究发现，AI 模型处理不同语言时，Token（词元）消耗量差异悬殊，在其中一个模型中最多相差 17 倍。报道称，即使互联网上最常用的 20 种语言，Token 消耗量也相差 1.5 至 5 倍，研究者将由此产生的额外成本称为隐性的「分词器税」。报道未披露该研究涉及的具体模型、语种清单及测算方法。目前事件进展停留在该研究结果的对外传播阶段，尚无联盟或相关机构对该研究作出进一步回应或补充说明。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。