arXiv Artificial Intelligence· Madhu Sudhan Rao Beesetty, Surbhi Sharma, Devesh Maheshwari, Lokesh Meesala·· 13 小时前AI 评分34
罗马化印度语言生成：自动指标成功处，模型实际失败
The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed
AI 导读
研究显示 BGE-M3、BERTScore 等自动指标会系统性误判罗马化印地语、泰卢固语和卡纳达语生成质量。在 142 组 OpenAssistant 问答对、72 条诊断子集上，母语者给 GPT-5.5 的评分比 Claude Opus 4.8 高 1.43 分（12 分制），而两者全数据集 BGE-M3 均值仅差 0.004。
推荐理由模型分析
针对罗马化印地语、泰卢固语和卡纳达语生成缺少评测基准的问题，该研究用142组问答对比四个模型，发现BGE-M3等自动指标几乎无法区分模型质量差异，而母语者评分差距明显。其提出的失败感知评测策略将空输出、脚本混入和指令坍缩计为零分，并揭示Gemini脚本泄漏、Qwen退化为纯英文等模型特有失败模式。做多语言生成评测或选型的开发者可据此调整指标组合，但结论基于小规模诊断子集，需在更大样本上验证。
来源：arXiv Artificial Intelligence · arxiv.org