arXiv Artificial Intelligence· Rajveer Singh Pall·· 19 小时前AI 评分38
评分规则如何左右 LLM 排名：印度金融监管文本基准的实证
Scoring-Rule Sensitivity in LLM Evaluation: Evidence from Indian Financial Regulatory Text
AI 导读
在 406 条 SEBI 与 RBI 监管文本构成的 IndiaFinBench 上，十二个 LLM 的零样本排名高度依赖评分规则：严格四阶段字符串匹配与跨模型评审两种主规则之间无正相关（Spearman rho = -0.273，p = 0.39，不显著），且无模型在三种规则下保持同一名次。
来源：arXiv Artificial Intelligence · arxiv.org