印度金融监管文本基准与评分规则敏感性研究

2026年10月28日，arXiv Artificial Intelligence 刊出 Rajveer Singh Pall 的研究，发布 IndiaFinBench 基准并分析评分规则敏感性。该基准由 406 条经专家标注的 SEBI 与 RBI 监管文本构成，覆盖监管解读、数值推理、矛盾检测与时间推理四类任务。研究让十二个 LLM 在该基准上做零样本评测，比较严格四阶段字符串匹配与跨模型评审两种主评分规则，发现两种规则下的模型排名无正相关（Spearman rho = -0.273，p = 0.39，不显著），且没有任何模型在三种评分规则下保持同一名次。研究据此指出，LLM 排名高度依赖评分规则的选择。目前该工作以预印本形式公开，尚无后续跟进报道。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。