句法语言模型大规模实证研究

2026年10月15日，一篇发表于arXiv人工智能板块的研究对句法语言模型（SLM）展开大规模实证研究。据该报道，研究在最高10亿（1B）参数、1000亿（100B）训练token的规模下，对比了12种受控配置，其中包括1个终端基线和11个涵盖不同线性化方式与注意力掩码的SLM变体，并在11个下游任务和两个句法基准上进行评测。报道称，在1B参数规模下，标准因果注意力不输结构掩码。研究代码已公开（原文以链接形式给出）。上述规模、配置数量与评测范围均出自该研究自身的描述，为其所声明的实验设定。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。