arXiv Artificial Intelligence· Pengcheng Wang, Zhexuan Zhang, Chao Lou, Kewei Tu·· 19 小时前AI 评分22
句法语言模型的大规模实证研究：1B 参数下标准因果注意力不输结构掩码
A Scaled-Up Empirical Study of Syntactic Language Models
AI 导读
一项针对句法语言模型（SLM）的大规模实证研究，在最高 1B 参数、100B 训练 token 的规模下对比了 12 种配置（1 个终端基线加 11 个不同线性化与注意力掩码的 SLM 变体），并在 11 个下游任务和两个句法基准上评测。
来源：arXiv Artificial Intelligence · arxiv.org