arXiv Artificial Intelligence· Marianna Nezhurina, Harsh Raj, Victor May, J\"org Franke, Taishi Nakamura, Timur Carstensen, Niccol\`o Ajroldi, Ville Komulainen, David Salinas, Jenia Jitsev·· 3 小时前AI 评分44
open-sci-ref-0.02：可复现语言模型与数据集对比的开放参考基线
Open-sci-ref-0.02: open reference baselines for reproducible language model and dataset comparison
AI 导读
open-sci-ref 发布 0.13B-1.7B 四个规模的 dense transformer 参考基线，在九个参考数据集上训练、token 预算最高 1T，并公开权重、中间 checkpoint、训练日志、代码与下游评测。
来源：arXiv Artificial Intelligence · arxiv.org